Funnel Plots

Funnel plots* y heterogeneidad * Nota del traductor: Ante la falta de una traducción lo suficientemente aceptada de "funnel plot" se ha preferido respetar la expresión original inglesa, máxime cuando en el artículo queda suficientemente explicado en qué consiste dicha herramienta. Las revisiones sistemáticas y los meta-análisis buscan fuentes evidentes de sesgos u otras razones que hagan sospechar de la veracidad de los resultados de los ensayos clínicos. Los gráficos en embudo ( "funnel plots") están pensados para detectar el sesgo de publicación. La heterogeneidad está pensada para detectar diferencias fundamentales entre los estudios. Una nueva evidencia sugiere que ambas creencias comúnmente aceptadas tienen graves defectos. Bandolier evita generalmente profundizar en los complejos problemas metodológicos de las revisiones sistemáticas y meta-análisis. Las razones se deben tanto a su complejidad como al hecho de que muchos de esos detalles interesan sólo a algunos de nosotros. El problema es que algunas personas parecen pensar que estos temas metodológicos están moldeados en piedra, y que cualquier meta-análisis que tenga un "funnel plot" asimétrico o que demuestre una heterogeneidad estadística es tan defectuoso que el tratamiento que revisa debe, por tanto, desecharse. Y lo que todavía es peor es que estas son las razones que con frecuencia se esgrimen para desaconsejar la prescripción de un tratamiento que es efectivo. Así que este mes presentamos una amable diversión dentro del pesado barrizal de las matemáticas y estadísticas. Funnel plots Un funnel plot es una herramienta mediante la cual se compara gráficamente algún efecto específico del ensayo (odds ratio, riesgo relativo) con alguna medida de su precisión. La precisión puede definirse de diferentes maneras. Habitualmente se utiliza el número de participantes en el ensayo o alguna función del error estándar. Si el gráfico es simétrico, como un V invertida, se interpreta como una demostración de que probablemente no existe sesgo de publicación. Si el gráfico es asimétrico, la interpretación es que probablemente exista sesgo de publicación. No hay ninguna evidencia empírica que apoye esta idea. Aun más, con frecuencia, la interpretación de los gráficos asimétricos es que debe haber ensayos negativos inéditos que servirían para negar los hallazgos positivos de un meta-análisis, si estos pudieran encontrarse. Los filósofos tienen una palabra para esto. Falsificación significa que usted no puede demostrar que es estúpido aunque su estupidez le mire fijamente a la

cara. Por ello es bienvenida cualquier evidencia de que los "funnel plots" no son lo que parecen [1]. Metodos Investigadores en Hong Kong [1] examinaron 198 meta-análisis de la biblioteca de Cochrane de 1998, excluyendo aquéllos con variables continuas o menos de cinco ensayos clínicos. Realizaron diferentes funnel plots utilizando el tamaño y el error estándar. En otras palabras, se utilizó la misma información de los mismos meta-análisis para realizar funnel plots para cada meta-análisis, pero de dos maneras diferentes. Resultados De los 198 meta-análisis, en 43 (22% del total) podía deducirse que mostraban un sesgo de publicación debido a su asimetría. De estos 43, 37 (86%) tenía un fannel plot simétrico cuando se utilizaba un método diferente de trazar los resultados. Cuanto menor es el número de ensayos en un meta-análisis, más asciende la proporción en la que uno de los dos métodos graficos sea simétrico, hasta alcanzar el 100% en aquéllos metaanálisis con seis ensayos. Asimismo se sugería que la asimetría en al menos uno de los gráficos estaba presente en aquellos meta-análisis donde probablemente era menos esperada. Heterogeneidad Si usted tiene varios ensayos con la misma clase de pacientes, con la misma severidad de la enfermedad, la misma intervención, y el mismo resultado durante el mismo tiempo, entonces lo que usted tiene es un conjunto homogéneo de datos. ¿De acuerdo? Pues realmente no, ya que como la heterogeneidad se define estadísticamente, le calificaríamos de heterogéneo en un 10% de las veces. Es cómo si los test de heterogeneidad debieran realizarse siempre. ¿Si usted tiene un conjunto de datos homogéneos para qué necesita realizar tests de heterogeneidad? Metodos Investigadores en Oxford utilizaron datos de pacientes individuales para simular ensayos clínicos y también para simular 10.000 meta-análisis, usando diferente número de ensayos por meta-análisis y diferentes proporciones de sucesos, y se realizó para las cinco formas habituales de calcular la heterogeneidad. Resultados

Los tests estadísticos utilizados habitualmente no produjeron el nivel esperado de heterogeneidad (es decir, 10%) en un verdadero conjunto de datos homogéneos. Sobreestimaron el nivel de heterogeneidad (encontrando hasta un 20% de los meta-análisis heterogéneos) o lo infravaloraron (menos de 1% cuando la prueba fue diseñada para encontrar un 10%). Cuando fue introducida la heterogeneidad, los investigadores no podían descubrirla hasta que el conjunto de datos era de hecho muy heterogéneo. La conclusión fue que los tests de homogeneidad (que era lo que los tests deberían medir realmente) eran de uso muy limitado. No podían detectar la homogeneidad ni la heterogeneidad. El recurso es utilizar criterios de inclusión y de resultados estables y claramente definidos. Comentario Cuando nosotros intentamos encontrar el mejor y más adecuado sentido a los datos de un ensayo clínico en las revisiones sistemáticas y metaanálisis, todas las herramientas tienen su lugar. Pero el énfasis debe estar en las herramientas, no en las reglas. Los funnel plots y los tests de heterogeneidad no están esculpidos en piedra. Ambos tienen sus problemas. El problema no es su utilización, que puede ser legítima en una circunstancia particular. El temor es que las personas con ideas fijas (y quizás con presupuestos fijos) las utilicen impropiamente como reglas para intentar influenciar en la toma de decisiones. Si hay una regla aquí, es que el sentido común clínico es el mejor indicador acerca del sentido que tienen las revisiones y los meta-análisis. ¿ Los pacientes del ensayo son como los nuestros? ¿ Son razonables los criterios de inclusión? ¿ Los resultados tienen sentido? ¿Son útiles? Y así sucesivamente. Ningún ejercicio de evidencia va a ser dañado por agregarle sentido común clínico. Bibliografía: 1. J Tang, JL Liu. Misleading funnel plot for detection of bias in metaanalysis. Journal of Clinical Epidemiology 2000; 53: 477-484. 2. DJ Gavaghan, AR Moore, HJ McQuay. An evaluation of homogeneity tests in meta-analyses in pain using simulations of individual patient data. Pain 2000; 85: 415-424. Traducido por Javier Gost Garde original:http://www.jr2.ox.ac.uk/Bandolier/band81/b81-5.html

url