Anales RANF

Metaciencia: reflexiones sobre la reproducibilidad de la investigación en farmacología @Real Academia Nacional de Farmacia. Spain 7 publicada. Obviamente, los pacientes y las familias también carecen a menudo de evidencia médica relevante, precisa y específica en el momento de la toma de decisiones sobre su propia salud. Atendiendo a estas limitaciones, parece razonable insistir en que los profesionales de la salud sean más sensibles a las limitaciones de la evidencia científica publicada, capacitarlos para hacer una evaluación crítica y mejorar sus habilidades de comunicación, sin olvidar a pacientes, periodistas, responsables políticos y sectores implicados o interesados en la sanidad. El metanálisis es una útil herramienta estadística que permite agrupar y sintetizar datos procedentes de varios estudios con contenido, metodología y temática similares, recopilando estimaciones de un cierto efecto (expresado en un índice de tamaño del efecto de cada estudio), facilitando la valoración del efecto. La utilización en biomedicina del metanálisis permite valorar estos efectos en contexto: si el tamaño del efecto es consistente en el metanálisis, su precisión es mayor que con un solo estudio y, si el tamaño del efecto varía, esa variación puede ser descrita y explicada. El valor intrínseco de la metodología metanalítica ha disparado la publicación de revisiones sistemáticas y metanálisis durante los últimos años en prácticamente todas las disciplinas biosanitarias. En este sentido, PubMed registraba 2.336 metanálisis publicados en 2006, 11.355 en 2016 y son más de 15.000 los referenciados en 2018, mientras que las revisiones sistemáticas son más del doble de esa cantidad. Sin embargo, solo una mínima parte de estos artículos aportan alguna novedad en sus respectivos temas ni resultan útiles, y muchos de ellos ni siquiera están bien hechos. En definitiva, la superposición, la redundancia y la duplicación han ido proliferando de forma exponencial; de hecho, la revisión sistemática de 73 metanálisis publicados en 2010 mostró que dos tercios tenían al menos otro metanálisis superpuesto que cubría las mismas comparaciones, indicaciones, ajustes y resultados, o de algunos subconjuntos de los mismos, llegando el grado de superposición y redundancia a ser impresionante en algunos temas (10). La falta de transparencia y de accesibilidad a los datos originales es otro aspecto muy relevante, como ha sido puesto de manifiesto por la revisión de una muestra aleatoria de 149 artículos biomédicos publicados entre 2015 y 2017, en los que se investigó la proporción de fuentes de financiación pública y/o privada, y los posibles conflictos de intereses, compartiendo protocolos y datos sin procesar (11). Según este trabajo, un buen número de estos 149 estudios no revelaba información sobre financiación (31 %) o conflictos de interés (31 %). Entre los 104 artículos con datos empíricos en los cuales sería pertinente el intercambio de protocolos o de datos, solo el 18 % discutieron datos disponibles públicamente y solo uno de ellos (1,0 %) incluyó un enlace a un protocolo de estudio completo. Entre los 97 artículos en los que podría ser pertinente la replicación en estudios con datos diferentes, apenas hubo cinco intentos de replicación (5,2 %). En opinión de los autores de este informe, a pesar de que ha habido mejoras en los últimos años en ciertos indicadores clave de reproducibilidad y transparencia, todavía existen oportunidades para mejorar las prácticas de investigación reproducibles en toda la literatura biomédica. Otro aspecto particularmente relevante es saber si los procedimientos de análisis estadístico utilizados en la investigación biomédica, especialmente en el ámbito clínico, son los más adecuados para garantizar la reproducibilidad de los resultados. Un ejemplo paradigmático es la denominada prueba de significación de la hipótesis nula (H 0; ; NHST , null hypothesis significance test ) propuesta por Fisher. Esta prueba considera dos probabilidades ( p ), la crítica y la calculada , y un tipo de error ( Error Tipo I ). La p crítica , denominada también alfa (a ), hace referencia a la probabilidad asociada a la decisión de rechazar la H 0 cuando es verdadera, es decir, al Error Tipo I. La p crítica se establece en base a un juicio subjetivo respecto a las consecuencias de cometer un Error Tipo I y el valor máximo aceptado en la comunidad científica suele ser de 0,05. Por su parte, la p calculada o nivel de significación p del resultado empírico expresa la probabilidad de obtener un estadístico muestral igual o mayor al obtenido, dado un determinado tamaño muestral y asumiendo que la muestra ha sido extraída de una población en la que la H 0 es exactamente verdadera. Esta probabilidad depende de los valores de los parámetros reales de la población de la que se ha extraído la muestra y del tamaño muestral. Si H 0 es verdadera en la población, los estadísticos muestrales serán menos probables a medida que aumenta el tamaño de la muestra y la p calculada será menor. En este contexto, cuando la p calculada es igual o menor que la p crítica se rechaza la hipótesis nula (H 0 ), lo que significa que los resultados obtenidos no son consecuencia del error muestral. Con todo, la prueba de significación de hipótesis nula tiene varias deficiencias que probablemente contribuyen a la crisis de replicación que afecta a la ciencia biomédica en general. Tales deficiencias llevan a sugerir que esta prueba no debería ser la práctica estadística dominante y predeterminada de todas las investigaciones biomédicas y psicológicas, sino que se debería considerar un método inferencial específico para cada tipo de investigación (12). En cualquier caso, siempre que los investigadores utilicen la NHST , deberían justificar su uso y publicar los cálculos previos al estudio y los tamaños del efecto, incluidos los hallazgos negativos. 5. REPRODUCIBILIDAD DE LA INVESTIGACIÓN CLÍNICA Y AUTORIZACIÓN OFICIAL DE MEDICAMENTOS La Food & Drug Administration (FDA) y la European Medicines Agency (EMA) son las agencias reguladoras oficiales que, en Estados Unidos y en la Unión Europea respectivamente, tienen la responsabilidad de recibir, estudiar, evaluar y dictaminar la procedencia de las solicitudes de autorización de comercialización de nuevos