¿Qué investigación puedes creer?
Cualquiera que lea Mundo de la psicología regularmente ya conoce los problemas en muchos estudios financiados por la industria. Pero este artículo sugiere que los problemas con la investigación revisada por pares son mucho más profundos que un simple sesgo con fines de lucro. Los científicos están predispuestos de muchas, muchas maneras (no solo para obtener ganancias monetarias). Y este sesgo se manifiesta inevitablemente en el trabajo que realizan: la investigación científica.
Este no es un tambor nuevo para mí: hablé sobre el sesgo de los investigadores en 2007 y cómo los investigadores diseñan estudios para encontrar resultados específicos (este ejemplo involucró a investigadores que encontraron sitios web de métodos suicidas cuando buscaban, esperen, "métodos suicidas " en Google). Hemos notado cómo prácticamente todos los estudios en revistas como ciencia psicológica dependen casi exclusivamente de estudiantes universitarios recopilados de un solo campus como asignaturas, una limitación significativa que rara vez se menciona en los estudios mismos.
Sin embargo, aquí está el aspecto realmente preocupante: este tipo de estudios sesgados aparecen en todo tipo de revistas. JAMA, NEJM y BMJ no son inmunes a la publicación de estudios cutres y defectuosos en medicina y psicología. Pensamos en la "respetabilidad" de una revista como una especie de signo de un papel de guardián: que los estudios que aparecen en las revistas más prestigiosas deben ser fundamentalmente sólidos.
Pero eso simplemente no es cierto. El emperador no solo está desnudo, sus súbditos han escondido su ropa para avanzar en sus propias carreras.
El tema de los estudios sesgados que se publicaron llamó la atención por primera vez en 2004, cuando los fiscales generales estatales demandaron a GlaxoSmithKline por ocultar datos de investigación sobre Paxil. Desde entonces, han salido a la luz docenas de estudios y desde entonces se han publicado otros que muestran cómo las empresas farmacéuticas parecen haber ocultado regularmente datos de investigación relevantes. Estos datos generalmente muestran que el fármaco en estudio no fue eficaz, en comparación con una pastilla de azúcar, para tratar cualquier trastorno para el que estaba destinado. (Blogs como Clinical Psychology and Psychiatry: A Closer Look y Carlat Psychiatry Blog tienen más detalles sobre estos estudios).
Pero, ¿qué pasa con otros tipos de sesgos? ¿Estamos interesados solo en estudios donde el sesgo es tan evidente, o no deberíamos preocuparnos por cualquier tipo de sesgo que pueda afectar la confiabilidad de los resultados?
La respuesta es, por supuesto, que deberíamos estar interesados en todas las formas de sesgo. Cualquier cosa que pueda influir en los resultados finales de un estudio significa que las conclusiones del estudio pueden estar en duda.
John Ioannidis, profesor de la Universidad de Ioannina, se interesó por esta cuestión en la investigación médica. Así que reunió un equipo experto de investigadores y estadísticos para profundizar y ver qué tan grave era el problema. Lo que encontró no sorprendió a los investigadores, pero será una sorpresa para la mayoría de la gente común:
Desconcertado, empezó a buscar las formas específicas en las que los estudios iban mal. Y en poco tiempo descubrió que la variedad de errores que se estaban cometiendo era asombrosa: desde las preguntas que planteaban los investigadores, hasta cómo configuraban los estudios, a qué pacientes reclutaban para los estudios, a qué medidas tomaban, a cómo analizaban los datos. , a cómo presentaron sus resultados, a cómo se publicaron estudios particulares en revistas médicas. […]
"Los estudios estaban sesgados", dice. “A veces estaban abiertamente sesgados. A veces era difícil ver el sesgo, pero estaba ahí ". Los investigadores se dirigieron a sus estudios en busca de ciertos resultados y, he aquí, los estaban obteniendo. Pensamos que el proceso científico es objetivo, riguroso e incluso despiadado al separar lo que es verdad de lo que simplemente deseamos que sea verdad, pero de hecho es fácil manipular los resultados, incluso de forma no intencionada o inconsciente.
“En cada paso del proceso, hay espacio para distorsionar los resultados, una forma de hacer una afirmación más fuerte o de seleccionar lo que se va a concluir”, dice Ioannidis. "Existe un conflicto de intereses intelectual que presiona a los investigadores para que encuentren lo que sea más probable que los financie".
Ioannadis elaboró un modelo matemático complejo que predeciría cuánta investigación puede tener fallas, basándose en todas estas variables. Su modelo predijo que “el 80 por ciento de los estudios no aleatorios (con mucho el tipo más común [- especialmente en la investigación psicológica]) [resultarán] incorrectos, al igual que el 25 por ciento de los ensayos aleatorios supuestamente estándar de oro, y como hasta el 10 por ciento de los grandes ensayos aleatorizados estándar de platino ".
Luego, puso a prueba ese modelo en 49 estudios que contenían los hallazgos de investigación más respetados en la investigación médica en los últimos 13 años. Estos se encontraban en las revistas médicas más citadas, y ellos mismos eran los artículos más citados.
De los 49 artículos, 45 afirmaron haber descubierto intervenciones efectivas. Treinta y cuatro de estas afirmaciones se habían vuelto a probar, y se había demostrado de manera convincente que 14 de ellas, o el 41 por ciento, estaban equivocadas o eran significativamente exageradas. Si entre un tercio y la mitad de las investigaciones médicas más aclamadas no eran confiables, el alcance y el impacto del problema eran innegables. […]
De esos 45 estudios supercitados en los que se centró Ioannidis, 11 nunca se habían vuelto a probar. Quizás peor, Ioannidis descubrió que incluso cuando se revela un error de investigación, generalmente persiste durante años o incluso décadas. Observó tres estudios de salud destacados de las décadas de 1980 y 1990 que luego fueron refutados rotundamente, y descubrió que los investigadores continuaron citando los resultados originales como correctos con más frecuencia que como defectuosos, en un caso durante al menos 12 años después de que los resultados fueron desacreditados. .
Hasta aquí los científicos vuelven a probar los resultados publicados por otros, la única forma definitiva de combatir el sesgo. ¿Cómo es posible que casi el 25 por ciento de los estudios médicos más citados en los últimos 13 años nunca se hayan vuelto a probar? Asombroso.
El resultado para la mayoría de nosotros es que es casi imposible para cualquiera saber si una determinada investigación realmente está demostrando resultados positivos, novedosos y sólidos. Sin entrar en un análisis detallado del estudio, y de todos los precursores del estudio, poner una nueva investigación en contexto es una tarea larga y difícil. Además, el modelo de Ioannidis sugiere que la gran mayoría de la investigación psicológica, tal vez hasta el 80 por ciento, probablemente sea incorrecta. Realmente no hay ningún lado positivo aquí.
Excepto tal vez que los equipos de investigación como el de Ioannidis están en el trabajo, trabajando para mostrar cómo el sesgo puede infiltrarse incluso en la investigación del "estándar de oro".
El cambio aquí depende en gran medida de que los investigadores individuales aprendan sobre estos sesgos y trabajen mucho más para garantizar que sus estudios estén libres de ellos. Pero sin un guardián que realmente verifique el diseño de un estudio o los métodos estadísticos, hay pocos incentivos para cambiar. Los incentivos económicos y profesionales para que los investigadores sigan publicando como lo han hecho tradicionalmente a fin de mantener su posición académica y profesional siguen siendo insoportablemente fuertes.
El artículo completo merece su tiempo: mentiras, malditas mentiras y ciencia médica
Si bien no es lo ideal, aquí está nuestro manual de hace unos años sobre cómo detectar investigaciones cuestionables: ¿Son buenas las investigaciones?
