¿Está muerta la ciencia? En una palabra: no

Hace unas semanas, Jonah Lehrer escribió un artículo algo tonto y sensacionalista para El neoyorquino titulado, La verdad desaparece: ¿Hay algún problema con el método científico? En él, Lehrer cita evidencia anecdótica (y algunos datos) para respaldar la proposición de que quizás el método científico, cómo validamos científicamente nuestras hipótesis con datos y estadísticas, ha salido terriblemente mal.

Pero lo que Lehrer no advirtió es que la mayoría de los investigadores ya conocen las fallas que describe y trabajan diligentemente para minimizar el impacto de esas cuestiones.

El método científico no está roto. Lo que Lehrer está describiendo es simplemente ciencia en acción, y en funcionamiento.

La mejor respuesta a este ensayo proviene de la escritora de ScienceBlogs, PZ Myers, Science is not dead. En esta refutación, Myers señala los principales problemas de la ciencia cuando no puede replicar hallazgos anteriores:

1. Regresión a la media: a medida que aumenta el número de puntos de datos, esperamos que los valores promedio retrocedan a la media verdadera ... y dado que a menudo el trabajo inicial se realiza sobre la base de resultados iniciales prometedores, esperamos que más datos se igualen de manera fortuita resultado temprano significativo.
2. El efecto cajón de archivos: los resultados que no son significativos son difíciles de publicar y terminan guardados en un gabinete. Sin embargo, como resultado se establece, los resultados contrarios se vuelven más interesantes y publicables.
3. Sesgo del investigador: es difícil mantener el desapasionamiento científico. A todos nos encantaría ver validadas nuestras hipótesis, por lo que tendemos a seleccionar, consciente o inconscientemente, resultados que favorezcan nuestras opiniones.
4. Sesgo comercial: las compañías farmacéuticas quieren ganar dinero. Pueden ganar dinero con un placebo si existe algún apoyo estadístico; Sin duda, existe un sesgo hacia la explotación de valores atípicos estadísticos con fines de lucro.
5. Varianza de la población: el éxito en un subconjunto bien definido de la población puede conducir a un poco de confusión: si el medicamento ayuda a este grupo con síntomas bien definidos, tal vez deberíamos probarlo en este otro grupo con síntomas marginales. Y no es así ... pero esas cifras se seguirán utilizando para estimar su eficacia general.
6. Oportunidad simple: he descubierto que esta es una difícil de transmitir a la gente. Pero si algo es significativo en el nivel p = 0.05, eso aún significa que 1 de cada 20 experimentos con una droga completamente inútil aún exhibirá un efecto significativo.
7. Pesca estadística: Odio este, y lo veo todo el tiempo. El experimento planificado no reveló resultados significativos, por lo que los datos se analizan minuciosamente y cualquier correlación significativa se aprovecha y publica como si fuera la intención. Ver explicación anterior. Si el conjunto de datos es lo suficientemente complejo, siempre encontrará una correlación en algún lugar, por pura casualidad.

El número 1 explica muchos de los problemas que encontramos en la ciencia hoy, especialmente la ciencia psicológica. Conoces la mayoría de los experimentos sobre los que leíste en Ciencia psicológica, la publicación insignia de la Asociación de Ciencias Psicológicas? Son una mierda. Son N = 20 experimentos realizados en muestras pequeñas y homogéneas de estudiantes universitarios en su mayoría caucásicos en universidades del medio oeste. La mayoría de ellos nunca se replican, y menos aún se replican en tamaños de muestra que probablemente demostrarían que los resultados originales no fueron más que una casualidad estadística.

Los investigadores ya lo saben, pero se rigen por un reglamento muy diferente al suyo o al mío. Su sustento depende de que continúen haciendo buenas investigaciones publicables. Si dejan de hacer esta investigación (o no pueden publicarla en una revista revisada por pares), corren un mayor riesgo de perder sus trabajos. Se le conoce como "publicar o perecer" en el mundo académico, y es una motivación muy real para publicar cualquier investigación, incluso si sabes que es probable que los resultados no sean replicables. Vea el número 3 arriba.

Finalmente, veo tanto del Número 7 en los estudios de investigación que reviso, que es casi vergonzoso. El método científico solo funciona bien y de manera confiable cuando formula hipótesis de antemano, ejecuta sus sujetos para recopilar sus datos y luego analiza esos datos de acuerdo con las hipótesis con las que comenzó. Si decide comenzar a cambiar la hipótesis para que se ajuste a los datos, o ejecutar pruebas estadísticas con las que no había contado, está contaminando sus hallazgos. Empiezas en una expedición de pesca que ha realizado todo investigador. Pero solo porque todos lo hayan hecho significa que es un comportamiento bueno o ético en el que participar.

El problema es que la investigación lleva mucho tiempo y suele ser cara. Si tan solo pasó 100 sujetos a través de un ensayo y no encontró nada significativo (de acuerdo con sus hipótesis), no solo es poco probable que publique ese estudio, sino que solo desperdició meses (o incluso años) de su vida profesional y $ X de su presupuesto de investigación siempre limitado.

Si no puede ver cómo esto podría resultar en la publicación de hallazgos de investigación menos que óptimos, entonces puede estar un poco ciego a la psicología y la motivación humanas básicas. Debido a que los investigadores no son superpersonas, tienen los mismos defectos, prejuicios y motivaciones que cualquier otra persona. Se supone que el método científico, cuando se sigue rigurosamente, explica eso. El problema es que nadie está realmente vigilando a los investigadores para asegurarse de que lo sigan, y no hay un incentivo inherente para hacerlo.

Terminaré con esta observación, nuevamente de PZ Myers,

Eso es todo este alboroto que realmente está diciendo [- s] ue a veces se demuestra que las hipótesis son incorrectas y, a veces, si el apoyo a la hipótesis se basa en evidencia débil o en una interpretación altamente derivada de un conjunto de datos complejos, puede llevar mucho tiempo la respuesta correcta para que surja. ¿Entonces? Esto no es un fracaso de la ciencia, a menos que de alguna manera espere una gratificación instantánea en todo o la confirmación de cada idea apreciada.

Amén.

Opiniones de otros sobre el ensayo de Lehrer

La ciencia no ha muerto - PZ Myers

Elogio del error científico - George Musser

¿Son los humanos el problema del método científico? - Charlie Petit

Dudaremos de la verdad: ¿el "efecto de declive" significa que toda la ciencia es "veraz"? - John Horgan

El misterioso efecto de la decadencia - Jonah Lehrer