¿Qué significa la falta de reproducibilidad en la investigación en psicología?
En un mundo ideal, uno podría pensar que algo del orden del 75 o incluso el 80 por ciento de los estudios debería haber reproducido resultados similares, ¿verdad? Porque los nuevos estudios simplemente se volvieron a realizar en una población diferente por investigadores que siguieron cuidadosamente los métodos de los investigadores originales. En la mayoría de los casos, los investigadores también tuvieron contacto directo y cooperación de los investigadores originales.
Pero en un hallazgo girado en una docena de formas diferentes desde que se publicó en la semana pasada Ciencias Journal, el Proyecto no se acercó al 75 por ciento. Solo el 36 por ciento de las réplicas produjeron resultados significativos, en comparación con el 97 por ciento de los 100 estudios originales.
¿Qué significa esto para la psicología?
A pesar de que algunos intentaron hacer girar este hallazgo como algo inesperado o "no tan malo como podría haber sido", esto no es un buen augurio para la ciencia psicológica. Cada mes, se publican cientos de nuevos estudios de psicología. Lo que este hallazgo significa, en pocas palabras, es que no se puede confiar en la mayoría de los hallazgos de esos estudios. Son, en efecto, falsos.
De El Atlántico cobertura:
"La tasa de éxito es menor de lo que hubiera pensado", dice John Ioannidis de la Universidad de Stanford, cuyo artículo teórico clásico Por qué la mayoría de los resultados de las investigaciones publicadas son falsos ha sido un pararrayos para el movimiento de reproducibilidad.
“Me siento mal al ver que algunas de mis predicciones han sido validadas. Ojalá se hubiera demostrado que estaban equivocados ".
Otro mal hallazgo de la nueva investigación es que los tamaños del efecto medidos eran típicamente un 50 por ciento más pequeños de lo que encontraron los investigadores originales. Eso significa que incluso cuando los nuevos investigadores reprodujeron los resultados, el impacto de las variables que se estaban estudiando no era tan importante como se pensaba originalmente.
Razones de la mala reproducibilidad en la investigación en psicología
Hay una docena de razones diferentes para esta mala actuación de la investigación psicológica. Pero antes de revisar algunos de ellos, este es un toque frío de agua de la realidad al tomar los resultados de un solo estudio y generalizarlos. O peor aún, creer que algo es cierto cuando aún no se ha demostrado en más de un estudio.
Si un estudio no es doble ciego, como la mayoría de ellos no lo fueron, los propios sesgos de los investigadores pueden influir sutilmente en cómo se recopilan o analizan los datos. Si un investigador acaba de pasar 8 o 18 meses recolectando datos y no encuentra resultados significativos, puede ir a una expedición de pesca de datos para encontrar alguna otra relación de datos que puedan publicar.1 Luego, los investigadores cambian sus hipótesis originales para que se ajusten a los datos en realidad. encontrado (dado que la mayoría de los investigadores todavía no prerregistran su investigación con un servicio de seguimiento, aunque eso está cambiando lentamente).
Otros han sugerido que quizás la “sorpresa” sea otra explicación: que las revistas de hoy en día se centran en publicar hallazgos sorprendentes, ya que son más populares e interesantes para los lectores. Cuando agrega la posibilidad de regresión a la media, que las variables pueden ser más extremas cuando se miden por primera vez, pero menos extremas cuando se miden por segunda o tercera vez, la sugerencia es que estos dos factores se combinan para fomentar la publicación de estudios que son intrínsecamente difíciles. Reproducir.
¿Qué significa para la ciencia psicológica?
La naturaleza humana es infinitamente compleja. La ciencia psicológica intenta deconstruir el comportamiento humano y las emociones en pequeños pedazos para comprender mejor el todo. Sin embargo, si la investigación no puede reproducir la ciencia detrás de los estudios, sugiere que tampoco se puede confiar en gran parte de lo que el campo publica cada año.2
Sin embargo, tampoco conocemos las estadísticas de reproducibilidad de la mayoría de la ciencia, ya que nunca antes se había intentado nada como el Proyecto de reproducibilidad en otros campos. Podría ser que este sea un defecto sufrido por la mayoría de las ciencias, o podría ser un defecto que afecte a las ciencias sociales más que a otras ciencias.
Pero a corto plazo, esto enfatiza algo que siempre he dicho: un hallazgo de la ciencia psicológica no es algo en lo que puedas esperar hasta que otro investigador lo reproduzca. Se dice que los hallazgos que pueden reproducirse son “sólidos” y, por lo tanto, confiables.
Busque este tipo de información al evaluar o leer artículos de noticias basados en un nuevo estudio. Si bien no es tan sexy como los nuevos hallazgos "sorprendentes", la investigación que verifica o cuestiona lo que ya creemos que sabemos es igualmente importante.
Para mayor información…
The Atlantic: ¿Qué tan confiables son los estudios de psicología?
The Guardian: el estudio ofrece un veredicto sombrío sobre la validez de los resultados del experimento de psicología
Mindhacks: no lo llames un regreso
Referencia
Colaboración en ciencia abierta. (2015). Estimación de la reproducibilidad de la ciencia psicológica. Ciencia, 28.
Proyecto de reproducibilidad: Psicología - los datos brutos
Notas al pie:
- De lo contrario, se desperdiciaría todo ese tiempo, dinero y esfuerzo, porque pocos investigadores pueden o quieren publicar resultados nulos. [↩]
- Y realmente pone en duda las amplias generalizaciones de los autores sobre la aplicabilidad de sus hallazgos, que se encuentran en casi todas las secciones de Discusión de los estudios recientes de psicología. [↩]
