¿Dejar hablar los datos? No, no siempre
Frank L. Schmidt, un respetado profesor e investigador de la Universidad de Iowa, dio una charla en la 20ª convención de la Asociación de Ciencias Psicológicas el sábado sobre cómo pueden mentir los datos científicos. Sí, así es, los datos empíricos, incluso los publicados en revistas respetadas y revisadas por pares, normalmente no dicen la verdad.
La charla de Schmidt contó con una gran asistencia en uno de los salones de baile más grandes del Sheraton Hotel and Towers en Chicago, donde se lleva a cabo la convención. Aunque fue una presentación desigual, los puntos principales de Schmidt se manifestaron.
Uno de ellos es que la interpretación ingenua de múltiples conjuntos de datos suele ser la más correcta: la navaja de Occam ("la solución más simple suele ser la mejor respuesta"). Schmidt afirma que una buena investigación encuentra la estructura simple que subyace a los datos complejos.
Resumió que hay dos razones principales por las que los datos pueden "mentir" en la investigación: errores de muestreo y errores de medición.
La mayor crítica de Schmidt se dirigió al fetiche de la ciencia psicológica con pruebas de significación, por ejemplo, significación estadística. Desea que la psicología se aleje mucho de su dependencia y fascinación por la significación estadística, porque es una medida débil y sesgada que básicamente dice poco sobre los datos o hipótesis subyacentes.
Schmidt describió seis mitos de las pruebas de significación circundantes. Un mito era que un buen valor de p es un indicador de importancia, cuando en realidad es solo una indicación del nivel de potencia de un estudio. Otro fue que si no se encontró significación, eso significa que no se encontró una relación entre las variables (en verdad, puede significar simplemente que el estudio no tuvo suficiente poder estadístico).
Las soluciones de Schmidt son simples: informe los tamaños del efecto (estimaciones puntuales) y los intervalos de confianza en su lugar, y restan importancia a las pruebas de significancia por completo.
Terminó criticando el énfasis recién descubierto en los metanálisis en la investigación psicológica, específicamente llamando a la revista Boletín psicológico. En un estudio aún por publicar, él y otros investigadores examinaron todos los metanálisis publicados en el Boletín psicológico desde 1978-2006 - 199 estudios en total.
Los investigadores encontraron que el 65% de estos estudios examinados utilizaron un modelo de "efectos fijos" para su metanálisis. Schmidt afirmó que en los modelos de efectos fijos las relaciones de datos se subestiman (hasta en un 50%) y que los investigadores están sobreestimando cuán precisos son (cuán poco error hay en esa estimación). En cambio, Schmidt prefiere los modelos de "efectos aleatorios" que explican mejor estas variaciones.
También señaló que en el 90% de los estudios examinados, no se hicieron correcciones por error de medición, una de las principales razones que cita de que los datos pueden "mentir" en la investigación psicológica.
Dado este análisis, Schmidt sugiere que una gran cantidad de metanálisis publicados en revistas revisadas por pares llegan a conclusiones incorrectas o erróneas.
Lamentablemente, es poco probable que este estado de cosas cambie pronto. Si bien muchas revistas de psicología han adoptado estándares más estrictos para la publicación de investigaciones que se adhieren mejor a las sugerencias de Schmidt, muchas todavía no lo hacen y parecen no tener la intención de cambiar.
Lo que esto significa para la persona promedio es que no se puede confiar en todos los estudios publicados solo porque aparecen en una revista revisada por pares, que luego se publica en los medios como "hechos" a través de un comunicado de prensa. Tales hechos son maleables, cambiantes y defectuosos. Solo mediante la lectura y el análisis cuidadosos de dichos estudios podemos comprender el valor de los datos que presentan.
