Mala ciencia: investigación de MyType iPad
Odio darle prensa a una "empresa de investigación" que no sabe nada sobre la presentación de estadísticas o la metodología básica en su propio informe de "investigación". Supongo que eso es lo que sucede cuando se reúne un grupo de personas que son en su mayoría tecnólogos, no estadísticos o científicos sociales.La semana pasada, MyType, una aplicación de personalidad de Facebook que toma sus datos y luego vende informes agregados basados en sus respuestas a su cuestionario, publicó un informe sobre el iPad. Sugirieron que los propietarios de iPad y aquellos que buscaban comprar uno eran "élites egoístas", mientras que los que eran críticos del iPad se caracterizaban como "geeks independientes".
Ya puede decir que esto no va a ser exactamente un análisis científico, ¿verdad?
En primer lugar, está el informe de MyType de sus resultados. Lo que no se incluye en el informe real son las pruebas estadísticas reales utilizadas, la significación estadística (valores p) y el número de sujetos en cada grupo estudiado. Ya sabes, los tipos básicos de datos que otros investigadores buscan para evaluar los resultados presentados. Sin esa información básica, este tipo de "investigación" no es mejor que un trabajo de pregrado para su clase de Psicología 101.
Una persona con el nombre de John Hall los llamó en su sección de comentarios, momento en el que comenzaron a dar declaraciones generales sobre los valores p (pero nuevamente, sin detalles, desglosando cada análisis, que es lo que esperaría en el mercado o en los científicos investigación). El Dr. F intentó educar a la gente de MyType sobre la teoría estadística básica, ya que aparentemente no saben mucho sobre cómo diseñar un buen estudio de investigación.
Lo que también queda claro en la sección de comentarios es que alguien está editando los comentarios para eliminar cosas que luego lamentaron haber dicho. John Hall cita aparentemente a Tim Koelkebeck diciendo que debido a que tiene un título en ciencias de la computación (aparentemente una licenciatura), eso de alguna manera lo califica en diseño de investigación y metodología, así como en estadística. Impar.
Pero el mayor indicio de que este no es un estudio de investigación serio son los adjetivos elegidos para describir a los dos grupos de personas. Tomaron algunos rasgos de personalidad arbitrarios para describir a cada grupo. Podrían haber dicho con la misma facilidad que los que no tienen un iPad son neuróticos, inseguros, orgullosos y descuidados. Sin embargo, ¿es esa una caracterización legítima de los que no tienen un iPad? Por supuesto que no, eso es solo lo que muestra su pequeño y sesgado conjunto de datos. Dado que ni siquiera pasa la prueba del olfato, la mayoría de los investigadores hubieran hecho una pausa para preguntarse si iban por el camino equivocado.
Basándose en sus propios datos, podrían haber caracterizado a los críticos del iPad como intolerantes, no les gusta la caridad y la amistad, los adolescentes agresivos y cínicos. Vaya, no es de extrañar: tendría que averiguar si el género o la edad estaban sesgando estos resultados (y ofrecer una explicación alternativa a los rasgos señalados). Los "investigadores" también podrían haber descrito a los propietarios de iPad como adultos orientados a la familia, inteligentes y de alto rendimiento, imaginativos y sofisticados.
Pero no lo hicieron. Intentaron resumir un montón de rasgos dispares en frases de marketing pegadizas para hacer titulares de noticias: frases que no eran ni particularmente precisas ni científicamente válidas. Eso no impidió que docenas de medios de comunicación legítimos y convencionales como CNET, ZDNet e incluso Wired informaran sobre los resultados sin levantar una ceja sobre la falta de rigor o método científico.