¿Las clasificaciones partido-escuela son una profecía sesgada y autocumplida?

La revisión de Princeton publica listas anuales de universidades "Lo mejor de ..." basadas en una encuesta ahora en línea de los estudiantes de cada universidad. Describen el proceso de encuesta como:

La encuesta de Princeton Review hace a los estudiantes 80 preguntas sobre los aspectos académicos / administrativos de su escuela, la vida en el campus, el cuerpo estudiantil y ellos mismos. Los recuentos de las clasificaciones de esta edición se basan en encuestas a 120.000 estudiantes (alrededor de 325 por campus) en las 366 escuelas del libro (no en todas las escuelas del país) durante el 2006-07 y / o los dos años escolares anteriores.

Lo cual suena bien y bien, hasta que lea la letra pequeña:

Nuestra encuesta es más cualitativa y anecdótica que cuantitativa. Con el fin de evitar producir un informe que no sea adecuado para cualquier universidad en particular, enviamos a nuestro contacto administrativo en cada escuela una copia del perfil que pretendemos publicar con amplia oportunidad de responder con correcciones, comentarios y / o directamente objeciones. En todos los casos en los que recibimos solicitudes de cambios, tomamos medidas cuidadosas para revisar las sugerencias de la escuela con los datos de la encuesta de estudiantes que recopilamos y realizar los cambios apropiados cuando se justifica.

Lo más convincente para nosotros acerca de cuán representativos son los hallazgos de nuestra encuesta es lo siguiente: les pedimos a los estudiantes que realicen la encuesta, después de haberla completado, que revisen la información que publicamos sobre su escuela el año anterior y nos califiquen según su precisión y validez. Año tras año hemos obtenido altas calificaciones: este año, el 81 por ciento de los estudiantes dijo que estábamos en lo cierto.

Básicamente, están admitiendo que los datos de su encuesta están destinados a proporcionar una imagen narrativa y subjetiva de las universidades, no cosas de las que pueda extraer generalizaciones amplias. Y, sin embargo, eso es exactamente lo que Revisión de Princeton procede a hacer con sus datos: extraer amplias generalizaciones de sus encuestas y clasificar las universidades de manera cuantitativa. Las propias universidades pueden ejercer una influencia adicional desconocida sobre si su escuela aparece en una lista determinada.Si el proceso de clasificación parece ser poco transparente y envuelto en misterio, es a propósito.

¿Cómo pueden los investigadores convertir datos anecdóticos en datos cuantitativos? Bueno, científicamente no se puede (p. Ej., No existe un procedimiento basado en la investigación para hacerlo porque es literalmente una comparación de manzanas o naranjas). Cuando una organización como esta hace algo de esta naturaleza, puede argumentar que tales clasificaciones son solo las opiniones de las personas que elaboraron la lista, basadas en las opiniones de otras personas de aquellos que realmente han asistido a la escuela.

Todo lo cual estaría bien, excepto que el revisión pone todas estas cosas en listas que sugieren que tienen un significado generalizable cuando no lo tienen. La lista de las "20 mejores escuelas para fiestas" no es más que las opiniones de algunas personas basadas en una "combinación de preguntas de la encuesta sobre el uso de alcohol y drogas, horas de estudio cada día y la popularidad del sistema griego". Podrían haber elegido con la misma facilidad un conjunto diferente de respuestas para observar que hubiera sesgado las clasificaciones de las escuelas de manera diferente.

Es poco probable que las escuelas más grandes con cuerpos estudiantiles más grandes difieran significativamente en términos del tamaño de su sistema griego (grande) y la amplia variedad de oportunidades sociales y no académicas que ofrecen a sus estudiantes (lo que resulta en menos horas de estudio cada día) . ¿Eso hace que una escuela de este tipo sea más probable que sea una “escuela de fiestas” cuando se combina con observar lo que los estudiantes dicen y cuánto beben? Por supuesto no. Puede significar que la escuela es un gran lugar para aprender y socializar.

Un póster presentado en APS el fin de semana pasado, titulado "Profecía autocumplida y Princeton Review: ¿descripciones o recetas para beber en la universidad?" poner en mi cabeza la sugerencia que mide como el Revisión de Princeton tienen una validez cuestionable. Los investigadores analizaron los datos reales sobre el consumo de alcohol durante una década para una sola universidad de tamaño medio ubicada en el oeste de Nueva York y los compararon con varias clasificaciones relacionadas en el Revisión de Princeton. Encontraron las clasificaciones en el Revisión de Princeton no tiene una correlación sistemática con ninguno de los datos sobre el consumo de alcohol que examinaron. Lo que sí encontraron es que los datos de consumo de alcohol se correlacionan con las clasificaciones publicadas después de su publicación, lo que sugiere una especie de profecía autocumplida.

Los investigadores señalaron que dado que su estudio se llevó a cabo en una sola universidad, la investigación tendría que ser replicada en otras facultades y universidades antes de que uno pudiera generalizar a partir de los hallazgos. No obstante, es interesante observar los hallazgos.

Referencia:

Clark, C.D. et. Alabama. (2008). Profecía autocumplida y Princeton Review: ¿descripciones o recetas para beber en la universidad? Póster presentado en la 20a convención anual de la Association for Psychological Science, Chicago IL, 24 de mayo.