¿Turco mecánico al rescate de la investigación psicológica?
Lo cual es un problema real, porque como señalé en agosto de 2010, hay literalmente miles de estudios de psicología basados en nada más que un grupo de estudiantes universitarios de un solo campus en una universidad en los EE. UU. Mientras que los adultos jóvenes que asisten a la universidad pueden De hecho, ayúdenos a comprender algunos aspectos del comportamiento humano, no puede simplemente asumir que los comportamientos que observó en esos estudios se aplican también a mujeres y hombres de 60 años.
Ingrese al servicio Mechanical Turk de Amazon.com al rescate. ¿Puede la tecnología ayudar a resolver el dilema de encontrar suficientes personas que sean más representativas de la población y hacerlo de manera rentable?
Para empezar, puede ser útil comprender qué es Mechanical Turk. Es un mercado en línea que permite a los vendedores comprar mano de obra humana a costos muy económicos para algún tipo de tarea en línea. “El sitio cuenta con una fuerza laboral grande y diversa que consta de más de 100,000 usuarios de más de 100 países que completan decenas de miles de tareas diariamente”, señalan los investigadores. A estos trabajadores se les paga por partes por cada tarea, a veces tan solo 1 centavo. Las tareas varían y pueden hacer cualquier cosa, desde navegar por un sitio web en busca de errores hasta completar encuestas.
Ah, sí, llenando encuestas. Gran parte de la investigación en psicología se basa en que las personas completen encuestas. ¿No sería bueno si pudiéramos conseguir que las personas, personas que no eran estudiantes universitarios, hicieran esto por algo menos de $ 10 por encuesta ... digamos, 10 centavos?
Buhrmester y col. (2011) se propuso averiguar si esas personas de Mechanical Turk completarían encuestas de una manera coherente con las personas a las que se les podría pedir que hicieran algo similar cara a cara.
Primero, los investigadores encuestaron la demografía de 3.006 participantes de Mechanical Turk y los compararon con una gran muestra de Internet no obtenida de Mechanical Turk. Descubrieron que los participantes de Mechanical Turk (MTurk) eran más diversos que la muestra de Internet y la muestra de población de estudiantes universitarios estándar.
Luego, verificaron diferentes puntos de precio (2, 10 y 50 centavos) para completar un conjunto de encuestas que tomaron diferentes cantidades de tiempo (5, 10 y 30 minutos). Lo que encontraron no debería sorprender a nadie que haya usado MTurk:
Estos análisis sugieren que los participantes pueden ser reclutados de forma rápida y económica. Las tasas de participación son sensibles a los montos de compensación y compromisos de tiempo, pero nuestros hallazgos demuestran que es posible recolectar muestras de tamaño decente a través de MTurk por solo dólares. Incluso al ofrecer solo 2 centavos por una tarea de 30 minutos, acumulamos 25 participantes (en aproximadamente 5 horas de tiempo de publicación). Además, al aumentar la compensación ligeramente (por ejemplo, a 50 centavos), pudimos obtener el mismo número de participantes en menos de 2 horas de tiempo de publicación.
Sin embargo, ¿de qué sirve la mano de obra barata si no es de buena calidad y no cumple con los estándares psicométricos que necesitan los investigadores en psicología?
Los investigadores encontraron que incluso con el nivel de compensación más bajo de 2 centavos, los niveles de pago no parecen afectar la calidad de los datos. Los investigadores pueden pagar centavos para que se completen las encuestas y obtener datos de buena calidad de manera confiable.
Los investigadores calcularon las puntuaciones medias de fiabilidad alfa en todos los niveles de compensación para los seis cuestionarios de personalidad que administraron en línea. Descubrieron que los puntajes alfa de MTurk estaban dentro de dos centésimas de un punto de los alfas de la muestra tradicional. También probaron los puntajes de confiabilidad test-retest y encontraron la media r = 0.88 con una tasa de finalización de la repetición del 60 por ciento. Todos estos son números muy buenos y se comparan favorablemente con los métodos tradicionales.
El resultado de este estudio de investigación sugiere que Mechanical Turk es una alternativa confiable al uso de poblaciones universitarias para obtener datos de encuestas, e incluso puede ser una mejor alternativa que las encuestas tradicionales de Internet. Por solo unos centavos, las personas completarán cuestionarios incluso largos en sus esfuerzos por ayudar a otros con sus proyectos e investigaciones. Si bien es necesario realizar más investigaciones para confirmar estos hallazgos, MTurk parece ser un mercado que más investigadores de psicología deberían considerar mientras preparan su próximo estudio.
Referencia
Buhrmester, M., Kwang, T. y Gosling, S.D. (2011). Mechanical Turk de Amazon: ¿Una nueva fuente de datos económicos pero de alta calidad? Perspectivas de la ciencia psicológica, 6 (1), 3-5.
Este artículo presenta enlaces de afiliados a Amazon.com, donde se paga una pequeña comisión a Psych Central si se compra un libro. ¡Gracias por su apoyo a Psych Central!
