Encontrar fallas en la investigación de redes sociales
Los investigadores deben ser cautelosos con los serios errores de trabajar con enormes conjuntos de datos de redes sociales, según los científicos informáticos de la Universidad McGill en Montreal y la Universidad Carnegie Mellon en Pittsburgh.
Los resultados defectuosos pueden tener enormes implicaciones: miles de artículos de investigación cada año ahora se basan en datos obtenidos de las redes sociales.
"Muchos de estos documentos se utilizan para informar y justificar decisiones e inversiones entre el público y en la industria y el gobierno", dijo el Dr. Derek Ruths, profesor asistente de la Facultad de Ciencias de la Computación de McGill.
Para los científicos del comportamiento, el crecimiento de las redes sociales ha parecido una oportunidad sin precedentes para capturar, y luego analizar, grandes cantidades de información sobre el comportamiento humano.
Muchos científicos creen que estos conjuntos de datos maduros pueden ayudar a predecir el comportamiento humano a un nivel nunca antes imaginado. En los últimos años, los estudios han afirmado la capacidad de predecir todo, desde los éxitos de taquilla del verano hasta las fluctuaciones en el mercado de valores.
Pero en un artículo publicado en la revista Ciencias, Ruths y el Dr. Jürgen Pfeffer del Instituto Carnegie Mellon de Investigación de Software destacan varios problemas relacionados con el uso de conjuntos de datos de redes sociales, junto con estrategias para abordarlos. Entre los desafíos:
- Las diferentes plataformas de redes sociales atraen a diferentes usuarios (Pinterest, por ejemplo, está dominado por mujeres de entre 25 y 34 años), pero los investigadores rara vez corrigen la imagen distorsionada que pueden producir estas poblaciones;
- Los feeds de datos disponibles públicamente utilizados en la investigación de redes sociales no siempre proporcionan una representación precisa de los datos generales de la plataforma, y los investigadores generalmente no saben cuándo y cómo los proveedores de redes sociales filtran sus flujos de datos;
- El diseño de las plataformas de redes sociales puede dictar cómo se comportan los usuarios y, por lo tanto, qué comportamiento se puede medir. Por ejemplo, en Facebook, la ausencia de un botón de "no me gusta" hace que las respuestas negativas al contenido sean más difíciles de detectar que los "me gusta" positivos;
- Un gran número de spammers y bots, que se hacen pasar por usuarios normales en las redes sociales, se incorporan por error en muchas mediciones y predicciones del comportamiento humano;
- Los investigadores a menudo informan resultados para grupos de usuarios, temas y eventos fáciles de clasificar, lo que hace que los nuevos métodos parezcan más precisos de lo que realmente son. Por ejemplo, los esfuerzos para inferir la orientación política de los usuarios de Twitter logran una precisión de apenas el 65 por ciento para los usuarios típicos, a pesar de que los estudios (que se centran en usuarios políticamente activos) han afirmado una precisión del 90 por ciento. Los usuarios de Twitter alcanzan apenas el 65 por ciento de precisión para los usuarios típicos, a pesar de que los estudios (centrados en usuarios políticamente activos) han afirmado una precisión del 90 por ciento.
Los investigadores dicen que muchos de los problemas también son comunes a otros campos como la epidemiología, la estadística y el aprendizaje automático.
"El hilo común en todos estos temas es la necesidad de que los investigadores sean más conscientes de lo que realmente están analizando cuando trabajan con datos de redes sociales", dice Ruths.
Los científicos sociales han perfeccionado sus técnicas y estándares para hacer frente a este tipo de desafío antes.
“El infame titular 'Dewey derrota a Truman' de 1948 se originó en encuestas telefónicas que incluyeron menos de la muestra a los partidarios de Truman en la población general”, señala Ruths.
“En lugar de desacreditar permanentemente la práctica de las encuestas, ese error flagrante condujo a las técnicas más sofisticadas de la actualidad, estándares más altos y encuestas más precisas. Ahora, nos encontramos en un punto de inflexión tecnológico similar. Al abordar los problemas a los que nos enfrentamos, podremos realizar el tremendo potencial de bondad prometido por la investigación basada en las redes sociales ".
Fuente: Universidad McGill
