La sabiduría de las multitudes (seleccionadas)

Cada vez más empresas aprovechan la sabiduría de sus clientes y usuarios, un público muy selecto. Lo hacen a través de "macrodatos": recopilan tesoros de datos anónimos y luego ejecutan análisis post-hoc sobre ellos.

Este esfuerzo puede conducir a algunas ideas interesantes. También puede hacer que las empresas sugieran que los resultados son generalizables a toda la población.

Y es este último tema el que es el problema. Porque si comienza con una muestra autoseleccionada, sus datos solo son relevantes para personas como ellos, no para toda la población. Ese es solo uno de los problemas con la medición y la adopción de medidas en función de la información de las multitudes seleccionadas.

Los sitios web han estado haciendo mediciones de "big data" durante casi 20 años. Cada vez que visita un sitio web, deja un pequeño rastro de datos en el servidor del sitio web. Los propietarios del servidor toman estos datos y los ejecutan a través de una plataforma de análisis de datos (como Google Analytics). Brinda al propietario del sitio web información agregada sobre los tipos de personas que visitan su sitio web.

Dado que cada sitio web es único, estos conocimientos solo son relevantes para ese sitio web. Un usuario que visita CNN, por ejemplo, puede tener poco en común con un usuario que visita Match.com.

El problema de las multitudes selectas

En el análisis de datos, los estadísticos llaman a este tipo de muestreo una "muestra autoseleccionada", lo que da lugar al problema de un "sesgo de autoselección". En pocas palabras, esto significa que debido a que sus datos provienen solo de personas que usan una aplicación en particular o un tipo de red social, no son representativos de la población en general. Y como no es representativo de la población en su conjunto, no se pueden generalizar los datos.

A esto lo llamo el problema de las "multitudes selectas". Porque si está obteniendo su sabiduría de la multitud, es mejor asegurarse de que la multitud sea representativa de la población si está tratando de obtener información generalizable de ella.

Hay empresas enteras que no hacen más que analizar tendencias y datos de Twitter. Pero si observa quién usa Twitter y cómo lo usa, inmediatamente se preocupará por lo que realmente significan esos datos. Por ejemplo, los usuarios de Twitter son mucho más jóvenes que la población general y las personas mayores están muy infrarrepresentadas. Si dirige una empresa y observa las tendencias de salud en Twitter, verá algo muy diferente a si realizara una encuesta telefónica aleatoria.

En otras palabras, qué tendencias en Twitter pueden tener o no algún significado para el 80% de los estadounidenses que no usan Twitter.

Las aplicaciones no son mejores

A las aplicaciones a menudo les gusta recopilar los datos de sus usuarios, anonimizarlos y luego usarlos para comparar su rendimiento con el de otros que también están usando la aplicación. Se supone que esto te hará sentir como si fueras parte de una red social que tiene la aplicación en común. Es una gran idea.

Porque, ¿y si solo un cierto tipo de persona usa esa aplicación en particular? ¿Qué pasa si solo las personas deprimidas usan una aplicación de seguimiento del estado de ánimo destinada a ayudar a las personas a salir de su depresión ayudándoles a rastrear su estado de ánimo, comparando su progreso con otros que también usan la aplicación? Tales resultados podrían ser deprimentes involuntariamente en sí mismos.

¿Puedes motivar positivamente a alguien a través de la comparación social? Puede, pero con demasiada frecuencia, la investigación también muestra que tales comparaciones sociales hacen que las personas se sientan peor que antes. Tiene que hacerse con mucho cuidado, algo que la mayoría de los desarrolladores de aplicaciones típicos no comprenden.

Dejando fuera cosas importantes para medir

Cualquier aplicación o servicio es tan bueno como el material que elija medir. Puede introducir sesgos, intencionada o no, en sus resultados según lo que elija medir, y no medir.

Piénselo así: está pensando en mudarse a una nueva ciudad con menos lluvia, por lo que solo observa la cantidad promedio anual de lluvia para diferentes ciudades. Buscaría una ciudad como Miami y pensaría: "Sabes, no me voy a mudar a Miami, ¡llueve casi 62 pulgadas al año! Compare eso con las escasas 37 pulgadas de lluvia que recibe Seattle. Seattle tiene que ser el lugar más soleado y menos lluvioso ". Dado que no incluyó otras métricas importantes en su medición, tomaría la decisión equivocada debido a información demasiado limitada.

Lo que el desarrollador de una aplicación o un sitio web piensa que es importante en la medición de algo puede no ser tan importante como algo que omitió. Imagínese una aplicación que solo midiera su reacción a la medicación, pero omitiera todos los otros factores importantes que contribuyen a su estado de ánimo y tratamiento.

El tratamiento no se lleva a cabo en el vacío con usted y un solo medicamento. Tiene lugar en un ecosistema rico y complejo que puede incluir un medicamento, pero también incluye muchas otras cosas importantes que estás haciendo para ayudarte a recuperarte. Podría ser la cantidad de ejercicio que hace, o no rumiar, o los días que pasa sin tener un ataque de pánico o estar estresado por un miembro de la familia o el trabajo.

En resumen, hay una gran cantidad de cosas que las aplicaciones y otros servicios bien intencionados deberían rastrear, pero no es así. Y esto da una perspectiva distorsionada de cómo algo que se está midiendo está conectado con el estado de ánimo o el progreso de la recuperación. De hecho, la medicación es importante en el tratamiento de muchas personas, pero puede que no sea lo más importante, y a menudo no lo es.