Poner lo cool por delante de la ciencia: TweetPsych

Un nuevo servicio lanzado esta semana por un desarrollador web llamado Dan Zarrella llamado TweetPsych. Zarrella también es gerente de marketing de HubSpot, una empresa de marketing online. Zarrella se llama a sí mismo un "científico" porque supongo que suena más sexy que "desarrollador web" o "gerente de marketing", pero no menciona ninguna credencial académica. (No mencionaría la parte científica o de credenciales, excepto que Zarrella hace afirmaciones científicas específicas sobre su nuevo servicio).

El interesante nuevo servicio se comercializa como una oferta de "perfiles psicológicos" basados ​​en lo que publica en Twitter. Pero en realidad es solo un servicio de análisis de contenido, que utiliza dos diccionarios psicológicos y sus últimos 1,000 tweets. Zarrella afirma que este análisis "construye un perfil psicológico de una persona". El perfil psicológico real es una ciencia y, por lo general, se realiza con mucho más que una parte de la vida de una persona (como lo que escribe en un servicio de microblogging). TweetPsych luego hace la afirmación contradictoria de que es "solo con fines de entretenimiento". Cual es

También hay problemas con uno de los diccionarios que utiliza Zarrella en el análisis. Un diccionario, el LIWC, es una base de datos de lingüística psicológica válida. Pero el otro, el Diccionario de Imágenes Regresivas en Inglés (RID), lo es mucho menos. El RID se compone de aproximadamente 3200 palabras y raíces asignadas a 43 categorías de pensamiento y estado de ánimo. El principal problema con el RID es que básicamente no tiene respaldo de investigación (a pesar de que Zarrella cita un sitio web que lo hace parecer). Fue desarrollado por un solo profesional, que luego pasó a escribir un montón de libros sobre él y otros procesos psicoanalíticos. Un libro no es lo mismo que un artículo de una revista de investigación revisada por pares (como saben los investigadores), y el RID carece por completo de respaldo empírico. Esto sugiere que la mitad del análisis es inválido incluso antes de comenzar.

El segundo diccionario, Consulta lingüística y recuento de palabras (LIWC), se basa principalmente en la palabra escrita, los escritos de las personas, o la palabra hablada, como una sesión de terapia o una conversación entre dos personas. No fue desarrollado para analizar entradas artificialmente cortas de 140 caracteres, como las que se encuentran en Twitter. La gente abrevia las palabras al tuitear, debido al límite de caracteres, y no está claro que una simple derivación analice con precisión todas las palabras escritas con abreviaturas no estándar sobre la marcha. ¿Qué pasa con los re-tweets también? Una persona que retuitea algo no está necesariamente "hablando", sino que actúa como portavoz de las palabras de otra persona. ¿Se diferencia el servicio? Sin conocer el alcance del problema, no tendría idea de si su análisis está sesgado artificialmente de alguna manera (a menos que primero haya estudiado específicamente este tipo de cuestiones). Estos problemas son abordables, pero no se han abordado en este servicio.

La capacidad de Zarrella para analizar rápidamente 1.000 tweets y comparar todo el texto contenido en estos dos diccionarios en unos pocos segundos es una hazaña admirable de la programación lingüística. El desafío que enfrentamos entonces es: "¿Cómo presento los resultados del análisis de una manera reflexiva, intuitiva y procesable?" Esta es la parte en la que TweetPsych simplemente no cumple.

Dado que Zarrella aparentemente tiene poca experiencia en psicología, los resultados de la psicología son bastante insatisfactorios. Recibes una lista de "características" (¿de tu personalidad? ¿Tu tuiteo?) Que incluyen cosas como "Ocupación y trabajo". Junto a ella está la descripción útil, "Hablas mucho sobre trabajos y tu trabajo" y una puntuación.

Vaya, gracias por la gran información.

No tienes idea de lo que significa la partitura, porque no hay contexto para ella. ¿Un 47,87 para el trabajo es bueno o malo? Cual es el promedio? Otras características incluyen "Tiempo presente", "Movimiento ascendente", "Emociones positivas", "Emociones negativas" y otras tres docenas de categorías.

Esta parte del análisis, basada en la LIWC, también es tan buena como el diccionario básico de la LIWC. Si bien categorías como trabajo, logros y ocio son todas "preocupaciones actuales" que la LIWC puede identificar, no tiene una categoría para algo como "preocupaciones de relación". Pero no lo sabría a menos que conociera la LIWC. Podría ser algo que les mencionaría a las personas que realizan el análisis. Otro contenido de actualidad popular sobre el que se tuitea con regularidad, como la política, la tecnología y las celebridades, tampoco forma parte de la LIWC. De nuevo, nunca aparecerán en el análisis, incluso si eso es todo de lo que hablas. Por tanto, la información que puede proporcionar LIWC y, por extensión, TweetPsych, es limitada. (El uso de un diccionario personalizado resuelve algunos de estos problemas, pero no es un diccionario que ofrece TweetPsych).

El "Contenido Primordial, Conceptual y Emocional" del RID viene sin absolutamente ninguna descripción, y nuevamente, nada para poner sus puntajes en ningún tipo de contexto o comprensión. Pero como no es un diccionario científico para empezar, puedes ignorar las puntuaciones de todos modos. Podrían haberse desarrollado de forma aleatoria y proporcionar la misma información útil.

La última parte del análisis actual es "Otros como tú", un componente común de cualquier servicio de redes sociales. Curiosamente, este componente faltaba en la primera versión de esta herramienta. Basado únicamente en lo que tuiteas, dice "Algunas personas que piensan como tú" y luego te proporciona una lista de otras personas que han ido a TweetPsych e ingresaron su nombre de usuario para analizar.

Por supuesto que es no gente que piensa como tú, es gente que tuitea como tú. Esta es una distinción importante. Un servicio que analiza una pequeña parte de lo que escribe todos los días, y basado en un análisis que puede ser defectuoso por el uso generalizado de abreviaturas por parte de sus usuarios, seguramente no puede pretender analizar lo que usted pensar.

¿Qué tan confiable es TweetPsych? Bueno, hoy, mientras escribía este artículo, noté que todos los puntajes de Dan Zarrella cambiaron debido a un solo tweet (solo ha tuiteado una vez hoy). Su puntuación de "ocupación y trabajo" bajó un 20% y su puntuación de "tiempo presente" subió un 16%. Su puntuación de pensamiento abstracto bajó un 16%. ¿Cómo pudo pasar todo esto con un solo tweet? Un tweet, en comparación con sus otros 999 tweets, no debería poder afectar tanto la puntuación de uno. A menos que esté sucediendo algo más.(Compare la captura de pantalla a continuación, tomada a las 2:55 pm ET, con la de arriba, tomada hoy a las 9:00 am ET).

Mis propios resultados al analizar los últimos 1,000 tweets de Zarrella en el programa LIWC2007 muestran algo muy diferente. No conozco la metodología de Zarrella (ya que no la compartió), pero tomé el texto de sus últimos 1,000 tweets y los procesé en dos formas a través de la LIWC: derivado y "tal cual". Ninguno de los dos produjo puntuaciones cercanas a las que aparecen en TweetPsych. Esto podría deberse a que está usando una versión anterior del diccionario o algún tipo de variable de transformación que está agregando a TweetPsych que no reveló. Puede ver los resultados de este análisis de LIWC2007 aquí. (He resaltado en amarillo las cosas que TweetPsych ha resaltado, y en verde otras áreas ya no resaltadas por TweetPsych; observe la diferencia significativa en la puntuación). Sin embargo, le hace preguntarse qué está pasando exactamente con el servicio. Si su confiabilidad y validez psicométricas son cuestionables, ¿qué tan útil es?

TweetPsych está recibiendo mucha prensa positiva, con solo una pizca de escepticismo. Josh Lowensohn de CNet escribió sobre el servicio y solo señaló de pasada: "Esto hace que sea menos sobre psicología y más sobre su léxico personal, pero los resultados siguen siendo bastante divertido." ¡Yay, divertido! Ben Patterson en Yahoo! Tech dijo: "Desafortunadamente, los perfiles psicológicos que ofrece TweetPsych no son la variedad narrativa coherente que podrías escuchar del psiquiatra residente en" Law & Order: Criminal Intent ". Y, sin embargo, no es una narrativa coherente mucho más útil que algunas categorías indescriptibles? Ninguno de los reporteros, ni el artículo original sobre Mashable (donde, ¡sorpresa !, Zarrella es un colaborador), notan la falta de antecedentes psicológicos que Zarrella trae a la mesa. Ninguno conectó los puntos en cuanto a por qué los resultados son tan insatisfactorios en sus interpretaciones. Aparentemente, los periodistas de tecnología son excelentes para redistribuir sus propios comunicados de prensa positivos, pero no tan buenos para ser periodistas reales que investigan la supuesta ciencia de dicho servicio.

Por supuesto, el propio Zarrella admite que no pensó mucho en el servicio, como le dijo al NY Post, "" A la gente le encanta compararse con otras personas y tratar de 'meterse' en la mente de otras personas ", dice Zarrella. "Es como ser una mosca en la pared en una sesión de terapia". ¿Una sesión de terapia? ¿Es realmente tan revelador descubrir que alguien está hablando de "movimiento ascendente"? En la prisa por poner el servicio en línea, Zarrella aparentemente nunca hizo la pregunta: "¿Alguna de esta información es realmente útil?" El servicio, tal como existe hoy, es un pensamiento inacabado que pocos volverán a visitar.

TweetPsych, a pesar de sus limitaciones, ha abierto la puerta a servicios futuros que realmente brindan información utilizable, útil y procesable que probablemente tendría una mayor validez. Imagínese tomar no solo los tweets de una persona, sino también la información contenida en su perfil de Facebook, blog, etc., y colocarlo todo en un gran motor de análisis ... Un motor así podría tener la capacidad de proporcionar una verdadera visión psicológica de un individuo basado sobre lo que dicen en línea.

Hasta ese momento, tenemos iniciativas de estudiantes de primer año como TweetPsych, que realmente debería llamarse "TweetFun!" Porque si bien es divertido jugar con él, proporciona poca información psicológica, excepto del tipo más superficial, a cualquier persona.

(Puede leer preocupaciones adicionales de TweetPsych por Tyler Hayes aquí).

!-- GDPR -->