Dr. Epstein, sesgo político y resultados de búsqueda de Google

• Los motores de búsqueda siempre han estado sesgados
• ¿Qué aspecto tiene el sesgo en los resultados de los motores de búsqueda?
• ¿Google ayudó a Hillary a ganar?
• ¿Quizás haya un hacha que moler?
• El resultado final del sesgo de los motores de búsqueda

Estoy un poco confundido por las afirmaciones del Dr. Robert Epstein y su afirmación, basada en un solo estudio de 95 participantes, de que Google de alguna manera sesgó intencionalmente los resultados mostrados antes de las elecciones presidenciales de EE. UU. De 2016. Y por lo tanto, probablemente afectó los resultados electorales en sí.

Eso es un enorme afirmación para hacer. Uno esperaría que un investigador estimado como el Dr. Epstein tuviera los datos científicos para respaldarlo. Desafortunadamente, no lo veo.

La ciencia solo es objetiva hasta el punto en que un científico reconoce y explica sus propios prejuicios. La ciencia no se basa en una agenda preestablecida ni en un intento de ajustar cuentas. No estoy seguro de que el Dr. Epstein haya mantenido sus propios prejuicios bajo control en su aparente cacería de brujas para acabar con Google por ofrecer resultados de búsqueda "sesgados".

Los motores de búsqueda siempre han estado sesgados

Google siempre ha ofrecido resultados de búsqueda sesgados. Si no entiende que esto tiene para ser el caso de cualquier motor de búsqueda, es posible que necesite un curso de actualización rápida sobre cómo funcionan los motores de búsqueda.

No existen los resultados de búsqueda imparciales. Todos los motores de búsqueda utilizan algoritmos de secretos comerciales patentados para garantizar que vea lo que la empresa de motores de búsqueda cree que produce los "mejores" resultados. “Mejor”, desde el inicio de los motores de búsqueda en línea a principios de la década de 1990, siempre ha sido un término subjetivo. No existe una clasificación objetiva única de sitios web que diga: "Mostrar siempre este sitio web primero para esta consulta de búsqueda porque es claramente el mejor resultado".

Y adivina qué, ¡a la gente le encanta! Es por eso que Google está en la cima de la pila de motores de búsqueda, porque de hecho ofrece los resultados que aparentemente son los más relevantes para la mayoría de las personas. En el momento en que Google deje de ofrecer resultados tan relevantes, un nuevo motor de búsqueda podrá ocupar su lugar. (¿Alguien recuerda Alta Vista, Excite o incluso Yahoo? [Y no, Yahoo ya no realiza búsquedas, sus resultados los proporciona Bing]).

¿Qué aspecto tiene el sesgo en los resultados de los motores de búsqueda?

Sin que muchos lo sepan, los motores de búsqueda no muestran exactamente los mismos resultados para la misma consulta realizada por dos personas diferentes. La mayoría de los motores de búsqueda, incluido Google, utilizan factores de personalización complejos, así como un perfil psicográfico para clasificar y presentar los resultados que cree que son más relevante para ti.

En la práctica, esto significa que mi búsqueda de "síntomas de depresión" puede devolver un conjunto de resultados diferente al de su búsqueda en los mismos términos exactos. Si no controla esto cuidadosamente en su metodología, sus resultados no tendrán sentido y estarán manchados.

Epstein y Robertson (2015) encontraron en una serie de experimentos de laboratorio (no en el mundo real) que cuando manipulaban artificialmente las páginas de resultados de los motores de búsqueda, podían influir en las preferencias de los votantes de los sujetos durante un corto período de tiempo. No investigó ninguna página de motor de búsqueda real. E ignoró el diseño y la composición de las páginas de resultados de los motores de búsqueda modernos. Las páginas de resultados de búsqueda reales presentan varios anuncios (que cualquiera puede comprar) en la parte superior de la página antes de los resultados orgánicos.

Los resultados de estos investigadores no son sorprendentes porque se hacen eco de lo que le diría cualquier experto en optimización de motores de búsqueda (SEO): la posición es importante en la página de resultados de un motor de búsqueda. Los sitios web obtienen mucho más tráfico si son el número 1, el número 2 o el número 3 frente al número 9, o peor aún, en la segunda página de resultados.

En un segundo experimento de laboratorio, el mismo investigador demostró métodos (nuevamente, utilizando un motor de búsqueda completamente falso, no Google) en los que el efecto que acuñaron, el Efecto de manipulación del motor de búsqueda (SEME), podría suprimirse (mediante alertas oportunas mostradas a los usuarios ).

¿Google ayudó a Hillary a ganar?

En 2017, Epstein & Robertson ya no se contentaron con demostrar lo obvio: que las posiciones de clasificación son importantes en las páginas de resultados de los motores de búsqueda. Dieron un paso más allá y realizaron un estudio de 95 estadounidenses (solo 21 de los cuales se identificaron como "indecisos" en las próximas elecciones presidenciales) en 2016 y sus hábitos de búsqueda.

En un libro blanco publicado solo en su propio sitio web, Epstein & Robertson hacen una afirmación extraordinaria:

[… Hemos descubierto que entre mayo y noviembre de 2016, los resultados de búsqueda mostrados en respuesta a una amplia gama de términos de búsqueda relacionados con las elecciones estaban, en promedio, sesgados a favor de la Sra. Clinton en las 10 posiciones de resultados de búsqueda.

Publicado como un "libro blanco" y no como un estudio de una revista revisada por pares, esto generó un montón de banderas rojas.1

En el estudio se explicó poca metodología. Esto no incluye información sobre lo que se hizo para limitar la personalización de los resultados de búsqueda (ya que desea controlar esa variable independiente), ni qué términos de búsqueda usaron realmente.De hecho, al leer los dos estudios anteriores que publicaron estos investigadores, ni siquiera está claro que sepan cómo funcionan los motores de búsqueda en términos de sus estrategias de monetización, los cambios de algoritmo semanales que emplean y la personalización de los resultados de búsqueda.

También hay un aparente descuido en los esfuerzos del investigador, en mi opinión. No se da una justificación para el período específico de 25 días que utilizaron para examinar en el estudio, en comparación con cualquier otro período de tiempo. Y, de hecho, reconocen que no miraron tan de cerca el la mayoría de los puntos de datos que habían reunido. Los investigadores ignoraron los datos de investigación de 7 meses para centrarse solo en las 3 semanas antes de las elecciones.2

También tomaron la decisión, post-hoc, de descartar todos los datos basados ​​en Gmail.com debido a anomalías en esos datos. Esas anomalías no mostraron tal sesgo, que atribuyeron a un conjunto de "bots" o, espere, al sabotaje intencional por parte de Google.

Dado que existe una minoría significativa de usuarios legítimos que utilizan Gmail, estas razones para descartar todos los datos derivados de Gmail.com parecen, en el mejor de los casos, cuestionables. En mi opinión, es una decisión de investigación horrible haber tomado, pero casualmente también aseguró que los investigadores encontraran importancia en sus datos.

Pero aquí está el verdadero truco:

Extrapolando de las matemáticas presentadas en este informe, en artículos publicados en febrero de 2016 y posteriormente, el autor principal del estudio PNAS predijo que un sesgo pro-Clinton en los resultados de búsqueda de Google, con el tiempo, trasladaría al menos 2,6 millones de votos a Clinton.

No hay matemáticas en su libro blanco. Ahí son un montón de estadísticas descriptivas, pero esas estadísticas apenas hablan de los procedimientos o modelos que los investigadores usaron realmente para llegar a las conclusiones que hicieron.

¿La evidencia de sesgo sistemático de los investigadores en las elecciones presidenciales de 2016? Una pequeña muestra de datos de modelos basados ​​en 95 estadounidenses (menos los usuarios de Gmail.com cuyos datos arrojaron post-hoc).

En resumen, en mi opinión, este es exactamente el tipo de investigación de mala calidad, turbia y horriblemente diseñada que pasa por "prueba" en estos días. ¿Por qué los investigadores realizarían un estudio tan aparentemente políticamente sesgado y también sacarían conclusiones de las que no tienen pruebas directas reales? 3

¿Quizás haya un hacha que moler?

Los investigadores son humanos. Y los humanos a veces tienen un hacha para moler. No es necesario ir muy lejos para encontrar uno de los posibles ejes particulares de Epstein.

Antes de 2012, Epstein mostró poco interés en los motores de búsqueda o en cómo funcionaban. Publicó sobre una amplia variedad de temas psicológicos, de relaciones y salud mental y escribió sobre ellos para sitios web convencionales.

Luego, a principios de 2012, el sitio web personal de Epstein recibió una advertencia de malware que apareció cuando los usuarios intentaron acceder a su sitio desde Google. Google muestra estas alertas para alejar a los usuarios de sitios web potencialmente maliciosos.

Pero este incidente aparentemente se metió en la piel de Epstein de alguna manera porque de repente está escribiendo varios artículos en el otoño de 2012 sobre la necesidad de regular Google. Esto de un investigador que nunca antes había escrito una sola palabra sobre motores de búsqueda. Encuentro el momento interesante.

En resumen, Epstein ha estado abogando por la regulación de Google por parte del gobierno federal durante los últimos siete años. No sería demasiado difícil imaginar a un investigador hipotético diseñando estudios para apoyar sus creencias.

El resultado final del sesgo de los motores de búsqueda

Los motores de búsqueda siempre han sido parciales, y siempre lo serán porque son herramientas subjetivas destinadas a ayudar a los usuarios a obtener información o entretenimiento. En el momento en que el gran gobierno quiere comenzar a supervisar mis resultados de búsqueda es el momento en que recurro a un motor de búsqueda en el que no se realiza dicho filtrado gubernamental.

También ayuda a tener en cuenta la intromisión hipotética versus la intromisión real en la política estadounidense. Si bien Epstein insinúa que Google está manipulando sus resultados de búsqueda política para favorecer a los candidatos que quiere que sean elegidos para el cargo, tenemos pruebas reales de que Facebook manipuló las elecciones presidenciales de 2016 a través de organizaciones patrocinadas por Rusia que compran millones de dólares en publicidad falsa en su plataforma.

Curiosamente, Epstein no parece tener mucho interés en eso. Tal vez sea porque Facebook nunca lo ha perjudicado como lo hizo Google.

Para mayor información

Politifact: Donald Trump se equivocó al manipular los resultados electorales de Google

Referencias

Epstein y Robertson. (2017). Suprimir el efecto de manipulación del motor de búsqueda (SEME). Proc. ACM Hum.-Comput. Interact., 1 (2), 42.

Epstein y Robertson. (2017). Un método para detectar sesgos en los rankings de búsqueda, con evidencia de sesgos sistemáticos relacionados con las elecciones presidenciales de 2016. Libro blanco publicado por AIBRT, la organización de Epstein.

Epstein y Robertson. (2015). El efecto de manipulación del motor de búsqueda (SEME) y su posible impacto en los resultados de las elecciones. PNAS, 10.1073 / pnas.1419828112

Notas al pie:

1. Cuando se le preguntó sobre la falta de estudios revisados ​​por pares, Epstein me respondió: "También tengo problemas tanto de urgencia como de cantidad: he completado o tengo en progreso tantos estudios diferentes sobre nuevas formas de influencia en línea (estoy estudiando siete tipos diferentes de influencia en este momento (SEME y otros seis) que he decidido resumir mis hallazgos en documentos de conferencias, informes técnicos y, en algún momento, en forma de libro, en lugar de gastar el poco tiempo que me queda en el proceso de publicaciones académicas dolorosamente lento. Cuando me tropiezo con otra nueva forma de influencia en línea, me lleva uno o dos años, al menos, comprenderla y cuantificarla. (Ni siquiera he comenzado a experimentar con media docena de nuevas formas de influencia que conozco). Agregar uno o dos años más a ese proceso para publicarlo en una revista parece imprudente dada mi edad y la importancia potencial de estos descubrimientos. para la humanidad ". [↩]
2. Los investigadores afirmaron que esto se debía a lo que dijeron que eran problemas de reclutamiento y refinamiento de sus procedimientos. Lo que plantea la pregunta: ¿no deberían haberse perfeccionado sus procedimientos en un estudio piloto primero, como habrían hecho la mayoría de los investigadores? [↩]
3. O, si quiere ser pedante, tenga una prueba mínima basada en una pequeña muestra de solo 95 búsquedas de usuarios, menos algunos temas de Gmail.com, en el transcurso de 25 días. [↩]