Persuadir algoritmos con un empujón de IA

La verificación de hechos puede reducir la difusión de noticias poco confiables. También puede hacer lo contrario.

(esta publicación apareció originalmente en civilservant.io)

Los lectores de r / worldnews en reddit a menudo informan noticias de los tabloides a los moderadores voluntarios, pidiéndoles que prohíban los tabloides por sus artículos sensacionalistas. Estas historias embellecidas llaman la atención de las personas, atraen controversia y se hacen notar por el algoritmo de clasificación de reddit, que las extiende aún más.

Prohibir las noticias sensacionalistas podría poner fin a este ciclo de retroalimentación, pero los moderadores de la comunidad se oponen a las prohibiciones generales. Para resolver este acertijo, los moderadores necesitaban responder una pregunta en el centro de los debates sobre las llamadas "noticias falsas": ¿cómo podemos preservar la libertad de los contribuyentes y al mismo tiempo influir en el comportamiento mutuo de las personas y los algoritmos para el bien de la comunidad?

Este invierno, los moderadores trabajaron con CivilServant para probar una idea: ¿cuáles son los efectos de alentar la verificación de hechos en la respuesta a noticias poco confiables? Queríamos ver cómo respondería la comunidad r / worldnews. También observamos el efecto en las clasificaciones de reddit. Si los algoritmos de reddit interpretaran la verificación de hechos como popularidad, los artículos poco confiables podrían extenderse aún más.

Las noticias sensacionalistas representan aproximadamente el 2.3% de todas las presentaciones a esta comunidad de 15 millones de suscriptores que discute noticias fuera de los EE. UU. En r / worldnews, 70 moderadores revisan aproximadamente 450 artículos por día y permiten que permanezca el 68% de esos artículos. Como es un subreddit predeterminado, la mayoría de los lectores de reddit reciben noticias mundiales a través de esta comunidad. Si bien el alcance de la comunidad se ve eclipsado por Facebook, r / worldnews puede ser el grupo más grande para discutir noticias mundiales en cualquier lugar de Internet de habla inglesa. Incluso pequeños efectos en esta comunidad pueden hacer una gran diferencia en cómo millones de personas tienen sentido de información potencialmente poco confiable sobre el mundo.

En nuestro estudio del 27 de noviembre al 20 de enero, A / B probó mensajes alentando a la comunidad a verificar los hechos y votar sobre las noticias sensacionalistas. Esto es lo que encontramos:

El efecto de alentar la verificación de hechos sobre el comportamiento de la comunidad

Dentro de las discusiones sobre las presentaciones de los tabloides en r / worldnews, alentar la verificación de hechos aumenta la tasa de incidencia de comentarios con enlaces en 2 veces en promedio, y alentar la verificación de hechos + votar tiene un efecto similar.

El efecto de alentar la verificación de hechos en los algoritmos de Reddit

Observando más de 24 horas, también descubrimos que, en promedio, los comentarios fijos que fomentaban la verificación de los hechos causaron una reducción del doble en la puntuación de reddit de las presentaciones de los tabloides, un efecto estadísticamente significativo que probablemente influyó en las clasificaciones en el subreddit. Cuando también alentamos a los lectores a votar, este efecto desapareció.

Nudges de AI: persuadir algoritmos mientras se preserva la libertad

Nuestras preguntas sobre las noticias sensacionalistas agregaron una dimensión algorítmica a una pregunta clásica de gobernanza: ¿cómo pueden las personas con poder trabajar hacia el bien común mientras minimizan las restricciones a la libertad individual?

podemos persuadir a los algoritmos para que se comporten de manera diferente persuadiendo a las personas para que se comporten de manera diferente.

A través de Internet, las personas aprenden a vivir con sistemas de inteligencia artificial que no pueden controlar. Por ejemplo, los conductores de Uber modifican su conducción para optimizar sus ingresos. Nuestro comportamiento colectivo ya influye en los sistemas de IA todo el tiempo, pero hasta ahora, el público carece de información sobre cuál es esa influencia en realidad. Estos resultados opacos pueden ser un problema cuando los algoritmos desempeñan funciones clave en la sociedad, como la salud, la seguridad y la equidad. Para resolver este problema, algunos investigadores están diseñando sistemas de "sociedad en el circuito" [4]. Otros están desarrollando métodos para auditar algoritmos [5] [6]. Sin embargo, ninguno de los dos enfoques ofrece una manera de administrar el comportamiento cotidiano de los sistemas cuyo código no podemos controlar. Nuestro estudio con r / worldnews ofrece una tercera dirección; podemos persuadir a los algoritmos para que se comporten de manera diferente persuadiendo a las personas para que se comporten de manera diferente.

Algunas personas pueden preguntarse si este experimento constituye manipulación de votos, lo que va en contra de las políticas de reddit. Nuestras notas adhesivas no violan ninguna de las reglas de reddit para beneficio personal (tampoco creamos cuentas falsas, no les dijimos a las personas cómo votar ni organizamos un bloque de votación). Pero demostramos que alentar a las personas a verificar los hechos tuvo un efecto sistemático en los algoritmos de reddit.

La idea de "empujones de inteligencia artificial" nos da una forma de pensar sobre los esfuerzos pro-sociales para influir en el comportamiento humano y de la máquina mientras se preserva la libertad individual. Richard Thaler y Cass Sunstein propusieron por primera vez "empujones" como formas para que las instituciones ejerzan su poder mientras preservan la libertad individual [7]. En comparación con la prohibición de las noticias sensacionalistas, el impulso de AI de alentar la verificación de hechos es la acción más ligera que los moderadores podrían tomar. No se elimina la capacidad de ninguna persona para compartir noticias, comentarios o votaciones, pero el empujón de la IA todavía amortigua la difusión de noticias poco confiables.

Como señalan Sunstein y Thaler, no siempre es obvio si estas intervenciones ligeras tendrán el resultado deseado. Es por eso que debemos probar sistemáticamente sus efectos, especialmente porque los sistemas no probados pueden tener resultados inesperados.

El gobierno y la ética de los empujones de IA

Los empujones de los gobiernos y los experimentos sociales de las plataformas en línea a menudo atraen críticas similares. Creo que las personas tienen razón al esperar la rendición de cuentas de quienes ejercen el poder de empujar. Al trabajar con moderadores voluntarios, he podido trabajar con mayores niveles de transparencia y responsabilidad de lo que es típico en la informática social. Todos los estudios de CivilServant están diseñados con y por equipos de moderación, y todos los resultados se divulgan primero a la comunidad en un informe subreddit. Nuestros diseños de estudio se enumeran públicamente en Open Science Framework antes de comenzar, y todo nuestro código es de código abierto. Los detalles completos del análisis también son públicos, por lo que cualquiera puede consultar nuestras conclusiones. Lo único que retenemos son los datos reales, ya que respetamos la privacidad de todos los involucrados.

En general, tengo la esperanza de que los empujones de IA, especialmente cuando están dirigidos por las propias comunidades, ofrecen una dirección emocionante para que el público administre el papel de los algoritmos en la sociedad, al tiempo que preserva la libertad individual.

Cómo funcionó el estudio

Para esta prueba, los moderadores comenzaron con una lista de fuentes de noticias que frecuentemente reciben quejas. Del 27 de noviembre al 20 de enero, asignamos aleatoriamente cada nuevo enlace sensacionalista a una de tres condiciones: (a) ningún comentario adhesivo, (b) un comentario adhesivo que fomenta el escepticismo, (c) un comentario adhesivo que fomenta el escepticismo + votación (detalles completos aquí )

Publicamos este mensaje en la parte superior de las discusiones de noticias sensacionalistas

El segundo alienta a las personas a verificar el artículo y considerar la posibilidad de rechazar el enlace si no pueden encontrar evidencia que respalde sus afirmaciones:

Este segundo mensaje alentó a las personas a considerar el voto negativo

¿Puede influir el comportamiento de verificación de hechos en cómo los algoritmos de reddit ven noticias poco confiables?

Si bien confiamos en que los lectores de r / worldnews ayudarían si los moderadores preguntaran, también nos preguntamos: si aumentamos los comentarios sobre las noticias de los tabloides, ¿podríamos causar accidentalmente que los algoritmos de reddit promuevan esos enlaces de tabloides?

Si la verificación de hechos aumentó la popularidad de fuentes de noticias poco confiables, la comunidad podría necesitar repensar dónde poner su esfuerzo. Es por eso que los moderadores probaron un segundo comentario fijo, el que anima a los lectores a considerar la votación negativa.

Para probar el efecto de los comentarios fijos en los algoritmos de reddit, el software CivilServant recopiló datos sobre la puntuación de las publicaciones cada cuatro minutos. La plataforma no publica exactamente qué incluye el puntaje o cómo funciona su clasificación (pregunté). Sin embargo, pudimos predecir de manera confiable el ranking de la página HOT de subreddit de una publicación a partir de su antigüedad y puntaje (detalles completos aquí). Básicamente, si la verificación de hechos tuvo un gran efecto en la puntuación de un artículo, entonces probablemente tuvo un efecto en la clasificación de un artículo a lo largo del tiempo en la portada del subreddit. Probé esto de dos maneras: comparando los puntajes después de 24 horas y modelando los cambios en los puntajes a lo largo del tiempo.

Utilicé un modelo binomial negativo para probar el efecto en las puntuaciones después de 24 horas. A medida que los algoritmos de reddit se mantuvieron durante nuestro experimento, alentar la verificación de los hechos provocó que las presentaciones de los tabloides recibieran un 49.1% (2.04x menor) el puntaje de las presentaciones sin comentarios fijos, después de 24 horas, en promedio en r / worldnews. El efecto es estadísticamente significativo. En este modelo, no pude encontrar un efecto de los comentarios adhesivos que alentaron a los lectores a considerar la votación negativa.

También probé el efecto de la verificación de hechos en la tasa de crecimiento de la puntuación de una publicación a lo largo del tiempo. Para hacer esta pregunta, ajusto un modelo de regresión lineal de intercepciones aleatorias en el puntaje transformado logarítmicamente para una publicación cada cuatro minutos. Descubrí que alentar la verificación de los hechos hace que la tasa de crecimiento del puntaje sea más baja. Aquí, encontré que alentar la votación en realidad tiene un pequeño efecto positivo en la tasa de crecimiento en el puntaje en el tiempo, en promedio. Como estábamos ejecutando el experimento durante un cambio en los algoritmos de reddit a principios de diciembre de 2016, también descubrí que el efecto de estos comentarios fijos en los algoritmos de reddit puede haber cambiado después de que reddit ajustó sus algoritmos (detalles).

¿Quién ayudó a verificar los hechos?

De los 930 comentarios no bot con enlaces que los moderadores permitieron que permanecieran, 737 cuentas de usuarios contribuyeron con enlaces para evidencia adicional. De estos, 133 cuentas hicieron más de un comentario con enlaces. Muchas personas verificaron sus propias presentaciones, y los remitentes publicaron 81 comentarios para obtener más información.

¿Qué no podemos saber de este estudio?

Esta prueba analiza los resultados dentro de las discusiones en lugar de las cuentas individuales, por lo que no podemos saber si las personas individuales estaban convencidas de ser más escépticas, o si los comentarios fijos hicieron que personas ya escépticas investigaran y compartieran. Tampoco tengo ninguna evidencia sobre el efecto de la verificación de hechos en los lectores, aunque otra investigación sugiere que la verificación de hechos influye en las creencias de los lectores [2] [3].

Este estudio no puede decirnos mucho acerca de por qué vemos un cambio tan grande en los efectos algorítmicos cuando modificamos el mensaje alentando a los lectores a considerar la votación negativa. Esta diferencia puede ser un ejemplo de lo que los psicólogos llaman "reactancia", una resistencia a las sugerencias de la autoridad. O si las personas que envían noticias se preocupan de que sus enlaces puedan ser rechazados, podrían pedir ayuda, lo que equilibra el comportamiento de los lectores.

¿Funcionaría esto con otros tipos de enlaces, en otros subreddits o en otros sitios? Este estudio se limita a una comunidad específica y una lista de sitios. Si bien sospecho que muchas grandes comunidades de lectores en línea ayudarían a verificar los enlaces si los moderadores se lo pidieran, nuestros hallazgos sobre el algoritmo de reddit están mucho más situados.

Podríamos responder estas preguntas si más subreddits decidieran intentar experimentos similares. Si está interesado, comuníquese conmigo en reddit para hablar sobre cómo ejecutar un experimento similar e inscribirse para recibir actualizaciones por correo electrónico.

Aprenda más sobre este experimento

Mi doctorado implica apoyar a las comunidades para probar los efectos de sus propias prácticas de moderación. Diseñé este experimento junto con los moderadores de r / worldnews, y fue aprobado por el Comité del MIT sobre el uso de humanos como sujetos experimentales. Si tiene alguna pregunta o inquietud, comuníquese con natematias en redditmail.

Este experimento, como toda mi investigación sobre reddit hasta el momento, se realizó independientemente de la plataforma reddit, que no tuvo ningún papel en la planificación o el diseño del experimento. El experimento aún no ha sido revisado por pares. Todos los resultados de CivilServant se publican públicamente en las comunidades involucradas tan pronto como los resultados estén listos, y las publicaciones académicas llegarán más tarde.

Los detalles completos del experimento se publicaron por adelantado en un plan de preanálisis en osf.io/hmq5m/. Si está interesado en las estadísticas, he publicado todos los detalles del análisis.

Referencias

[1] Salganik, M. J. y Watts, D. J. (2008). Liderando el rebaño: un estudio experimental de profecías autocumplidas en un mercado cultural artificial. Psicología social trimestral, 71 (4), 338–355.

[2] Stephan Lewandowsky, Ullrich K. H. Ecker, Colleen M. Seifert, Norbert Schwarz y John Cook. La desinformación y su corrección influencia continua y debiasing exitoso. Psychological Science in the Public Interest, 13 (3): 106–131, diciembre de 2012.

[3] Thomas Wood y Ethan Porter. El Elusivo Efecto Contrafuerte: Adherencia de los Datos de Actitudes Masivas. SSRN Scholarly Paper ID 2819073, Social Science Research Network, Rochester, NY, agosto de 2016.

[4] Rahwan, Iyad (2016) Society-in-the-Loop: Programación del contrato social algorítmico. Medio

[5] Christian Sandvig, Kevin Hamilton, Karrie Karahalios y Cedric Langbort. 2014. Algoritmos de auditoría: métodos de investigación para detectar discriminación en plataformas de internet. Datos y discriminación: conversión de preocupaciones críticas en investigación productiva, reunión anual de la Asociación Internacional de Comunicación, 2014

[6] Diakopoulos, N. y Koliska, M. (2016). Transparencia algorítmica en los medios de comunicación. Periodismo digital, 1–20.

[7] Thaler, R. H. y Sunstein, C. R. (2003). Paternalismo libertario. The American Economic Review, 93 (2), 175-179.