Análisis: el experimento de verificación de hechos colaborativo de Twitter revela problemas

Un análisis de Poynter encontró que menos de la mitad de los usuarios de Birdwatch incluyen fuentes y muchas notas de verificación de hechos contienen retórica partidista.

Una versión del 14 de febrero del algoritmo Birdwatch de Twitter amplificó algunas notas con información engañosa.

El 5 de febrero, Twitter marcó una publicación del controvertido YouTuber Tim Pool que decía que las elecciones presidenciales de EE. UU. de 2020 estaban amañadas. La plataforma señaló que el reclamo fue cuestionado y desactivó el compromiso 'debido al riesgo de violencia'.

pero, en observación de aves , la plataforma de redes sociales experimento de verificación de hechos colaborativa , los usuarios dijeron abrumadoramente que el tuit no era engañoso, según un análisis de los datos de Twitter del 14 de febrero. Y la mayoría de los usuarios de Birdwatch indicaron en la herramienta que encontraron útiles e informativas estas notas que respaldaban las afirmaciones desacreditadas.

“Según la fuente oficiante (sic) de TIME, había un grupo bien organizado de participantes secretos en una organización en la sombra que suena como una camarilla que trabajó en conjunto para influir en las elecciones a favor de Joe Biden”, se lee en una nota. Si bien el usuario incluye un enlace a un artículo de la revista Time que de hecho usa palabras como 'cábala' y 'conspiración', el contexto de la pieza, que los grupos poderosos estaban trabajando entre bastidores para proteger la integridad de las elecciones, se pierde.

los Algoritmo de observación de aves , cuyo objetivo es sacar a la luz notas útiles, asignó a esa 'verificación de hechos' una puntuación de utilidad de 0,68, la más alta de las notas en el tuit, justo fuera del 10 % superior de las notas consideradas por el algoritmo 'calificadas como útiles' a partir de 14 de febrero. Las notas calificadas como útiles representaron alrededor del 7% de las 2695 en este análisis y menos de dos tercios de ellas contienen un enlace fuente que no es otro tuit.

El 17 de febrero, Twitter alteró su algoritmo y las notas en el tweet de Pool ya no se califican como útiles, aunque todavía se enumeran debajo de la publicación . Antes de este cambio, había un umbral más bajo para ser considerado útil, solo 0,5 en comparación con el nuevo límite de 0,84, y las notas solo necesitaban tres calificaciones para ser consideradas útiles, priorizadas en orden y marcadas con una nota azul.

Ahora una nota debe acumular cinco calificaciones para empujar ese tweet al nueva pestaña 'calificado como útil' en Birdwatch . Y de esas casi 2700 notas en la base de datos de la plataforma, 126 alcanzaron el nuevo umbral, eso es menos del 5%. Tres cuartas partes de las nuevas notas 'calificadas como útiles' tenían una fuente externa a Twitter.

Es una ilustración oportuna de uno de los problemas que enfrenta el modelo Birdwatch: ¿Puede un algoritmo alimentado por un grupo aparentemente aleatorio de personas alguna vez 'calificar' con precisión la verdad?

Birdwatch, en su fase piloto con poco más de 1000 usuarios, permite a los participantes marcar los tuits como engañosos y agregar una nota que cite una fuente y/o explique el contexto de por qué puede ser engañoso. Luego, los usuarios de Birdwatch pueden clasificar estas notas según su utilidad (después de eso, el algoritmo se hace cargo).

Eventualmente, todos los usuarios de Twitter aparentemente podrán ver estas notas justo debajo de los tweets, pero por ahora, se limitan a una sección específica del sitio . Los usuarios de Birdwatch eventualmente también construirán un puntaje de reputación que se incorporará al algoritmo de ayuda.

“Nuestro objetivo con el piloto de Birdwatch es construir un sistema en el que cualquiera pueda contribuir, y que, naturalmente, eleva la información que la gente encuentra útil”, dijo el vicepresidente de producto de Twitter, Keith Coleman, en un correo electrónico. “Creemos que la apertura sobre quién puede contribuir es importante y que, a través de los aportes de un grupo diverso, se pueden elevar las notas más útiles”.

Sin embargo, una mirada al sistema tal como es ahora revela los desafíos que los verificadores de hechos han planteado sobre Birdwatch: la falta de experiencia en la verificación de hechos entre los usuarios, la dificultad de crear un algoritmo que de alguna manera saque a la luz las notas útiles de los usuarios de mayor reputación y preguntas sobre las motivaciones partidistas de los usuarios.

“No me sorprenden esos hallazgos dada la naturaleza polarizada de las plataformas de redes sociales y la vacilación de los usuarios principales para proporcionar comentarios a tales consultas ofrecidas por las plataformas, mientras que los usuarios motivados de ambos lados del pasillo ven las plataformas como campos de batalla para promover sus narrativas sobre otros”, dijo Baybars Örsek, director de la Red Internacional de Verificación de Datos.

La mayoría de las notas de los usuarios más prolíficos de Birdwatch marcan los tuits que critican a la derecha como 'engañosos' y los que critican a la izquierda como 'no engañosos'. (Por ejemplo, el usuario marcó un tuit que dice “ Team Biden es blando con China ” del Senador Ted Cruz y el tuit de Pool como “no engañoso”; tiempo un artículo de Newsweek sobre extremistas de extrema derecha y la saga GameStop y un tuit vincular al presidente Donald Trump con los disturbios en el Capitolio se marcaron como “engañosos” y “perjudiciales”). Y menos de una quinta parte de las 82 notas del usuario incluyen una fuente, varias de las cuales son otros tuits. (Este usuario de Birdwatch no respondió a una solicitud de entrevista).

Coleman dijo que se puede incentivar a Birdwatch para que considere las notas que provienen de un 'conjunto diverso de colaboradores'. Además, el sistema de calificación es el principal impulsor detrás de la plataforma.

“Creemos que estos recompensarán e incentivarán las contribuciones que muchas personas consideran valiosas y abordarán el riesgo de que un grupo específico o ideología se apodere de Birdwatch”, dijo Coleman. “Esto es algo en lo que trabajaremos activamente durante todo el piloto”.

Y, de hecho, las notas que el algoritmo clasificó como las más útiles después de los cambios del 17 de febrero muestran fuentes más sólidas y menos retórica partidista que la iteración del día anterior. Pero cambiar un algoritmo para un programa piloto con 1000 usuarios y menos de 2700 notas es una cosa, alterar un algoritmo una vez que Birdwatch esté disponible para todos los usuarios es otra, y quién sabe si la eficacia del algoritmo se mantendrá a medida que los usuarios comiencen a verter en la plataforma, tal vez replicando el comportamiento de algunos de los participantes piloto más prolíficos.

“Actualmente no tenemos un cronograma específico para escalar, ya que estamos trabajando para aprender tanto como sea posible e iterar mientras el piloto es pequeño”, dijo Coleman. “Planeamos ampliar la escala cuando podamos hacerlo de manera segura y cuando pueda ayudar a mejorar el aprendizaje”.

Aún así, al igual que con las notas debajo del tweet de Pool, hay ejemplos de partidista o información confusa todavía visible como notas regulares.

Cuatro de los cinco usuarios más activos, que representan más del 10 % de las notas generales, tienen una actividad similar a la del usuario más prolífico. Uno de ellos afirma que la muerte de Jeffrey Epstein nunca se consideró un suicidio. Sin embargo, el segundo Birdwatcher más prolífico cita una fuente en cada nota, incluidos enlaces de la Organización Mundial de la Salud y FactCheck.org .

Ninguno de los 10 principales usuarios, según sus biografías de Twitter, son verificadores de datos profesionales o periodistas.

“La verificación de hechos es en realidad un trabajo duro porque es mentalmente exigente”, dijo la editora en jefe de PolitiFact, Angie Holan, en un correo electrónico. “Realmente tienes que concentrarte y superar la inercia mental para identificar las afirmaciones y luego hacer una lluvia de ideas sobre los medios para desacreditarlas o verificarlas. Luego, debe continuar con la búsqueda y luego escribir los hallazgos. No es un día en la playa, para decirlo sin rodeos. Y si un verificador de hechos tiene una motivación partidista, eso hace que un esfuerzo minucioso e imparcial sea aún más difícil”.

A pesar de sus problemas, Birdwatch señala la información errónea que los verificadores de datos tradicionales podrían pasar por alto o optar por no verificar debido al potencial de daño, lo que podría ayudar a llenar algunos vacíos en la información errónea digital. Durante el GameStop saga , la información errónea sobre las acciones de esa empresa se extendió rápidamente a través de las plataformas.

Snopes y hechopolitico no calificó las reclamaciones relacionadas con GameStop, mientras que Historias principales calificadas una publicación de Reddit. Pero en Birdwatch, la nota mejor calificada, con un puntaje de utilidad de 1.00, marcó un tuit engañoso sobre Reddit, donde se estaba llevando a cabo una conversación sobre las acciones. Hubo alrededor de 50 notas sobre Reddit, GameStop y la aplicación de inversión Robinhood, en las que se produjo un gran volumen de transacciones a principios de este mes.

Y los usuarios de Birdwatch marcaron correctamente una cuenta que afirmaba pertenecer a la senadora de Virginia, Amanda Chase, como falsa, después de que tuiteó , “…Tenemos un problema de drogas en Virginia, y legalizar la marihuana solo conducirá a más sobredosis de marihuana y muertes…”

El crowdsourcing puede facilitar la vida de los verificadores de hechos profesionales al detectar información errónea, dijo Örsek.

Coleman dijo que Twitter está comprometido a mantener la transparencia, lo que hizo posible este análisis, e incorporar aportes de expertos sobre el futuro de la plataforma.

“Desde trabajar con un miembro del equipo incorporado del Centro de la Universidad de Chicago para RISC , hasta organizar sesiones de retroalimentación con reporteros e investigadores, estamos trabajando para aprovechar la gran cantidad de experiencia y conocimiento que existe más allá de Twitter”, dijo.

Holan y Örsek recomiendan incentivos y capacitación para los usuarios de Birdwatch, así como el empleo de verificadores de datos profesionales para examinar las notas de alto rango.

“Pero dudo bastante de las empresas de tecnología que creen que sus usuarios moderarán el contenido de forma gratuita para ellos”, dijo Holan. “La mayoría de los usuarios no ven como su trabajo ayudar a las plataformas a administrar sus propios negocios”.