Cómo el Laboratorio de Reporteros de Duke usó las convenciones políticas para perfeccionar su programa automatizado de verificación de datos

Cortesía del laboratorio de reporteros de Duke

Las convenciones políticas de las últimas dos semanas proporcionaron las condiciones perfectas para la Cooperativa de tecnología y verificación en el Laboratorio de reporteros de Duke para perfeccionar su programa automatizado de verificación de hechos, Squash, y su componente humano, Gardener.

Squash es un programa de inteligencia artificial que hace coincidencias en tiempo real entre verificaciones de hechos existentes en ReclamaciónRevisión , el sistema de etiquetado de verificación de hechos del Reporters' Lab y las declaraciones de un orador en vivo. Utiliza una combinación de Google Dictado a texto ; ClaimBuster , que fue desarrollado en la Universidad de Texas en Arlington; y la propia codificación de Duke para hacer coincidir las palabras habladas con las escritas en una verificación de hechos. Estas verificaciones de hechos aparecen en la pantalla para brindarles a los espectadores más contexto sobre cualquier tema que se esté discutiendo.

Sin embargo, como escribieron los codirectores de Reporting Lab, Bill Adair y Mark Stencel, para Laboratorio Nieman en julio , este sistema no está exento de inconvenientes.

“A veces, la conversión de voz a texto puede ser realmente buena si el micrófono es bueno y la persona habla con claridad, pero hemos tenido algunos cómicamente malos”, dijo Adair. Durante la votación nominal en la Convención Nacional Demócrata, Squash hizo coincidir una verificación de hechos sobre sudor axilar a los votos de Kansas.

Christopher Guess, el tecnólogo principal del Reporters' Lab, dijo que la tecnología actual no permite que una computadora entienda los matices y el contexto de la forma en que los políticos suelen hablar.

“Un verificador de hechos humano a menudo titubea y discute con sus colegas desde qué ángulo va a abordar esto”, dijo Guess. “Eso es algo que una computadora literalmente no puede hacer”.

Gardener es una nueva interfaz que el equipo de Tech & Check creó sobre Squash para abordar esta deficiencia. Squash proporciona al asistente humano (el 'Jardinero') tres posibles verificaciones de hechos coincidentes, que esta persona luego elige para mostrar a los espectadores.

“Entonces, en efecto, estamos eliminando los malos y mostrando los buenos”, dijo Adair. El programa aún está en sus inicios y, además de perfeccionar la combinación y superar los obstáculos en la tecnología de voz a texto, tanto Adair como Guess dicen que necesitan muchas más verificaciones para poder perfeccionar la tecnología.

“Se basa en un gran corpus de reclamos verificados previamente”, dijo Guess. En este momento, ClaimReview tiene una base de datos de aproximadamente 60,000 reclamos, sin embargo, Guess dijo que solo alrededor de un tercio de ellos son relevantes para la política estadounidense. “El mundo del aprendizaje automático generalmente funciona en millones y miles de millones, no en decenas de miles”, dijo Guess.

Mientras espera reclamos adicionales, el equipo está experimentando con otras formas de mejorar las coincidencias de verificación de hechos. Uno de ellos es un programa llamado Caucus, que agrupa verificaciones de hechos en categorías que luego se pueden comparar con afirmaciones recogidas por voz a texto.

“Entonces digamos que esta oración es sobre atención médica, esto es sobre política, esto es sobre Idaho”, dijo Guess. “Tengo la teoría de que las afirmaciones que caen en las mismas categorías tienen más probabilidades de estar relacionadas que las que no lo están”.

Adair no puso un cronograma sobre cuándo esta tecnología estaría disponible para el público. “Nuestro objetivo es seguir mejorándolo hasta que esté listo”, dijo. “Hemos progresado mucho en tres años, y puedes hacer mucho con todas las personas inteligentes que ves aquí”.

Harrison Mantas es un reportero de la Red Internacional de Verificación de Hechos que cubre verificación de hechos e información errónea. llegar a él en Email o en Twitter en @HarrisonMantas