Así de cerca está la verificación de datos automatizada de la realidad

Una nueva hoja informativa del Instituto Reuters hace un balance de la verificación de datos automatizada en todo el mundo, y el futuro parece brillante.

Lanzado hoy , el informe se basa en entrevistas con verificadores de hechos e informáticos, así como en una descripción general de la tecnología existente, para detallar cómo la verificación de hechos automatizada podría cambiar la práctica en el futuro inmediato.

“En el último año, los periodistas, los legisladores y las empresas de tecnología prestaron una atención cada vez mayor al problema de encontrar respuestas efectivas a gran escala a la desinformación en línea”, escribe en el informe el investigador principal Lucas Graves. “Sin embargo, decidir la verdad de las afirmaciones públicas y separar las opiniones legítimas de la información errónea es un trabajo difícil y, a menudo, controvertido… desafíos que se trasladan a (la verificación de hechos automatizada)”.

Entre esos desafíos, Graves señala que la verificación de hechos completamente automatizada ni siquiera está cerca de ser capaz de emitir el juicio que los periodistas aplican en el día a día. Además, el apoyo de fundaciones, universidades y plataformas es fundamental para desarrollar mejores capacidades y sistemas a gran escala.

Pero el potencial para la automatización es grande, y ya está sucediendo en algunas salas de redacción.

El breve documento ofrece una categorización de los últimos desarrollos en investigación y tecnología de verificación de datos automatizada:

Las iniciativas e investigaciones (verificación de hechos automatizada) generalmente se enfocan en uno o más de tres objetivos superpuestos: detectar afirmaciones falsas o cuestionables que circulan en línea y en otros medios; para verificar con autoridad afirmaciones o historias que estén en duda, o para facilitar su verificación por parte de periodistas y miembros del público; y entregar correcciones instantáneamente, a través de diferentes medios, a audiencias expuestas a información errónea. Los sistemas de extremo a extremo tienen como objetivo abordar los tres elementos: identificación, verificación y corrección.

La organización benéfica británica de verificación de hechos Full Fact ha desarrollado una herramienta que escanea automáticamente las transcripciones de los medios y del Parlamento en busca de afirmaciones y las compara con las verificaciones de hechos existentes. El Laboratorio de Reporteros de Duke y Chequeado han creado herramientas similares que escanean las transcripciones de los medios en busca de afirmaciones verificables, y luego notifican a los verificadores de hechos sobre posibles verificaciones de hechos. (Divulgación: el Laboratorio de Reporteros ayuda a pagar la Cumbre Global de Verificación de Hechos).

Las dos primeras organizaciones aparecen en el tercer video 'Check It' de la Red Internacional de Verificación de Hechos:

Esa metodología: rastrear y encontrar afirmaciones automáticamente en las transcripciones, luego compararlas con bibliotecas de verificaciones de hechos existentes como Comparte los hechos — es el más efectivo y producto de una investigación exitosa, según Graves. Pero la tecnología aún no es perfecta.

Sin embargo, hasta ahora, estos sistemas solo pueden identificar declaraciones declarativas simples, afirmaciones implícitas que faltan o afirmaciones incrustadas en oraciones complejas que los humanos reconocen fácilmente. Este es un desafío particular con las fuentes conversacionales, como los programas de discusión, en los que las personas a menudo usan pronombres y se refieren a puntos anteriores.

También tiene el potencial de malinterpretar paráfrasis y cambios sutiles en la redacción, el tiempo y el contexto. Más allá de eso, la verificación permanece fuera del alcance de las herramientas de verificación de hechos automatizadas existentes en la actualidad y aún depende de los humanos para examinar posibles verificaciones de hechos, por lo que las expectativas deben mantenerse modestas, según el informe.

En el futuro, un desafío continuo para la automatización es encontrar formas de hacer coincidir las afirmaciones con las fuentes oficiales de información, que es esencialmente lo que hacen los verificadores de hechos manualmente. Graves escribió que los investigadores de inteligencia artificial podrían investigar cómo los sistemas automatizados de verificación de hechos podrían identificar qué fuentes de datos son apropiadas para un reclamo determinado.

Pero eso plantea otros problemas. Los datos no siempre están disponibles e, incluso cuando lo están, es difícil discernir correctamente qué significan los datos para la veracidad de una afirmación, como muestra un estudio destacado:

… una forma de probar la afirmación de que “Lesoto es el país más pequeño de África” sin interpretarlo lógicamente es buscar un lenguaje similar en una gran fuente textual o en toda la Web. En experimentos que utilizan Wikipedia como fuente confiable y un conjunto de datos de 125 000 afirmaciones, por ejemplo, un equipo dirigido por uno de los estudiantes [de Andreas Vlachos] puede predecir correctamente si una afirmación de un solo predicado es respaldada o refutada (o si no hay suficientes evidencia) alrededor del 25% del tiempo (Thorne et al. 2018).

En muchos sentidos, ese tipo de conocimiento académico ha demostrado ser esencial para ayudar a los profesionales a desarrollar plataformas automatizadas.

“(La verificación de datos automatizada) ha sido un área de colaboración inusualmente estrecha entre investigadores y profesionales”, escribió Graves. “El progreso adicional dependerá principalmente de dos factores: el apoyo financiero continuo tanto para la investigación básica como para los experimentos del mundo real, y el progreso del gobierno y los grupos de la sociedad civil en el establecimiento de estándares de datos abiertos”.