Ecco quanto il fact-checking automatizzato è vicino alla realtà

Una nuova scheda informativa del Reuters Institute fa il punto sulla verifica automatizzata dei fatti in tutto il mondo e il futuro sembra roseo.

Pubblicato oggi , la relazione si basa su interviste con verificatori di fatti e scienziati informatici, nonché una panoramica della tecnologia esistente, per descrivere in dettaglio come il controllo automatizzato dei fatti potrebbe cambiare la pratica nell'immediato futuro.

'L'ultimo anno ha visto una crescente attenzione da parte di giornalisti, responsabili politici e aziende tecnologiche al problema di trovare risposte efficaci e su larga scala alla disinformazione online', scrive il ricercatore senior Lucas Graves nel rapporto. 'Tuttavia, decidere la verità delle affermazioni pubbliche e separare le opinioni legittime dalla disinformazione è un lavoro difficile e spesso controverso ... sfide che si ripercuotono in (controllo automatizzato dei fatti).'

Tra queste sfide, Graves osserva che il controllo dei fatti completamente automatizzato non è nemmeno vicino all'essere capace del giudizio che i giornalisti applicano quotidianamente. Inoltre, il supporto di fondazioni, università e piattaforme è essenziale per sviluppare capacità migliori e sistemi su larga scala.

Ma il potenziale per l'automazione è grande e sta già accadendo in alcune redazioni.

Il breve documento offre una categorizzazione degli ultimi sviluppi nella tecnologia e nella ricerca di verifica automatizzata dei fatti:

Le iniziative e le ricerche (controllo automatizzato dei fatti) generalmente si concentrano su uno o più di tre obiettivi sovrapposti: individuare affermazioni false o discutibili che circolano online e in altri media; per verificare autorevolmente affermazioni o storie che sono in dubbio, o per facilitare la loro verifica da parte di giornalisti e membri del pubblico; e per fornire correzioni istantaneamente, attraverso diversi media, al pubblico esposto alla disinformazione. I sistemi end-to-end mirano ad affrontare tutti e tre gli elementi: identificazione, verifica e correzione.

Full Fact, un'organizzazione benefica britannica per il controllo dei fatti, ha sviluppato uno strumento che scansiona automaticamente le trascrizioni dei media e del Parlamento alla ricerca di rivendicazioni e le confronta con i controlli dei fatti esistenti. Il Duke Reporters' Lab e Chequeado hanno entrambi costruito strumenti simili che scansionano le trascrizioni dei media per affermazioni verificabili, notificando in seguito i fact-checker a potenziali fact check. (Disclosure: The Reporters' Lab aiuta a pagare il Global Fact-Checking Summit).

Le prime due organizzazioni sono presenti nel terzo video 'Check It' dell'International Fact-Checking Network:

Quella metodologia: raschiare e trovare automaticamente le affermazioni nelle trascrizioni, quindi confrontarle con librerie di fact check esistenti come Condividi i fatti — è il più efficace e il prodotto di una ricerca di successo, secondo Graves. Ma la tecnologia non è ancora perfetta.

Tuttavia, finora questi sistemi possono identificare solo semplici affermazioni dichiarative, mancanti affermazioni implicite o affermazioni incorporate in frasi complesse che gli esseri umani riconoscono facilmente. Questa è una sfida particolare con le fonti conversazionali, come i programmi di discussione, in cui le persone usano spesso pronomi e fanno riferimento a punti precedenti.

Ha anche il potenziale per interpretare erroneamente parafrasi e sottili cambiamenti nella formulazione, nei tempi e nel contesto. Oltre a ciò, la verifica rimane al di fuori dell'ambito degli attuali strumenti di verifica automatizzata dei fatti oggi e si affida ancora agli esseri umani per vagliare potenziali verifiche dei fatti, quindi le aspettative dovrebbero essere mantenute modeste, secondo il rapporto.

Andando avanti, una sfida continua per l'automazione è trovare modi per confrontare le affermazioni con le fonti di informazioni ufficiali, che è essenzialmente ciò che i fact-checker fanno manualmente. Graves ha scritto che i ricercatori di intelligenza artificiale potrebbero esaminare come i sistemi automatizzati di verifica dei fatti potrebbero identificare quali fonti di dati sono appropriate per una determinata affermazione.

Ma questo pone altri problemi. I dati non sono sempre disponibili e, anche quando lo sono, discernere correttamente cosa significano i dati per la veridicità di un'affermazione è difficile, come mostra uno studio evidenziato:

... un modo per testare l'affermazione secondo cui 'Il Lesotho è il paese più piccolo dell'Africa' ​​senza interpretarlo logicamente è cercare un linguaggio simile su una grande fonte testuale o sull'intero Web. Negli esperimenti che utilizzano Wikipedia come fonte attendibile e un set di dati di 125.000 affermazioni, ad esempio, un team guidato da uno degli studenti [di Andreas Vlachos] può prevedere correttamente se un'affermazione predicativa singola è supportata o confutata (o se non ce n'è abbastanza evidenze) circa il 25% delle volte (Thorne et al. 2018).

In molti modi, questo tipo di intuizione accademica si è rivelato essenziale per aiutare i professionisti a sviluppare piattaforme automatizzate.

'(Verifica automatizzata dei fatti) è stata un'area di collaborazione insolitamente stretta tra ricercatori e professionisti', ha scritto Graves. 'Ulteriori progressi dipenderanno principalmente da due fattori: il continuo sostegno finanziario sia per la ricerca di base che per gli esperimenti nel mondo reale, e i progressi del governo e dei gruppi della società civile nella definizione di standard di dati aperti'.