Analisi: l'esperimento di verifica dei fatti in crowdsourcing di Twitter rivela problemi

Un'analisi di Poynter ha rilevato che meno della metà degli utenti di Birdwatch include fonti e molte note di verifica dei fatti contengono retorica di parte.

Una versione del 14 febbraio dell'algoritmo Birdwatch di Twitter ha amplificato alcune note con informazioni fuorvianti.

Il 5 febbraio, Twitter è stato segnalato un post del controverso YouTuber Tim Pool ciò ha detto che le elezioni presidenziali statunitensi del 2020 sono state truccate. La piattaforma ha notato che la richiesta è stata contestata e ha interrotto il fidanzamento 'a causa del rischio di violenza'.

Ma, avanti Birdwatching , la piattaforma di social media esperimento di verifica dei fatti in crowdsourcing , gli utenti hanno affermato in modo schiacciante che il tweet non era fuorviante, secondo un'analisi dei dati di Twitter del 14 febbraio. E la maggior parte degli utenti di Birdwatch ha indicato nello strumento di aver trovato utili e informative queste note che supportavano affermazioni sfatate.

'Secondo la fonte officiante (sic) di TIME c'era un gruppo ben organizzato di partecipanti segreti in un'organizzazione ombra che suona come una cabala che ha lavorato insieme per influenzare le elezioni a favore di Joe Biden', si legge in una nota. Mentre l'utente include un collegamento a un articolo di Time Magazine che in effetti usa parole come 'cabala' e 'cospirazione', il contesto del pezzo - che gruppi potenti stavano lavorando dietro le quinte per proteggere l'integrità elettorale - è perso.

Il Algoritmo Birdwatch , che mira a far emergere note utili, ha assegnato a quel 'controllo dei fatti' un punteggio di disponibilità di 0,68 — la più alta delle note sul tweet, appena al di fuori del primo 10% delle note considerate dall'algoritmo 'valutate come utili' a partire da 14 febbraio. Le note con rating utili costituivano circa il 7% delle 2.695 in questa analisi e meno di due terzi di queste contengono un collegamento alla fonte che non è un altro tweet.

Il 17 febbraio, Twitter modificato il suo algoritmo e le note sul tweet Pool non sono più valutate come utili, sebbene lo siano sono ancora elencati sotto il post . Prima di questa modifica, c'era una soglia più bassa per essere considerata utile - solo 0,5 rispetto al nuovo limite di 0,84 - e le note avevano bisogno solo di tre valutazioni per essere considerate utili, ordinate per priorità e contrassegnate con una nota blu.

Ora una nota deve accumulare cinque valutazioni per inserire quel tweet nel nuova scheda 'utile valutato' in Birdwatch . E di quelle quasi 2.700 note nel database della piattaforma, 126 hanno raggiunto la nuova soglia, ovvero meno del 5%. Tre quarti delle nuove note 'valutate utili' contenevano una fonte al di fuori di Twitter.

È un'illustrazione tempestiva di uno dei problemi che deve affrontare il modello Birdwatch: un algoritmo alimentato da un gruppo di persone apparentemente casuale può mai 'valutare' accuratamente la verità?

Birdwatch, nella sua fase pilota con poco più di 1.000 utenti, consente ai partecipanti di contrassegnare i tweet come fuorvianti e aggiungere una nota che cita una fonte e/o spiega il contesto del perché potrebbe essere fuorviante. Quindi, gli utenti di Birdwatch possono classificare queste note in base alla disponibilità (dopodiché, l'algoritmo prende il sopravvento).

Alla fine, tutti gli utenti di Twitter saranno apparentemente in grado di vedere queste note proprio sotto i tweet, ma per ora sono limitati a una specifica sezione del sito . Gli utenti di Birdwatch alla fine costruiranno anche un punteggio di reputazione che alimenterà l'algoritmo di disponibilità.

'Il nostro obiettivo con il progetto pilota Birdwatch è quello di costruire un sistema in cui chiunque possa contribuire e che naturalmente eleva le informazioni che le persone trovano utili', ha affermato Keith Coleman, vicepresidente del prodotto di Twitter in un'e-mail. 'Riteniamo che l'apertura su chi può contribuire sia importante e che attraverso il contributo di un gruppo diversificato, le note più utili possano essere elevate'.

Ma uno sguardo al sistema così com'è rivela le sfide che i fact-checker hanno sollevato riguardo a Birdwatch: una mancanza di esperienza di verifica dei fatti tra gli utenti, la difficoltà di creare un algoritmo che in qualche modo emerga le note utili degli utenti più rispettabili e domande sulle motivazioni di parte degli utenti.

'Non sono sorpreso da questi risultati, data la natura polarizzata delle piattaforme dei social media e l'esitazione degli utenti mainstream a fornire feedback a tali richieste offerte dalle piattaforme, mentre gli utenti motivati ​​da entrambi i lati del corridoio vedono le piattaforme come campi di battaglia per promuovere le loro narrazioni su altri”, ha affermato Baybars Örsek, direttore dell'International Fact-Checking Network.

La maggior parte delle note degli utenti di Birdwatch più prolifici contrassegna i tweet critici nei confronti della destra come 'fuorvianti' e quelli critici nei confronti della sinistra come 'non fuorvianti'. (Ad esempio, l'utente ha contrassegnato un tweet che dice ' Il Team Biden è morbido con la Cina ” dal tweet del senatore Ted Cruz e del Pool come “non fuorviante”; mentre un articolo di Newsweek sugli estremisti di estrema destra e sulla saga di GameStop e un tweet legare il presidente Donald Trump alla rivolta del Campidoglio è stato contrassegnato come 'fuorviante' e 'dannoso'.) E meno di un quinto delle 82 note dell'utente include una fonte, molti dei quali sono altri tweet. (Questo utente di Birdwatch non ha risposto a una richiesta di intervista.)

Coleman ha affermato che Birdwatch può essere incentivato a prendere in considerazione le note che provengono da un 'set diversificato di contributori'. Inoltre, il sistema di valutazione è il motore principale dietro la piattaforma

'Riteniamo che questi ricompenseranno e incoraggeranno i contributi che molte persone trovano preziosi e affronteranno il rischio che un gruppo o un'ideologia specifici prendano il controllo di Birdwatch', ha affermato Coleman. 'Questo è qualcosa su cui lavoreremo attivamente durante tutto il pilota.'

E in effetti, le note che l'algoritmo ha classificato come le più utili dopo le modifiche del 17 febbraio mostrano un approvvigionamento più solido e una retorica meno partigiana rispetto all'iterazione di appena un giorno prima. Ma cambiare un algoritmo per un programma pilota con 1.000 utenti e meno di 2.700 note è una cosa, alterare un algoritmo una volta che Birdwatch è disponibile per tutti gli utenti è un'altra e chissà se l'efficacia dell'algoritmo reggerà quando gli utenti inizieranno a riversarsi nella piattaforma, forse replicando il comportamento di alcuni dei partecipanti pilota più prolifici.

'Attualmente non abbiamo una sequenza temporale specifica per il ridimensionamento, poiché stiamo lavorando per imparare il più possibile e iterare mentre il pilota è piccolo', ha affermato Coleman. 'Abbiamo in programma di aumentare in quanto siamo in grado di farlo in sicurezza e quando può aiutare a migliorare l'apprendimento'.

Tuttavia, come con le note sotto il tweet Pool, ci sono esempi di partigiano o informazioni ingannevoli ancora visibili come note regolari.

Quattro dei cinque utenti più attivi, che rappresentano oltre il 10% delle note complessive, hanno un'attività simile a quella dell'utente più prolifico. Uno di loro afferma che la morte di Jeffrey Epstein non è mai stata considerata un suicidio. Tuttavia, il secondo Birdwatcher più prolifico cita una fonte all'interno di ogni nota, inclusi i collegamenti dell'Organizzazione mondiale della sanità e FactCheck.org .

Nessuno dei primi 10 utenti, secondo la loro biografia su Twitter, sono verificatori di fatti o giornalisti professionisti.

'Il fact-checking è in realtà un lavoro duro in quanto è mentalmente impegnativo', ha affermato in un'e-mail il caporedattore di PolitiFact Angie Holan. 'Devi davvero concentrarti e spingere attraverso l'inerzia mentale per identificare le affermazioni e quindi fare un brainstorming sui mezzi per sfatarli o verificarli. Quindi devi proseguire con la ricerca e quindi scrivere i risultati. Non è una giornata in spiaggia, per dirla senza mezzi termini. E se un fact-checker ha una motivazione di parte, ciò rende ancora più difficile uno sforzo completo e imparziale'.

Nonostante i suoi problemi, Birdwatch segnala la disinformazione che i tradizionali fact-checker potrebbero mancare o scelgono di non controllare a causa del potenziale danno, il che potrebbe aiutare a colmare alcune lacune nella disinformazione digitale. Durante saga di fine gioco , la disinformazione sulle azioni di quella società si è diffusa rapidamente su tutte le piattaforme.

Snope e Fatto Politico non ha valutato le affermazioni relative a GameStop, mentre Storie principali valutate un post su Reddit. Ma su Birdwatch, la nota più votata - segnando un punteggio di disponibilità di 1,00 - ha segnalato un tweet fuorviante su Reddit, dove si stava svolgendo una conversazione sul titolo. C'erano circa 50 note su Reddit, GameStop e l'app di investimento Robinhood, su cui si è verificato un alto volume di scambi all'inizio di questo mese.

E gli utenti di Birdwatch hanno correttamente segnalato come falso un account che affermava di appartenere alla senatrice della Virginia Amanda Chase twittato , '... Abbiamo un problema di droga in Virginia e legalizzare la marijuana porterà solo a più overdose e morti da marijuana ...'

Il crowdsourcing può semplificare la vita dei verificatori di fatti professionisti rilevando la disinformazione, ha affermato Örsek.

Coleman ha affermato che Twitter si impegna a mantenere la trasparenza, il che ha reso possibile questa analisi, e a incorporare il contributo di esperti sul futuro della piattaforma.

“Dal lavoro con un membro del team incorporato di Centro per il RISC dell'Università di Chicago , per ospitare sessioni di feedback con giornalisti e ricercatori, stiamo lavorando per attingere alla grande quantità di esperienza e conoscenza che esiste oltre Twitter', ha affermato.

Holan e Örsek raccomandano incentivi e formazione per gli utenti di Birdwatch, oltre a impiegare fact-checker professionisti per controllare le note di alto livello.

'Ma sono piuttosto dubbioso sulle aziende tecnologiche che credono che i loro utenti modereranno i contenuti gratuitamente per loro', ha affermato Holan. 'La maggior parte degli utenti non vede il proprio lavoro aiutare le piattaforme a gestire le proprie attività'.