Lo studio della Sapienza
Negli ultimi anni, l’uso dei modelli di linguaggio di grandi dimensioni (LLM) per valutare l’affidabilità delle notizie è diventato sempre più comune. Tuttavia, poco si sa su come questi modelli prendano le loro decisioni. Uno studio condotto da Edoardo Loru, Jacopo Nudo, Niccolò Di Marco, Matteo Cinelli e Walter Quattrociocchi, tutti ricercatori della Sapienza Università di Roma, ha analizzato il comportamento di tre tra i più avanzati LLM: Gemini 1.5 Flash (Google), GPT-4o mini (OpenAI) e LLaMA 3.1 (Meta), confrontando le loro valutazioni con quelle di sistemi esperti come NewsGuard e Media Bias Fact Check (MBFC).
L’obiettivo della ricerca dal titolo “Decoding AI Judgment: How LLM Assess News Credibility and Bias” era duplice: da un lato, verificare la coerenza tra le valutazioni dei modelli di linguaggio e quelle dei sistemi di rating esperti; dall’altro, comprendere i meccanismi con cui gli LLM classificano le fonti come affidabili o non affidabili.
Il team di ricercatori ha analizzato un campione di 2.302 siti di notizie, valutando non solo le etichette assegnate (“affidabile” o “non affidabile”), ma anche i termini linguistici utilizzati dai modelli per giustificare le loro scelte.
Risultati
“I nostri risultati rivelano un forte allineamento tra le classificazioni dei Llm e quelle umane in particolare nell’identificazione di fonti inaffidabili“, hanno sottolineato i ricercatori.
I modelli LLM presi in esame classificano le teorie del complotto, il sensazionalismo e i pregiudizi in maniera speculare ai criteri chiave usati dagli esperti nelle loro valutazioni. Sono meno coerenti quando il contesto è limitato.
- Accuratezza delle valutazioni: tutti e tre i modelli hanno dimostrato un’elevata capacità di identificare le fonti non affidabili, con una precisione che varia dall’85% al 97%. Tuttavia, la classificazione delle fonti affidabili ha mostrato maggiori discrepanze, in particolare per GPT-4o mini, che ha erroneamente classificato il 33% delle fonti affidabili come non affidabili.
- Influenza dell’orientamento politico: l’analisi ha rivelato che gli LLM tendono a sovrastimare l’affidabilità delle fonti di orientamento politico di sinistra e a sottovalutare quelle di destra. Questo suggerisce che i modelli potrebbero ereditare pregiudizi dai dati di addestramento.
- Ruolo delle parole chiave: gli LLM associano la credibilità delle notizie a specifici indicatori linguistici. Le fonti affidabili sono frequentemente descritte con termini come “trasparenza”, “fatti verificabili” e “diversità di opinioni”. Al contrario, le fonti non affidabili sono spesso legate a parole come “sensazionalismo”, “teorie del complotto” e “disinformazione”.
- Valutazioni senza contenuto esplicito: anche quando i modelli sono stati testati senza accedere al contenuto delle pagine web, ma solo al dominio del sito, hanno mostrato un’alta coerenza con le valutazioni umane. Questo solleva il dubbio che gli LLM possano basarsi più su conoscenze pregresse che su un’analisi contestuale effettiva.
- Miglioramento del processo decisionale: i ricercatori hanno testato un framework in cui gli LLM potevano affinare le loro valutazioni recuperando informazioni esterne o interagendo con altri modelli. Questo ha permesso di osservare come i modelli modificassero le proprie risposte e se adottassero strategie più sofisticate di valutazione.
LLM affidabili o no?
Nel complesso, i ricercatori ritengono che per i modelli di grandi dimensioni le parole chiave che si riferiscono a notizie locali, resoconti basati su fatti o al linguaggio neutro sono generalmente associate a un concetto di affidabilità. Al contrario, l’inaffidabilità è spesso caratterizzata da termini relativi a sensazionalismo, controversie o pregiudizi, che riflettono indicatori di uso comune usati da esperti umani per identificare fonti a bassa credibilità. Inoltre, ‘trasparenza’ e ‘bias’ emergono come i criteri più comunemente valutati per l’affidabilità o l’inaffidabilità delle informazioni.
Lo studio evidenzia che, sebbene i modelli di linguaggio siano strumenti promettenti per la valutazione dell’affidabilità delle notizie, presentano ancora limiti significativi. L’influenza dell’orientamento politico, l’uso di euristiche linguistiche e la dipendenza da informazioni pre-acquisite sollevano interrogativi su quanto questi strumenti possano essere utilizzati in modo neutrale ed equo.
I ricercatori propongono di approfondire il confronto tra i processi decisionali umani e quelli degli LLM, esplorando in che modo questi ultimi possano evolvere per diventare “agenti valutatori” più trasparenti e autonomi. Lo studio non solo offre spunti per migliorare la progettazione dei modelli, ma invita anche a una riflessione critica sul loro impatto nella società dell’informazione e più in generale su come noi tutti approcciamo al mondo delle informazioni e delle notizie.