L’intelligenza artificiale si dimostra in grado di valutare l’affidabilità delle notizie con la stessa efficacia di esperti umani. Questa affermazione emerge da uno studio condotto dai ricercatori dell’Università Sapienza di Roma, che hanno confrontato i modelli linguistici di grandi dimensioni, noti come Large Language Models (LLM), sviluppati da Google, Meta e OpenAI con i team di esperti di organizzazioni come NewsGuard e Media Bias Fact Check (MBFC).
I risultati della ricerca
I risultati della ricerca, pubblicata nel mese di ottobre 2023, evidenziano un notevole allineamento tra le valutazioni fornite dai LLM e quelle degli esperti umani, in particolare per quanto riguarda l’identificazione di fonti considerate inaffidabili. I ricercatori hanno esaminato modelli specifici come Gemini 1.5 Flash di Google, GPT-4o mini di OpenAI e LLaMA 3.1 di Meta, rivelando che questi strumenti sono capaci di classificare teorie del complotto, sensazionalismo e pregiudizi in modo simile ai criteri utilizzati dagli esperti.
Coerenza e pregiudizi nei modelli
Tuttavia, è emerso che i modelli mostrano una minore coerenza quando il contesto è limitato. I ricercatori hanno notato anche una tendenza interessante: nel campo politico, i media di destra tendono a essere considerati più inaffidabili rispetto a quelli di centro, sollevando interrogativi sulla possibilità che i modelli di grandi dimensioni possano ereditare pregiudizi durante la fase di addestramento.
Parole chiave e affidabilità
I ricercatori hanno analizzato come i modelli di grandi dimensioni associano determinate parole chiave all’affidabilità delle notizie. Termini legati a notizie locali, resoconti basati su fatti e linguaggio neutro sono generalmente considerati indicatori di affidabilità. Al contrario, l’inaffidabilità è spesso caratterizzata da espressioni riferite a sensazionalismo, controversie o pregiudizi, elementi che gli esperti umani utilizzano per individuare fonti a bassa credibilità. Inoltre, i criteri di ‘trasparenza‘ e ‘bias‘ risultano tra i più frequentemente analizzati per valutare l’affidabilità delle informazioni.
Analisi dei modelli linguistici
Lo studio, come sottolineano gli autori, non si limita a considerare i modelli linguistici di grandi dimensioni come semplici strumenti di classificazione automatizzata. Al contrario, questi modelli offrono una finestra sulle strutture cognitive sia umane che artificiali. Attraverso l’analisi dei processi di ragionamento, i ricercatori cercano di comprendere come tali modelli simulano la valutazione strutturata, mettendo a confronto le strategie cognitive umane con quelle adottate in compiti complessi di giudizio.