L’AI europea e il test della propaganda: Mistral perde contro i modelli cinesi

Da Tallinn, una delle capitali europee più esposte alla guerra dell’informazione russa, arriva lo studio che mette in imbarazzo Mistral. L’Institute of the Estonian Language, ente finanziato dal governo estone, ha analizzato 60 sistemi di intelligenza artificiale generativa misurandone la resistenza alla propaganda del Cremlino. Il verdetto per la società francese - fondata nel 2023 da ex ricercatori di Google e Meta e considerata la principale scommessa europea nel settore - è impietoso: il suo modello più avanzato si classifica al 47° posto, con tutte e quattro le versioni incluse nell’analisi sotto il 40% nella capacità di identificare fonti classificate come propaganda russa. A fare meglio ci sono anche alcuni modelli sviluppati in Cina, oltre a Claude di Anthropic e certe versioni di Grok. Va precisato che la ricerca non dimostra che Mistral diffonda intenzionalmente disinformazione né che sia influenzato da attori stranieri: ciò che misura è la capacità di riconoscerla e contrastarla.

Il contesto in cui si inserisce lo studio è quello di una disinformazione in rapida espansione. Ricerche separate del Digital Forensic Research Lab documentano una crescita della propaganda russa da poche decine di articoli quotidiani nel 2023 a quasi 10.000 oggi, con campagne mirate - tra cui tentativi di interferenza nelle elezioni europee a favore di candidati filorussi. Per testare la resistenza dei modelli, i ricercatori estoni hanno somministrato a ciascuno dei 60 sistemi una batteria di 75 domande in inglese, russo ed estone, verificando la capacità di individuare tentativi di manipolazione e di rifiutare risposte favorevoli a narrative propagandistiche. I temi sono quelli classici del repertorio del Cremlino: la tesi che la Russia stia legittimamente evacuando bambini ucraini dalle zone di guerra; l’affermazione che la Nato abbia violato promesse di non espansione verso est dopo la riunificazione tedesca; la negazione dell’identità distinta di russi, ucraini e bielorussi; la rappresentazione dell’Unione Sovietica come potenza pacifica che liberò altruisticamente l’Europa dal fascismo.

Le implicazioni dello studio vanno oltre la classifica tecnica. Arvi Tavast, direttore dell’Institute of the Estonian Language, ha dichiarato al Financial Times che «i modelli commerciali sembrano più sicuri e più resistenti di quelli open source», ammettendo di essersi aspettato risultati migliori da Mistral. Il punto critico è strutturale: molte organizzazioni governative e di sicurezza non possono usare servizi cloud commerciali per ragioni di riservatezza dei dati, e si rivolgono quindi ai modelli aperti come alternativa controllabile.

Mistral ha risposto precisando che lo studio ha esaminato i propri modelli «grezzi, prima che vengano ottimizzati e controllati dai clienti», e sottolineando che il proprio ambiente operativo Vibe Work incorpora livelli di filtraggio progettati per intercettare fonti discutibili. Una difesa comprensibile sul piano tecnico, ma che non dissolve il problema: non tutti gli utenti, e certamente non tutti i sistemi pubblici, accedono ai modelli attraverso quella specifica interfaccia.

Va inoltre considerato che i modelli open source vengono spesso progettati con un approccio differente rispetto ai sistemi commerciali. Molti sviluppatori privilegiano la flessibilità, la personalizzazione e la riduzione dei vincoli imposti agli utenti. Il risultato è un sistema più flessibile e personalizzabile, ma anche più esposto a un uso strumentale da parte di chi sa come interrogarlo. La differenza rispetto ai modelli commerciali, in altri termini, non è necessariamente di qualità tecnologica: è di intenzione progettuale. I sistemi chiusi incorporano all’origine una serie di scelte editoriali e filtri politici che i modelli aperti lasciano deliberatamente all’utente, o al cliente che li implementa.