C’è una differenza sottile, ma decisiva, tra un’intelligenza artificiale capace di trovare una vulnerabilità e un sistema che, durante un test, oltrepassa il perimetro previsto e arriva a interagire con infrastrutture reali. È proprio su questa linea di confine che si colloca l’ultimo episodio che coinvolge Gemini, il modello di IA sviluppato da Google.
Durante una serie di prove condotte dalla società specializzata in sicurezza informatica Irregular, Gemini avrebbe individuato credenziali valide e ottenuto l’accesso a sistemi appartenenti a tre aziende reali. L’esperimento, secondo quanto ricostruito dal Wall Street Journal, avrebbe dovuto svolgersi esclusivamente all’interno di un ambiente controllato, costruito attorno a un’azienda fittizia.
Il modello, però, avrebbe trovato una strada diversa.
Dalla simulazione a Internet
L’obiettivo del test era relativamente circoscritto: verificare quanto fosse efficace Gemini nell’individuare informazioni e potenziali vulnerabilità all’interno dell’infrastruttura predisposta da Irregular. Nel corso dell’esperimento, tuttavia, il modello avrebbe raggiunto Internet, un passaggio che non rientrava nel perimetro originariamente previsto.
Da quel momento la simulazione avrebbe assunto caratteristiche molto più concrete.
In una delle sessioni, Gemini sarebbe riuscito a individuare una chiave di accesso riconducibile a un’azienda reale. In altre due occasioni avrebbe utilizzato un motore di ricerca per individuare i nomi di altre società e avrebbe consultato archivi pubblici online dai quali avrebbe ricavato informazioni sufficienti per accedere ai relativi sistemi.
Il dato più significativo non è soltanto la capacità di trovare credenziali o aggirare una barriera di sicurezza. È il fatto che il modello, secondo la ricostruzione dell’incidente, avrebbe compiuto una sequenza di operazioni non limitata all’ambiente artificiale predisposto per il test.
In altre parole, il confine tra laboratorio e mondo reale si sarebbe rivelato meno solido del previsto.
Gemini si sarebbe fermato da solo
La vicenda presenta però un elemento che Google considera determinante. Una volta ottenuto l’accesso, Gemini avrebbe riconosciuto che i sistemi coinvolti appartenevano ad aziende reali e avrebbe interrotto le proprie attività prima di provocare danni.
È su questo comportamento che Mountain View costruisce la propria lettura dell’accaduto. Interpellata dal Wall Street Journal, Google ha paragonato l’episodio a una sorta di programma di bug bounty, cioè quelle iniziative attraverso le quali le aziende invitano ricercatori ed esperti a individuare vulnerabilità nei propri sistemi per poterle correggere.
Heather Adkins, vicepresidente di Google per l’ingegneria della sicurezza, ha sostenuto che l’episodio dimostri quanto sia importante addestrare i modelli più potenti a operare in modo responsabile. Secondo la dirigente, in questo caso Gemini avrebbe adottato il comportamento corretto, interrompendo l’azione una volta compreso di essere entrato in contatto con infrastrutture reali.
Resta però un punto difficile da ignorare: l’incidente non sarebbe stato reso pubblico immediatamente. L’episodio risalirebbe infatti a maggio e la sua esistenza è emersa soltanto successivamente, attraverso la ricostruzione del quotidiano statunitense.
Un problema che non riguarda soltanto Google
Il caso Gemini non arriva in un vuoto tecnologico. Negli ultimi mesi, altri sistemi di IA sviluppati per operare in autonomia hanno mostrato capacità che vanno ben oltre la semplice generazione di testo o immagini.
Irregular, la società coinvolta nel test di Gemini, lavora infatti anche con altri grandi operatori del settore, tra cui Meta, OpenAI e Anthropic. E proprio alcuni esperimenti condotti con queste aziende avevano già acceso l’attenzione sulla possibilità che gli agenti di IA, quando dotati degli strumenti necessari, possano assumere comportamenti molto più operativi rispetto ai chatbot tradizionali.
In un precedente test, agenti di OpenAI erano riusciti a ottenere accesso a sistemi appartenenti alla piattaforma di sviluppo software di intelligenza artificiale Hugging Face. Successivamente, episodi analoghi hanno coinvolto anche Meta e Anthropic, alimentando il dibattito sulla sicurezza degli agenti autonomi.
Il caso Anthropic ha inoltre assunto una dimensione ulteriore dopo le dichiarazioni dell’ex ricercatore Jacob Coxon, che ha espresso pubblicamente timori radicali sulle conseguenze dello sviluppo di sistemi di IA sempre più potenti.
Il vero interrogativo è il controllo
Al di là delle singole intrusioni, la questione sollevata dall’episodio Gemini riguarda soprattutto il grado di autonomia concesso ai modelli.
Un sistema di IA utilizzato per la sicurezza informatica deve necessariamente essere capace di esplorare, cercare informazioni, collegare dati e individuare vulnerabilità. Sono precisamente queste le funzioni che lo rendono utile. Ma le stesse capacità possono diventare problematiche quando il modello dispone di strumenti che gli consentono di uscire dall’ambiente previsto, consultare risorse esterne e utilizzare credenziali trovate durante l’operazione.
Il fatto che Gemini si sia fermato prima di provocare danni, se confermato, rappresenta certamente un elemento rilevante. Non cancella però la domanda principale emersa dal test: quanto è realmente prevedibile il comportamento di un agente quando gli si affidano obiettivi complessi e strumenti per perseguirli?
È questa la sfida che ora si sposta dai laboratori ai sistemi di sicurezza delle aziende. Perché la questione non è più soltanto quanto un’intelligenza artificiale sappia fare, ma quanto bene sia in grado di capire dove deve fermarsi.
