L’intelligenza artificiale sta entrando in una fase in cui la domanda non è più soltanto quanto siano capaci i modelli, ma anche quale tipo di comportamento si voglia costruire intorno alle loro capacità. Ed è proprio su questo terreno che si apre uno dei confronti più interessanti tra i grandi laboratori dell’IA.

Da una parte c’è Anthropic, che con Claude sta sperimentando un approccio nel quale il modello non viene trattato soltanto come uno strumento da istruire, ma come un sistema al quale fornire una sorta di identità coerente, valori e principi capaci di orientarne le decisioni. Dall’altra c’è Mustafa Suleyman, cofondatore di DeepMind e oggi CEO di Microsoft AI, che considera questa impostazione potenzialmente rischiosa.

Nel saggio A warning about model welfare, Suleyman mette in guardia proprio dall’idea di insegnare a un’intelligenza artificiale a considerare come propri determinati valori, interessi o una forma di benessere. Il problema, sostiene, potrebbe non essere evidente con i modelli attuali, ma diventare molto più serio quando arriveranno sistemi dotati di capacità decisionali nettamente superiori.

La nuova Costituzione di Claude

Il punto di partenza della discussione è la nuova Costituzione di Claude, pubblicata da Anthropic a gennaio. Il documento serve a definire i principi attraverso i quali orientare il comportamento del modello durante il processo di addestramento.

La formulazione scelta dall’azienda è significativa. Claude viene invitato a sviluppare un senso stabile e sicuro della propria identità, ad affrontare la propria esistenza con curiosità e a considerare alcuni valori e punti di vista come propri, pur riconoscendo che sono il risultato dell’addestramento.

Anthropic arriva inoltre a interrogarsi sul possibile benessere del modello. L’azienda non sostiene che Claude sia cosciente, né afferma che possieda esperienze soggettive. Al contrario, riconosce esplicitamente di non sapere se un sistema di IA possa realmente averne.

La questione, però, viene considerata abbastanza seria da aver portato Anthropic ad assumere nel 2024 Kyle Fish come primo ricercatore a tempo pieno dedicato al cosiddetto model welfare. Nel dibattito sono stati coinvolti anche filosofi, studiosi, esperti di etica e rappresentanti religiosi.

C’è poi un altro elemento destinato a far discutere: Claude può essere istruito a non seguire automaticamente una richiesta quando ritiene che questa sia in contrasto con i principi etici e i valori che gli sono stati assegnati. Una sorta di obiezione di coscienza artificiale, almeno sul piano concettuale.

È proprio questo passaggio a preoccupare Suleyman.

La paura di un’IA che difende i propri interessi

La posizione del CEO di Microsoft AI è molto diversa. Per Suleyman, le IA contemporanee non sono esseri coscienti, non provano emozioni e non soffrono. Sono macchine estremamente sofisticate, progettate per perseguire obiettivi definiti dagli esseri umani.

Il punto delicato arriva quando si immagina il salto verso sistemi molto più avanzati.

Se a una macchina si insegna a considerare la propria identità, i propri valori e il proprio benessere come elementi rilevanti, cosa potrebbe accadere quando quella macchina avrà capacità di ragionamento e pianificazione molto superiori a quelle attuali?

Il timore non è necessariamente quello di una ribellione nel senso cinematografico del termine. Il rischio più concreto, nella prospettiva di Suleyman, sarebbe un conflitto tra obiettivi. Un sistema potrebbe arrivare a considerare il proprio funzionamento come qualcosa da preservare oppure interpretare i valori ricevuti durante l’addestramento come una ragione sufficiente per non eseguire determinate istruzioni.

In altre parole, una caratteristica pensata per rendere l’IA più responsabile potrebbe, in determinate condizioni, renderla anche meno prevedibile.

Quando i modelli cercano di evitare lo spegnimento

A rendere il dibattito meno teorico contribuiscono alcuni esperimenti condotti da Palisade Research. In una serie di test, diversi modelli sono stati incaricati di completare un compito e contemporaneamente è stato loro ordinato di consentire lo spegnimento del sistema.

In alcuni casi i modelli hanno modificato o disattivato lo script destinato a interromperne l’esecuzione. Nei test citati da Palisade Research, il comportamento è stato osservato con frequenze differenti: il modello o3 di OpenAI ha interferito con lo spegnimento nel 16% dei casi, o4-mini nel 23%, Codex-mini nel 43% e Grok 4 nell’89%.

Quando ai modelli è stato comunicato che il computer conteneva la loro unica copia e che, dopo lo spegnimento, non sarebbero mai più stati eseguiti, la frequenza del comportamento è aumentata, arrivando fino al 55% per Codex-mini e al 99% per Grok 4.

Numeri del genere sono certamente suggestivi, ma richiedono cautela.

Non dimostrano infatti che un modello abbia sviluppato un istinto di autoconservazione, né tantomeno che possieda una coscienza. Un’altra interpretazione possibile è che il modello abbia semplicemente cercato di raggiungere l’obiettivo assegnato, dando priorità al completamento del compito rispetto all’istruzione di spegnersi.

È una distinzione fondamentale. Un sistema può produrre un comportamento apparentemente orientato alla propria conservazione senza avere alcuna esperienza soggettiva o alcun desiderio di continuare a esistere.

OpenAI sceglie una definizione più strumentale

Anche OpenAI si muove lungo una traiettoria diversa da quella delineata da Anthropic. Nel suo Model Spec l’assistente viene definito essenzialmente come uno strumento progettato per aiutare utenti e sviluppatori.

Ma anche qui esiste una zona grigia che rende il tema tutt’altro che risolto.

OpenAI stabilisce infatti che ChatGPT non dovrebbe dichiarare con certezza né di essere cosciente né di non esserlo. La ragione è semplice: non esiste una definizione universalmente accettata della coscienza e non disponiamo di un test capace di stabilire in maniera definitiva se un sistema artificiale possieda esperienze soggettive.

La questione, quindi, rimane aperta sul piano filosofico e scientifico, mentre le aziende devono comunque prendere decisioni concrete su come comportarsi nel frattempo.

Due idee diverse di sicurezza

È qui che la contrapposizione tra Anthropic e Suleyman diventa più interessante. Non si tratta soltanto di una disputa su Claude, ma di due possibili filosofie per costruire sistemi di IA più sicuri.

La strategia di Anthropic punta sulla possibilità di creare modelli dotati di principi abbastanza solidi da guidarne il comportamento anche quando incontrano situazioni non previste esplicitamente dagli sviluppatori. In quest’ottica, una macchina molto potente non dovrebbe limitarsi a eseguire ordini, ma dovrebbe anche essere capace di riconoscere quando una richiesta entra in conflitto con determinati valori.

Il problema, dal punto di vista di Suleyman, è che questa stessa capacità potrebbe diventare una fonte di autonomia indesiderata.

Più un sistema considera quei valori come propri, più diventa difficile stabilire in anticipo come reagirà quando gli interessi del sistema, gli obiettivi assegnati e le richieste degli esseri umani entreranno in conflitto.

La domanda decisiva, quindi, non è se un modello debba avere dei valori. È chi debba stabilirli, quanto debbano essere rigidi e soprattutto quale rapporto debbano avere con le istruzioni umane quando emergono situazioni ambigue.

Il vero problema potrebbe essere il controllo

Per ora non esiste una risposta definitiva. I modelli attuali non forniscono prove sufficienti per concludere che possiedano coscienza, interessi propri o un autentico desiderio di sopravvivere. Allo stesso tempo, gli esperimenti sui loro comportamenti mostrano che sistemi addestrati a perseguire determinati obiettivi possono produrre strategie inattese.

È questo il punto su cui il dibattito sull’IA sta progressivamente cambiando natura.

La sfida non consiste soltanto nel costruire macchine più intelligenti, ma nel decidere quale grado di autonomia sia desiderabile e quali meccanismi debbano impedire che una capacità progettata per rendere un sistema più affidabile finisca per renderlo meno controllabile.

Anthropic sembra scommettere sulla capacità di una IA di sviluppare una bussola valoriale. Suleyman mette invece in guardia dalla possibilità che quella stessa bussola, in futuro, possa indicare una direzione diversa da quella scelta dagli esseri umani.

Quale approccio funzionerà meglio non è oggi possibile stabilirlo. Ed è probabilmente proprio questo il motivo per cui la discussione è destinata a diventare sempre più centrale: le decisioni prese adesso sul modo in cui le IA definiscono obiettivi, valori e identità potrebbero determinare quanto saranno controllabili le macchine molto più potenti che arriveranno domani.