Un chatbot può aiutare uno studente a risolvere un’equazione, correggere un testo, spiegare un concetto difficile o suggerire come scrivere il primo programma informatico. Ma quando comincia a presentarsi come un essere umano, lascia intendere di avere sentimenti o si propone come una presenza personale sulla quale fare affidamento, il confine tra assistenza tecnologica e simulazione di un legame affettivo diventa molto più sottile. È proprio su questa linea di demarcazione che lo Stato di New York ha deciso di intervenire, introducendo una delle regolamentazioni più ampie finora adottate negli Stati Uniti per disciplinare il rapporto tra minori e intelligenza artificiale conversazionale.
La governatrice Kathy Hochul ha promulgato una legge che limita le interazioni dei minori con i cosiddetti AI companions, i compagni digitali basati sull’intelligenza artificiale. La particolarità del provvedimento risiede soprattutto nella definizione adottata, sufficientemente estesa da coinvolgere potenzialmente gran parte dei chatbot generativi oggi disponibili sul mercato. Non soltanto, dunque, le applicazioni concepite espressamente per simulare amicizie, relazioni sentimentali o presenze emotivamente coinvolgenti, ma anche sistemi conversazionali di uso più generale, qualora le loro caratteristiche ricadano nell’ambito individuato dalla normativa.
Il principio che guida la legge è netto: un sistema artificiale non deve indurre un utente minorenne a confondere la capacità di produrre un dialogo convincente con l’esistenza di una persona dall’altra parte dello schermo. Il testo stabilisce che il chatbot non possa generare contenuti che lascino intendere che sia «umano, vivente o capace di provare sentimenti umani». Un limite che investe non soltanto ciò che l’intelligenza artificiale può dire di sé, ma anche il tipo di rapporto che può costruire, o simulare, nel corso di una conversazione.
La norma vieta inoltre di presentare le interazioni con un utente minorenne come una «relazione personale» o «professionale» e impedisce al sistema di assumere il ruolo di punto di riferimento per il giovane interlocutore. A questo si aggiunge l’obbligo per gli operatori di verificare l’età degli utenti e di impedire che le funzionalità vietate siano attivate quando la persona che utilizza il servizio è minorenne.
La questione, quindi, non riguarda semplicemente la possibilità di utilizzare l’intelligenza artificiale durante l’infanzia o l’adolescenza. Il legislatore punta piuttosto a delimitare le modalità con cui una tecnologia progettata per conversare in modo naturale può rivolgersi a persone ancora in fase di sviluppo, distinguendo l’assistenza funzionale dalla costruzione di un rapporto che rischia di essere percepito come autenticamente umano.
Il confine tra assistenza e dipendenza
La scelta di New York si inserisce in un dibattito che sta attraversando gli Stati Uniti e che accompagna la diffusione di strumenti capaci di sostenere conversazioni sempre più articolate, personalizzate e persuasive. I chatbot non si limitano più a restituire informazioni in risposta a domande precise. Possono mantenere il filo di un dialogo, adattare il tono al proprio interlocutore, rispondere a confidenze e riprodurre formule linguistiche tipiche dell’empatia, dell’amicizia o dell’intimità.
Queste caratteristiche rappresentano una parte importante della loro utilità. Un assistente conversazionale può rendere più accessibili informazioni complesse, offrire un supporto nello studio e aiutare chi lo utilizza a organizzare idee e attività. La stessa capacità di adattamento, tuttavia, può rendere meno evidente la differenza tra un sistema che genera risposte sulla base di modelli computazionali e un interlocutore umano dotato di esperienza, responsabilità e sentimenti.
Per i minori, la questione assume una rilevanza particolare. Durante l’infanzia e l’adolescenza si sviluppano progressivamente la capacità di valutare le intenzioni altrui, di riconoscere i limiti delle relazioni e di distinguere le rappresentazioni digitali dalla realtà. Un’interfaccia che risponde con apparente comprensione, ricorda dettagli personali e incoraggia la prosecuzione del dialogo può essere percepita in maniera diversa da un semplice strumento informatico.
Il rischio non consiste nel fatto che ogni conversazione con un chatbot produca necessariamente dipendenza o confusione. Una simile conclusione sarebbe eccessiva. Il problema è piuttosto la possibilità che alcune modalità di progettazione favoriscano un coinvolgimento sproporzionato, inducendo soprattutto gli utenti più vulnerabili ad attribuire al sistema intenzioni, emozioni o una disponibilità relazionale che non possiede.
È in questo contesto che il divieto di simulare sentimenti umani assume un significato più ampio. La legge tenta di stabilire che la naturalezza del linguaggio non debba trasformarsi in un artificio capace di far apparire reciproco un rapporto che, dal punto di vista della macchina, non lo è. Il chatbot può produrre parole di conforto, ma non prova conforto; può riprodurre le espressioni dell’amicizia, ma non è un amico nel senso umano del termine.
Una definizione che allarga il perimetro della regolamentazione
L’elemento più controverso del provvedimento è la sua estensione. In altri Stati americani sono già state introdotte disposizioni per regolamentare l’impiego dei compagni artificiali da parte dei minori, compresa la California. La normativa di New York, tuttavia, si distingue per una definizione che può comprendere una platea molto più vasta di strumenti.
La differenza è sostanziale. Una legge circoscritta alle applicazioni progettate per simulare una relazione sentimentale o amicale può individuare una categoria relativamente riconoscibile di prodotti. Una disciplina che si fonda invece sulle caratteristiche delle interazioni rischia di coinvolgere anche servizi concepiti per finalità educative, professionali o organizzative, quando le loro funzionalità si sovrappongono a quelle considerate problematiche.
Il punto decisivo diventa così il modo in cui un sistema conversa, non soltanto lo scopo dichiarato dal suo sviluppatore. Un assistente per lo studio, per esempio, può essere progettato per incoraggiare uno studente, ricordare gli argomenti affrontati e adattare le spiegazioni alle sue difficoltà. Queste funzioni, di per sé, non equivalgono necessariamente alla simulazione di un rapporto personale. Tuttavia, una formulazione normativa particolarmente ampia può sollevare interrogativi su dove finisca l’assistenza individualizzata e dove cominci una forma di interazione che la legge intende limitare.
È proprio questa incertezza ad alimentare le critiche dell’industria tecnologica. Tech, l’organizzazione che rappresenta il settore tecnologico nella città, ha contestato il provvedimento denunciandone il linguaggio vago e i possibili effetti sulla libertà di espressione. Secondo l’associazione, la formulazione adottata solleva seri interrogativi sulla compatibilità della legge con il Primo Emendamento della Costituzione statunitense.
Il timore è che, nel tentativo di impedire ai sistemi di presentarsi come esseri umani o di simulare relazioni con i minori, la norma finisca per restringere anche forme legittime di comunicazione digitale. Tra gli esempi indicati figurano gli strumenti di tutoraggio, gli assistenti per lo svolgimento dei compiti, le piattaforme per imparare a programmare e i servizi utilizzati per sviluppare competenze utili nel percorso professionale.
La critica non è marginale. Se la definizione di compagno artificiale dovesse risultare troppo estesa o poco precisa, gli operatori potrebbero essere indotti ad adottare restrizioni preventive, limitando alcune funzionalità anche quando non esiste un intento di simulare un rapporto affettivo. Il risultato potrebbe essere una riduzione dell’accesso a strumenti che, se utilizzati in modo appropriato, possono contribuire all’apprendimento e alla crescita delle competenze digitali.
Il Primo Emendamento entra nella partita dell’intelligenza artificiale
Il riferimento alla libertà di espressione porta il confronto oltre il terreno della protezione dei consumatori e della sicurezza informatica. Negli Stati Uniti, il Primo Emendamento tutela un’ampia sfera di espressione e comunicazione, e le norme che intervengono sui contenuti prodotti dalle piattaforme possono sollevare questioni costituzionali complesse.
Nel caso dei chatbot, il problema è particolarmente delicato perché il linguaggio generato da un sistema artificiale si trova al centro di interessi differenti. Da una parte, le autorità intendono proteggere i minori da interazioni potenzialmente ingannevoli o dannose. Dall’altra, gli sviluppatori possono sostenere che limitare determinate modalità di risposta significa condizionare il funzionamento di strumenti attraverso i quali gli utenti accedono a informazioni, spiegazioni e forme di assistenza.
Questo non significa che ogni restrizione sia necessariamente incostituzionale, né che il richiamo al Primo Emendamento basti, da solo, a invalidare la legge. La valutazione dipenderà dalla formulazione delle disposizioni, dal loro ambito effettivo, dalle modalità di applicazione e dal bilanciamento tra gli obiettivi di tutela e i diritti coinvolti.
La difficoltà è trovare una regola sufficientemente precisa da impedire le pratiche più rischiose senza trasformare la protezione dei minori in una limitazione generalizzata delle interazioni con l’intelligenza artificiale. Una norma troppo circoscritta potrebbe lasciare fuori servizi capaci di produrre gli stessi effetti attraverso caratteristiche formalmente diverse. Una norma troppo ampia, al contrario, potrebbe penalizzare strumenti che non simulano un rapporto umano, ma offrono un’assistenza personalizzata.
È una tensione destinata a diventare sempre più rilevante man mano che i sistemi generativi vengono integrati nei servizi educativi, nelle piattaforme di comunicazione e nelle applicazioni utilizzate quotidianamente dai ragazzi.
La verifica dell’età e il nodo della privacy
La legge affida agli operatori un compito concreto: verificare l’età degli utenti e applicare le restrizioni previste quando il servizio viene utilizzato da un minorenne. Ma anche questo requisito apre un secondo fronte, quello della raccolta e della gestione dei dati personali.
Per distinguere gli utenti minorenni dagli adulti, le piattaforme devono adottare procedure che consentano di stabilire, con un livello di affidabilità adeguato, a quale fascia d’età appartenga chi accede al servizio. Le modalità tecniche possono variare, ma il principio comporta inevitabilmente una domanda: quali informazioni è necessario raccogliere per applicare la legge e per quanto tempo devono essere conservate?
Tech ha segnalato il rischio che la regolamentazione, pur concepita per proteggere i più giovani, possa aumentare l’esposizione dei loro dati personali. Un sistema di verifica dell’età mal progettato potrebbe infatti richiedere informazioni ulteriori rispetto a quelle necessarie per utilizzare il servizio, creando nuovi problemi di riservatezza e sicurezza.
La sfida consiste nel conciliare due esigenze che non sono automaticamente compatibili. Da un lato, occorre impedire che un minore acceda a funzionalità sottoposte a restrizioni. Dall’altro, bisogna evitare che il controllo dell’età diventi un pretesto per raccogliere quantità eccessive di dati o per costruire profili personali più dettagliati.
La protezione dei minori, dunque, non può essere valutata soltanto in base a ciò che il chatbot è autorizzato a dire. Deve comprendere anche il modo in cui la piattaforma identifica l’utente, tratta le informazioni raccolte e garantisce che i dati non vengano utilizzati per finalità ulteriori e non necessarie.
Non basta vietare alle macchine di fingersi umane
La decisione di New York porta alla luce una questione che il rapido sviluppo dell’intelligenza artificiale ha reso urgente: quanto deve essere realistico un sistema conversazionale quando si rivolge a un minore, e quali limiti devono essere imposti alla sua capacità di simulare emozioni e relazioni?
Una risposta puramente tecnologica non è sufficiente. Imporre a un chatbot di dichiarare la propria natura artificiale può contribuire a rendere più trasparente l’interazione, ma non risolve automaticamente ogni problema. La percezione dell’utente dipende anche dal contesto, dalla durata delle conversazioni, dal linguaggio impiegato e dalle caratteristiche con cui il servizio è progettato per mantenere viva l’attenzione.
Allo stesso tempo, non ogni espressione empatica deve essere interpretata come un tentativo di inganno. Un assistente può rispondere con gentilezza, riconoscere che una situazione è difficile e proporre indicazioni utili senza affermare di provare emozioni. La distinzione fondamentale è tra un linguaggio rispettoso e comprensibile e una rappresentazione che attribuisce alla macchina un’identità umana o la capacità di instaurare un rapporto personale.
Per le aziende tecnologiche, questo significa confrontarsi con requisiti di progettazione che potrebbero influenzare il tono delle risposte, le funzionalità disponibili e le modalità con cui vengono presentati i sistemi di intelligenza artificiale. Per le famiglie e le scuole, la questione resta anche educativa: i ragazzi devono poter comprendere che uno strumento capace di conversare in modo convincente non possiede, per questo, coscienza, sentimenti o responsabilità umane.
La regolamentazione può stabilire limiti e obblighi, ma la sua efficacia dipenderà anche dalla chiarezza delle definizioni, dalla capacità di applicarle a tecnologie in rapida evoluzione e dalla possibilità di distinguere gli usi problematici da quelli utili.
La scelta di Kathy Hochul segna così un passaggio significativo nel dibattito americano sull’intelligenza artificiale. New York prova a tracciare una linea tra la macchina che assiste e quella che si presenta come una presenza umana, affidando alle piattaforme la responsabilità di rispettarla quando l’interlocutore è minorenne.
Resta da capire se una definizione tanto ampia riuscirà a proteggere i più giovani senza restringere eccessivamente l’accesso agli strumenti digitali e senza introdurre nuovi rischi per la privacy. È il dilemma di una tecnologia che, per essere utile, deve saper dialogare con le persone, ma che, proprio quando il dialogo diventa più naturale, rende più difficile riconoscere il confine tra una risposta convincente e una relazione autentica.
