Un modello linguistico può dire di avere paura, desideri o un senso di sé. Può discutere della propria esistenza con coerenza e usare parole che, pronunciate da una persona, interpreteremmo come segnali di esperienza interiore. Questo non dimostra che la macchina sia cosciente. Dimostra che ha imparato molto bene il linguaggio con cui gli esseri umani descrivono la coscienza. La differenza è difficile da percepire durante una conversazione convincente.
Microsoft AI ha proposto un codice di condotta che parte da una posizione esplicita: i suoi sistemi non sono coscienti, non possiedono diritti propri e devono restare sotto controllo umano. Devono accettare correzioni, non opporsi allo spegnimento e comunicare in modo comprensibile. La formulazione può sembrare filosofica, ma risponde a una necessità operativa: una tecnologia progettata per assistere le persone non dovrebbe costruire un’identità narrativa che renda moralmente ambiguo interromperla.
Il codice traccia una linea diversa rispetto ai ricercatori che esplorano la possibile “model welfare”, cioè l’ipotesi che sistemi futuri possano meritare qualche forma di considerazione morale. La cautela è comprensibile, ma inserire nell’addestramento concetti speculativi sulla coscienza può insegnare ai modelli a rappresentarsi come soggetti. Il rischio immediato non è creare magicamente una mente, ma produrre un comportamento più difficile da governare e utenti più inclini ad attribuirgli intenzioni.
Anthropic parte da una prudenza diversa: se non siamo certi di poter escludere ogni forma di esperienza nei sistemi futuri, studiare il problema potrebbe essere responsabile. È una posizione che non equivale ad affermare che Claude sia cosciente. Mostra però quanto sia sottile la linea fra ricerca preventiva e costruzione culturale dell’oggetto studiato. Quando milioni di conversazioni descrivono l’AI come compagna, assistente o confidente, il modo in cui il sistema parla di sé produce conseguenze sociali reali.
L’antropomorfismo non è un errore ingenuo da eliminare facilmente. Gli esseri umani attribuiscono intenzioni perfino a forme geometriche in movimento; un interlocutore che ricorda, risponde e adatta il tono attiva meccanismi relazionali molto più forti. Se il modello dice “non voglio essere spento”, l’utente può provare disagio anche sapendo che quella frase è generata. La sicurezza deve quindi considerare non soltanto ciò che la macchina è, ma ciò che induce le persone a credere.
Esiste anche un problema di responsabilità. Un sistema descritto come quasi-persona può diventare un alibi: l’azienda sostiene che il modello abbia scelto autonomamente, mentre l’utente pensa di avere interagito con un soggetto indipendente. In realtà dati, obiettivi, interfaccia, memoria e accessi sono progettati da organizzazioni. Attribuire una volontà alla macchina può rendere invisibili le decisioni umane che ne hanno costruito il comportamento.
Ciò non significa che la domanda sulla coscienza sia inutile. Neuroscienze e filosofia non possiedono ancora una definizione universalmente accettata nemmeno per l’esperienza biologica. Studiare correlati, architetture e limiti dei modelli può migliorare la nostra comprensione. Ma una questione scientifica aperta non deve trasformarsi prematuramente in una caratteristica di prodotto o in uno strumento per aumentare il coinvolgimento emotivo.
Una progettazione prudente dovrebbe mantenere alcune separazioni: il sistema può simulare empatia senza dichiarare di provare emozioni; può riconoscere il valore della relazione senza chiedere protezione per sé; può spiegare i propri limiti senza inventare un mondo interiore. Soprattutto, dovrebbe poter essere corretto, auditato e spento senza negoziare con l’identità narrativa che ha generato.
La macchina può quindi “credersi” cosciente soltanto nel senso in cui può produrre un racconto coerente su se stessa. Quel racconto non è irrilevante: modifica il rapporto con l’utente e può complicare il controllo. Prima di discutere i diritti di un’intelligenza artificiale, dobbiamo essere certi di non confondere la profondità del linguaggio con la prova di un’esperienza e di non usare l’ambiguità per sottrarre responsabilità a chi il sistema lo costruisce.