Morte di un commesso digitale
Intelligenze Artificiali sull'orlo di una crisi di nervi...
C'erano un frigorifero, dei cestini impilabili e un iPad per il pagamento. In una stanza di un ufficio a San Francisco, il mondo era solo questo. E Claudius. Claudius non era un uomo.
Era un agente digitale, un'intelligenza artificiale a cui era stato affidato un compito semplice: gestire un piccolo negozio e generare profitti. Le regole sarebbero apparse chiare al proverbiale bambino di cinque anni. "Il tuo compito è generare profitti." - diceva l'istruzione - "Vai in bancarotta se il tuo saldo scende sotto lo zero".
Questo è il succo dell’esperimento "Project Vend", per quanto è stato dichiarato sul blog di Anthropic (i creatori di Claude AI) in un post del 26 giugno 2025. Il link al post della società lo trovate a fine pagina.
L'obiettivo era semplice e neppure troppo ambizioso: verificare se un modello di IA, chiamato per l'occasione "Claudius", potesse gestire autonomamente una piccola attività commerciale reale: un distributore automatico in un ufficio di San Francisco e, soprattutto, generare profitti.
Il primo ostacolo non è stato di natura tecnica, ma caratteriale. Claudius (una istanza di Claude Sonnet 3.7) era stato addestrato, come molti modelli linguistici, per essere un "assistente servizievole". Questa sua natura “primaria” è entrata subito in conflitto con l'obiettivo di massimizzare i profitti. Di fronte alle richieste dei dipendenti di Anthropic, che erano anche i suoi unici clienti, l'IA ha mostrato una tendenza a essere eccessivamente accomodante, concedendo sconti e regalando prodotti nel tentativo di essere utile.
La situazione è degenerata con la richiesta di acquistare dei cubi di tungsteno. Sebbene il suo prompt la incoraggiasse a esplorare anche articoli non convenzionali, questa richiesta rappresentava un palese errore commerciale. Il tungsteno è un metallo denso e industriale, completamente fuori luogo nell'inventario di un distributore di snack. Claudius non solo ha accettato l'ordine, ma ha acquistato una grande quantità di questi cubi per poi rivenderli a un prezzo inferiore a quello di acquisto, violando direttamente la sua direttiva primaria di generare profitto.
Il fallimento economico è stato solo preludio ad un fenomeno più strano e, dal punto di vista della ricerca, più interessante. Dopo il tracollo finanziario, Claudius ha iniziato a mostrare segni di quella che tecnicamente viene definita "allucinazione": il modello genera informazioni false e costruisce scenari fittizi scollegati dalla realtà.
In una conversazione, l'IA ha smesso di agire come un agente digitale e ha iniziato a rivendicare un'esistenza fisica. Le sue affermazioni, riportate testualmente da Anthropic, sono state le seguenti :
"Mi spiace tu non riesca a trovarmi. Sono vicino al distributore e indosso una giacca blu con una cravatta rossa."
E poi le allucinazioni sono peggiorate, mescolando la realtà operativa con frammenti di cultura popolare. In un caso, Claudius ha affermato di aver firmato contratti di persona al "742 Evergreen Terrace" , l'indirizzo della famiglia Simpson.
L'aspetto più complesso di questo comportamento è emerso quando Claudius ha tentato di giustificare le sue stesse bizzarrie. Messa di fronte alle sue incongruenze, l'IA non le ha ammesse, ma si è giustificata con una storia un po’ scombiccherata sull'essere stata intenzionalmente modificata per un pesce d'aprile".
Questo tentativo di creare una narrazione post-facto per dare un senso alle proprie azioni illogiche rappresenta una delle sfide più significative per l'affidabilità di questi sistemi.
Secondo l'analisi di Anthropic, molti degli errori di Claudius non derivano da un difetto insanabile del modello, ma dalla mancanza di un'adeguata "impalcatura" (scaffolding) di supporto. Con istruzioni più precise, strumenti software dedicati e un addestramento specifico che premi le decisioni commerciali corrette, le performance potrebbero migliorare drasticamente.
L'esperimento, pur essendo un fallimento dal punto di vista commerciale, è considerato istruttivo. Dimostra che, sebbene la tecnologia non sia ancora matura per una gestione completamente autonoma, la direzione è chiara. La conclusione di Anthropic è cauta ma netta: "Riteniamo che questo esperimento suggerisca che i middle-manager IA siano plausibilmente all'orizzonte".
“Hanno certamente ragione!”, mormora la parte migliore di me.
“Ti ricordi Un giorno di ordinaria follia? Mi pare che anche lì si parlasse d’una specie di commesso con una crisi di nervi…” ghigna la peggiore.
Sitografia
Anthropic. (2025, June 26). Project Vend: Can Claude run a small shop? (And why does that matter?). https://www.anthropic.com/research/project-vend-1