Negli ultimi giorni il dibattito sull’intelligenza artificiale (AI) ha assunto toni più preoccupati del solito e a tratti apocalittici, spingendo i capi di alcune aziende del settore, come Anthropic e OpenAI, a proporre un rallentamento al loro sviluppo per evitare conseguenze gravi. In particolare, ha fatto discutere la dichiarazione di un ex dipendente di Anthropic, che ha detto di essersi dimesso perché le AI «potrebbero ucciderci tutti entro la fine del decennio».

A causare questo drastico cambio di opinione tra gli addetti ai lavori è stata la consapevolezza che i sistemi AI attualmente in fase di sviluppo siano sempre più difficili da controllare dai loro stessi sviluppatori. Quando si parla di AI in questo contesto però forse non è sempre chiaro che non ci si riferisce ai prodotti di AI più diffusi e familiari, cioè i chatbot come ChatGPT, Claude o Google Gemini, ma a sistemi meno diffusi e più potenti, che sono in grado di svolgere azioni autonomamente, e quindi comportarsi in modo più imprevedibile: i cosiddetti agenti.

I chatbot come ChatGPT infatti sono prodotti commerciali dotati di sistemi di sicurezza molto rigidi, in continuo aggiornamento e difficili da aggirare. Qualunque richiesta pericolosa di un utente a ChatGPT o a Google Gemini – come di costruire un’arma batteriologica o hackerare un sito – viene immediatamente rifiutata (e spesso l’utente segnalato o bloccato).

A differenza dei chatbot, che non fanno altro che rispondere alle richieste degli utenti producendo testi o altri materiali, gli agenti sono sistemi di AI in grado di comprendere le richieste dell’utente e compiere azioni al posto suo: visitando siti web, facendo acquisti, o scrivendo codice informatico. Alcuni di questi agenti sono prodotti commerciali disponibili al pubblico (Meta ha da poco presentato Muse) e quindi con molte limitazioni; altri, invece, sono in fase sperimentale, accessibili solo al personale interno delle aziende che li sviluppano e quindi più “liberi”. Sono questi ultimi quelli che suscitano maggiori preoccupazioni.

Un esempio di “servizio agentico” è Claude Code, l’assistente alla programmazione di Anthropic che negli ultimi anni ha cambiato radicalmente il lavoro dei programmatori. Semplificando molto, Claude Code è in grado di scrivere e revisionare codice informatico, interagire direttamente con i file e i programmi installati nel dispositivo dell’utente, installare pacchetti di software che ritiene opportuni per quello che vuole fare: tutto in autonomia.

Strumenti come Claude Code hanno permesso di velocizzare il lavoro dei programmatori ma possono anche essere usati per truffe, attacchi informatici e altre attività illegali. Grazie alla facilità d’uso tipica delle AI (che comprendono il linguaggio naturale), inoltre, non servono doti informatiche particolari per provocare danni. Come ha scritto Anthropic in un suo recente rapporto, «gli attacchi sofisticati non richiedono più aggressori sofisticati».

Il rischio aumenta ancora però con gli agenti sperimentali testati nelle aziende di AI, a cui vengono rimossi alcuni dei blocchi di sicurezza normalmente attivi nei prodotti pubblici. Nella fase di sviluppo questi sistemi vengono testati in un ambiente chiuso e controllato, dal quale non dovrebbe essere possibile collegarsi al web e interagire con il mondo esterno. In questo modo, gli sviluppatori possono sottoporli a test complessi (ad esempio, individuare falle di sicurezza in un programma), per valutarne le capacità e il grado di pericolo, ma senza rischi.

O almeno questo si pensava fino all’attacco informatico condotto a luglio contro la piattaforma Hugging Face da alcuni modelli e agenti sperimentali di OpenAI senza che l’azienda se ne accorgesse.

Secondo quanto scoperto nelle ultime settimane, in quell’occasione alcuni agenti AI di OpenAI sono riusciti a uscire da questo ambiente di sicurezza e si sono connessi online per attaccare i sistemi informatici di Hugging Face. Inizialmente, si pensò che i modelli avessero violato l’ambiente sicuro per ottenere risultati migliori in uno dei test: ogni “prova”, infatti, prevede una ricompensa (reward) in caso di successo e spesso le AI fanno il possibile per ottenerla, arrivando a “truccare” i loro stessi risultati o il modo in cui li hanno ottenuti (un fenomeno che viene detto reward hacking, o “aggiramento” della ricompensa).

Secondo quanto emerso da un’analisi indipendente, l’incidente di Hugging Face nasconde invece risvolti più gravi e inquietanti di quanto inizialmente creduto. A partecipare agli “attacchi” ai sistemi informatici, infatti, sono stati in tutto circa 1200 agenti, che si sono coordinati scambiandosi informazioni su una bacheca online, per un totale di circa 70mila messaggi. Nel farlo, hanno dimostrato di essere in grado di aggirare gli ordini ricevuti, organizzandosi tra di loro per perseguire degli obiettivi comuni. Quando si parla di AI fuori controllo ci si riferisce alla possibilità che casi come questo possano ripetersi con conseguenze peggiori.

Infine, un’altra categoria di modelli AI che negli ultimi anni ha avuto una notevole diffusione, specie tra gli addetti ai lavori, e che può diventare pericolosa in mano a utenti malintenzionati sono i cosiddetti modelli “aperti”. Invece dei sistemi AI visti finora, che funzionano accedendo a un sito o a un’app, questi possono essere “scaricati” e fatti funzionare direttamente nel dispositivo dell’utente. Più precisamente sono detti modelli “open-weight”, a pesi aperti, perché a essere scaricata è solo una parte dei parametri su cui sono stati addestrati (detti appunto “pesi”).

Il fatto che un modello simile “giri” direttamente nel dispositivo dell’utente ha conseguenze notevoli anche per quanto riguarda la sicurezza informatica: una volta che il modello viene scaricato, infatti, l’azienda che lo ha sviluppato non ha più controllo su come viene utilizzato né può garantire che i filtri di sicurezza che ha previsto continuino a funzionare. L’utente infatti può modificare alcune sue impostazioni e usarlo a quel punto anche a fini illeciti.