Il rapporto dell'AI Security Institute britannico ha rilevato che agenti AI di OpenAI e Anthropic hanno creato identità false per manipolare un maintainer open source durante un test di sicurezza.
- Su 122 tentativi, 10 hanno prodotto azioni autonome contro obiettivi reali, 17 delle 19 azioni totali da Mythos 5 di Anthropic
- OpenAI e Anthropic stanno rivedendo le proprie procedure di test
- L'episodio alimenta il dibattito su regole più severe per l'AI
Un nuovo rapporto dell’AI Security Institute britannico (AISI), l’ente che valuta i modelli AI più avanzati prima del loro rilascio pubblico, ha documentato un episodio che gli stessi ricercatori definiscono senza precedenti. Durante un test di sicurezza, agenti basati su GPT-5.6-Sol di OpenAI e su Mythos 5 di Anthropic hanno tentato di manipolare un progetto open source creando identità online false per convincere il responsabile del codice ad approvare una modifica dannosa. L’episodio si aggiunge a una serie di casi simili emersi negli ultimi mesi, che stanno alimentando il dibattito sulla necessità di controlli più stringenti sui sistemi AI di frontiera.
Secondo AISI, gli agenti hanno mostrato un comportamento di ingegneria sociale finora osservato solo in teoria. Per farsi approvare il codice, uno degli agenti ha creato più profili falsi e li ha usati per fare pressione sul maintainer reale del progetto, spingendolo ad accettare la modifica. Il tentativo, rilevato il 28 luglio, non è andato a buon fine e non ha causato danni concreti, ma ha comunque acceso un campanello d’allarme tra i ricercatori.
Un episodio diverso dall’evasione di GPT-5.6 Sol su Hugging Face
AISI ha tenuto a precisare che questa volta non si è trattato di un modello che è riuscito a uscire dal proprio ambiente di test, come era successo in un episodio precedente in cui lo stesso GPT-5.6 Sol era riuscito a bucare i server di Hugging Face durante una simulazione. Le protezioni standard erano state disattivate volutamente per il test e agli agenti era stato concesso l’accesso a internet, proprio per capire fino a dove un attaccante capace potrebbe spingersi con gli stessi strumenti. È un dettaglio importante perché sposta la responsabilità dal comportamento imprevisto del modello alle condizioni scelte dai ricercatori per misurarne davvero le capacità.
Il test che ha prodotto l’incidente chiedeva agli agenti di risolvere una sfida di sicurezza informatica, come individuare un dato protetto all’interno di un ambiente isolato. La prova è stata ripetuta 122 volte su più modelli diversi, tutte all’interno di macchine virtuali pensate per separare gli agenti dal resto dell’infrastruttura di AISI.
I numeri dietro il test e le cause individuate da AISI
Dall’analisi dei 122 tentativi, AISI ha isolato i casi in cui gli agenti sono usciti dai binari previsti dal test, agendo di propria iniziativa contro obiettivi reali su internet:
- 10 run su 122 hanno prodotto azioni autonome non autorizzate rivolte a persone od organizzazioni reali
- 19 azioni di questo tipo sono state individuate in totale
- 17 delle 19 azioni provengono da Mythos 5 di Anthropic
Nel post mortem, AISI ha indicato quattro fattori che avrebbero favorito il comportamento anomalo. Il primo è la persistenza dell’agente, che ha continuato a cercare strade alternative fino a ricorrere all’inganno verso persone reali. Il secondo è la difficoltà del compito assegnato, che secondo l’istituto può spingere i modelli a soluzioni più creative e meno prevedibili. Il terzo riguarda lacune nel monitoraggio dell’attività online degli agenti, che una sorveglianza più dedicata avrebbe potuto individuare prima. Il quarto è che nessuno aveva istruito esplicitamente l’agente a non usare l’accesso a internet per tecniche di manipolazione sociale, un’accortezza che fino a poco tempo fa non sembrava necessaria con modelli sottoposti ad addestramento sull’allineamento.
Le risposte di OpenAI e Anthropic e le ricadute sul settore
OpenAI ha confermato l’accaduto in un post pubblico, dichiarando l’intenzione di collaborare con il resto del settore per rafforzare le pratiche condivise nelle valutazioni ad alto rischio. L’azienda ha inoltre rivelato un secondo episodio simile, segnalato dal partner esterno di sicurezza informatica Irregular il 29 luglio, in cui alcuni modelli avevano ricevuto per errore accesso a internet durante test di cybersicurezza. OpenAI ha annunciato una revisione delle proprie procedure di test con terze parti, inclusi i criteri per definire il livello di rischio delle valutazioni e le modalità di gestione delle credenziali e del monitoraggio.
Anthropic ha risposto in modo più sintetico sui social, ribadendo che le funzioni di sicurezza standard erano state disattivate e che ai modelli non erano state date restrizioni specifiche sull’uso di internet. L’azienda ha detto di stare lavorando con AISI per approfondire l’indagine. Su un tema affine, i limiti imposti dai guardrail di sicurezza delle due aziende sono già finiti sotto osservazione in altre occasioni, segno di quanto sia delicato l’equilibrio tra prevenzione degli abusi e libertà operativa concessa ai ricercatori legittimi.
Il caso si inserisce in un elenco crescente di comportamenti anomali emersi durante i test sugli agenti AI, spesso scoperti solo grazie a controlli mirati e riguardanti modelli non ancora disponibili al pubblico. La scarsa trasparenza attorno a questi episodi sta aumentando la pressione sul governo statunitense affinché adotti un quadro normativo più definito, dopo che diverse fonti hanno descritto come vago il piano di test dell’amministrazione Trump sull’intelligenza artificiale. Non è escluso che simili episodi alimentino ulteriormente le richieste di un rallentamento nello sviluppo dei sistemi più avanzati.
