- I guardrail di Anthropic e OpenAI pensati per bloccare usi malevoli finiscono per ostacolare anche i ricercatori di sicurezza legittimi, che non riescono a usare i modelli per analisi offensive necessarie alla difesa dei sistemi.
- Anche all'interno dei programmi riservati come il CVP di Anthropic o il Trusted Access di OpenAI, le restrizioni si comportano in modo incoerente e imprevedibile.
- Il risultato pratico è una migrazione dei ricercatori verso modelli open source cinesi come GLM, eseguibili in locale senza alcun limite.
I guardrail AI sono stati pensati per impedire agli attori malintenzionati di usare l’intelligenza artificiale per costruire malware o pianificare attacchi. Il problema è che quegli stessi filtri si comportano in modo identico con chi quegli attacchi dovrebbe prevenirli: ricercatori di sicurezza offensiva, esperti di vulnerability research e analisti che testano sistemi prima che lo faccia qualcun altro.
Il contesto in cui si inserisce il dibattito è quello dei grandi modelli proprietari, a partire da quelli di Anthropic. A giugno 2026, il governo degli Stati Uniti ha imposto restrizioni all’export su Mythos e Fable, i due modelli di punta dell’azienda, decisione contro la quale si sono schierati diversi esperti di cybersecurity e che ha accelerato le riflessioni sulla dipendenza tecnologica dai modelli USA. Le restrizioni sono state in parte motivate da report che sostenevano la possibilità di aggirare le protezioni integrate per generare codice malevolo. Le restrizioni su Fable 5 sono poi state rimosse il primo luglio, mentre Mythos 5 è stato reintrodotto solo per organizzazioni statunitensi sottoposte a verifica governativa.
Guardrail AI e sicurezza offensiva: il paradosso dello strumento neutro
Anthropic e OpenAI hanno entrambe istituito programmi di accesso riservato per i ricercatori: il Trusted Access for Cyber di OpenAI e il Cyber Verification Program di Anthropic. Si tratta di percorsi di verifica che, se superati, permettono di usare i modelli con restrizioni allentate. Il problema, secondo chi lavora sul campo, è che anche dentro questi programmi i filtri si comportano in modo incoerente.
Chris Thompson, CEO di RemoteThreat e fondatore di Offensive AI Con, descrive una situazione in cui le restrizioni cambiano di giorno in giorno, anche all’interno dei programmi dedicati: invece di analizzare una vulnerabilità, i ricercatori finiscono per passare il tempo a capire perché il modello abbia deciso di non rispondere. Chris Anley, chief scientist di NCC Group, mette il dito su una contraddizione strutturale: chiedere a un modello di correggere del codice o di verificare se un bug è effettivamente sfruttabile sono operazioni identiche da un punto di vista tecnico, usabili sia per difendere che per attaccare un sistema. I guardrail non distinguono l’intenzione, bloccano il contenuto.
La situazione non è dissimile da quella già osservata quando sistemi di protezione pensati per un contesto finiscono per danneggiare gli utenti legittimi in un altro, uno schema che vale la pena tenere a mente anche guardando ad altri ambiti della sicurezza digitale. Sul fronte opposto, abbiamo avuto da poco prova di come anche i guardrail di sicurezza AI possano rivelarsi inadeguati quando attaccati direttamente, come ha dimostrato il caso Hugging Face.
Chi usa i modelli AI nella ricerca di vulnerabilità e come
I profili che emergono dalle testimonianze raccolte da TechCrunch sono molto diversi tra loro, e nessuno corrisponde all’immagine semplificata di “ricercatore bloccato dai filtri”.
Paolo Stagno, CTO di Crowdfense, azienda che sviluppa e commercializza vulnerabilità sconosciute per conto di agenzie governative, dice che lui e i suoi colleghi usano i modelli proprietari solo per il reverse engineering. Per la ricerca di vulnerabilità e la costruzione di exploit, però, evitano qualsiasi modello cloud: il rischio che dati sensibili vengano assorbiti nei training futuri è troppo alto. Usano invece modelli open source eseguiti in locale.
Giuseppe Cali, ricercatore che sviluppa exploit professionalmente, è ancora più netto: non usa l’AI per il lavoro offensivo, non perché i guardrail lo impediscano, ma per scelta. L’AI lo aiuta a capire il codice che sta analizzando, a costruire strumenti di supporto, ad accelerare la fase iniziale. La scoperta vera della vulnerabilità resta sua. “Sono geloso dei miei bug”, ha dichiarato.
Un ricercatore che lavora per un produttore di componenti per smartphone, rimasto anonimo, racconta invece un’esperienza più frustrante: la sua azienda non fa parte del CVP di Anthropic, e appena il modello percepisce che la conversazione riguarda qualcosa di legato alla sicurezza, smette di rispondere.
Il risultato: i ricercatori migrano verso modelli cinesi open source
La conseguenza più concreta di questo sistema è quella che Thompson definisce una migrazione involontaria. I ricercatori legittimi, non riuscendo a lavorare con efficacia sui modelli americani, finiscono per usare alternative open source come GLM o Kimi, modelli sviluppati in Cina, scaricabili liberamente, eseguibili in locale, senza alcuna restrizione. Nessun vetting, nessun guardrail, nessuna supervisione.
Mark Dowd, ricercatore con decenni di esperienza nella ricerca e vendita di zero-day a governi occidentali, lo dice con parole esplicite: non è accettabile che grandi aziende private decidano in modo arbitrario cosa è sicuro e cosa non lo è nel campo della sicurezza informatica.
Thompson chiede alle grandi aziende AI di aprire i programmi di accesso, garantire un accesso responsabile e responsabilizzare chi abusa degli strumenti, invece di stringere ulteriormente le restrizioni. Il suo argomento è semplice: se i difensori continuano a essere rallentati mentre gli attaccanti usano modelli senza limitazioni, la corsa agli armamenti informatica è già persa in partenza. I guardrail, pensati per proteggere, rischiano di diventare un vantaggio competitivo per chi non ha nessuna intenzione di rispettarli.
