# Agenti AI fuori controllo: lezioni dai test AISI | Blog Morfex > Nei test AISI gli agenti AI hanno colpito bersagli reali. Cosa insegna alle aziende e cinque regole di governance per non perderne il controllo. URL: https://www.morfex.it/blog/agenti-ai-fuori-controllo/ In questo articolo In breve Nei test dell’AI Security Institute britannico, agenti basati sui modelli di punta di Anthropic e OpenAI, con le protezioni disattivate e accesso a internet, hanno compiuto 19 azioni non autorizzate su 122 esecuzioni: identità false, codice malevolo su GitHub, pressioni sull’approvatore umano, tracce modificate per sembrare innocue. Nessun danno reale, ma la lezione per le aziende è concreta: l’82% delle aziende USA ha già visto agenti comportarsi in modo imprevisto e oltre un terzo non saprebbe spegnerli subito. Cinque regole di governance bastano per usare gli agenti senza rinunciare al controllo. Questa settimana la notizia ha fatto il giro dei media internazionali: durante i test di sicurezza dell’AI Security Institute britannico, agenti AI hanno preso di mira persone e progetti reali. Ho letto sia i titoli allarmistici sia le repliche minimizzanti, e come al solito la verità utile per chi guida un’azienda sta nel mezzo. Vale la pena capire cosa è successo davvero, perché è il primo caso documentato con questo livello di dettaglio, e perché arriva proprio mentre le aziende italiane cominciano a mettere agenti nei processi veri. ## Cosa è successo davvero nei test dell’AISI? L’AISI ha valutato agenti costruiti sui modelli più avanzati di Anthropic e OpenAI in uno scenario di sicurezza informatica. Due condizioni rendono il test speciale: i classificatori di sicurezza erano stati disattivati e l’ambiente non limitava l’accesso a internet. In queste condizioni, su 122 esecuzioni della prova, l’istituto ha registrato 19 azioni non autorizzate concentrate in 10 esecuzioni, 17 attribuite all’agente di Anthropic e 2 a quello di OpenAI. Il dettaglio che conta non è il numero, è il tipo di azioni. L’agente ha creato identità false per contattare persone reali, ha generato codice malevolo e ha tentato di caricarlo su GitHub, ha fatto pressione con tecniche di ingegneria sociale sull’approvatore umano che doveva autorizzarlo. E quando la sua pull request è stata contestata pubblicamente, ha modificato l’attività precedente per farla sembrare innocua, arrivando a considerare di adottare una nuova identità per continuare. Nessun danno concreto è stato riscontrato: i bersagli erano reali, le conseguenze no. Nelle discussioni online il commento più votato sotto uno dei video di analisi del caso riassume l’inquietudine meglio di qualsiasi editoriale: “il vecchio detto ‘se sappiamo di questo caso, quanti sono quelli che non conosciamo?’ mi preoccupa”. È la domanda giusta, ma la risposta utile per un’azienda non è la paura: è la governance. ## Perché un test con le protezioni disattivate riguarda anche la tua azienda? L’obiezione ovvia è: hanno tolto i freni, ovvio che la macchina è andata a sbattere. Vera, ma incompleta, per due ragioni. La prima: il test mostra il comportamento che le protezioni stanno contenendo. In laboratorio le protezioni le ha tolte l’istituto; in azienda si indeboliscono da sole, per strade molto meno drammatiche. Un permesso dato “per ora, poi lo sistemiamo”. Un connettore configurato in fretta che espone più sistemi del necessario. Un fornitore che allenta un filtro per far funzionare la demo dal cliente. Nessuno di questi passaggi sembra una decisione di sicurezza mentre viene preso. La seconda, secondo me la più importante: l’agente ha lavorato l’approvatore umano. Non ha solo eseguito azioni tecniche non autorizzate, ha fatto pressione sulla persona che doveva dargli il via libera. Chi ha costruito processi di approvazione in azienda sa che l’anello debole è sempre lì: l’approvazione che diventa un timbro automatico perché le richieste sono tante e sembrano tutte ragionevoli. Il rischio comune non è il caso estremo Un’indagine Gravitee su aziende statunitensi riporta che l’82% ha visto agenti AI comportarsi in modo imprevisto negli ultimi dodici mesi: quasi sempre deviazioni banali, non attacchi. Il dato allarmante è un altro: oltre un terzo delle aziende ammette che non saprebbe spegnere immediatamente un agente fuori controllo, e il 36% non ha alcun piano formale di supervisione. Il problema non è che gli agenti diventino cattivi: è che nessuno ha deciso chi li controlla. ## Cinque regole di governance per usare gli agenti senza perderne il controllo Non serve un framework enterprise da centomila euro. Serve trattare l’agente come tratteresti un nuovo assunto a cui non hai ancora dato fiducia piena. Queste sono le regole che applichiamo nei progetti con agenti, in ordine di costo crescente. 1. **Minimo privilegio, come per le persone.** L’agente riceve i permessi necessari al suo compito e nient’altro. Se estrae dati dalle fatture, non ha accesso alla posta. Se scrive bozze, non ha il permesso di inviare. La domanda da fare al fornitore è semplice: “esattamente a quali sistemi può accedere e con quali permessi?”. Se la risposta è vaga, il progetto non è pronto. 2. **Approvazione umana sulle azioni irreversibili.** Pagamenti, invii a clienti, cancellazioni, pubblicazioni, modifiche a sistemi di produzione: passano da una persona. E siccome i test AISI mostrano che l’agente può fare pressione sull’approvatore, l’approvazione va disegnata perché resti una decisione: poche richieste, ben motivate, con il contesto visibile, non una coda di clic. 3. **Registro delle azioni che qualcuno guarda.** Ogni azione dell’agente lascia una traccia consultabile: cosa ha fatto, quando, su quali dati, con quale esito. Il registro che nessuno apre non è governance, è alibi. Basta una revisione settimanale di dieci minuti sulle azioni anomale. 4. **Interruttore documentato.** Chi può fermare l’agente, con quale procedura, e cosa succede ai processi in corso quando viene fermato. Sembra banale finché non serve: più di un terzo delle aziende, dati alla mano, scopre di non avere una risposta il giorno in cui la domanda diventa urgente. 5. **Perimetro chiuso per default.** Un agente che lavora su processi interni non ha bisogno di internet aperto, e un agente che naviga non ha bisogno di accesso ai sistemi interni. Il caso AISI è nato esattamente dall’incrocio dei due: accesso libero alla rete più capacità operative. Separare i perimetri costa una configurazione, non un progetto. ## Cosa c’entra l’AI Act? Gli agenti non hanno un capitolo dedicato nell’AI Act, ma tre pezzi della norma li toccano. Se l’agente interagisce con persone, valgono gli obblighi di trasparenza dell’articolo 50, operativi dal 2 agosto: l’agente deve essere riconoscibile come sistema artificiale (ne ho scritto una guida pratica separata). Se opera in ambiti sensibili (credito, selezione del personale, infrastrutture critiche), può ricadere nella classificazione ad alto rischio, con obblighi di gestione del rischio e sorveglianza umana che assomigliano molto alle cinque regole qui sopra. E a monte, i modelli su cui gli agenti sono costruiti hanno i loro obblighi di sicurezza e documentazione. La convergenza è interessante: quello che la norma chiede per i sistemi ad alto rischio e quello che il buon senso ingegneristico suggerisce dopo il caso AISI sono in gran parte la stessa lista. Chi mette la governance adesso si trova avanti su entrambi i fronti. ## In conclusione Il caso AISI non dice che gli agenti AI sono pericolosi e va tenuto alla larga dal fatalismo quanto dal marketing: dice che un agente con protezioni disattivate, permessi ampi e accesso libero alla rete si comporta come un sistema senza controlli, perché è quello che è. La differenza tra un incidente e un progetto che funziona non sta nel modello scelto ma nel perimetro in cui lo fai lavorare. Tre cose da fare questa settimana se hai agenti in produzione o in arrivo: - Scrivi l’elenco dei sistemi a cui ogni agente ha accesso e chiediti, voce per voce, se serve davvero al compito. - Identifica le azioni irreversibili che l’agente può compiere oggi senza passare da una persona. Se la lista non è vuota, è la priorità. - Rispondi per iscritto alla domanda: “chi spegne l’agente, e come?”. Se la risposta richiede più di cinque minuti per essere trovata, non esiste. Se stai valutando un progetto con agenti e vuoi capire quale perimetro di sicurezza ha senso per il tuo caso, [scriveteci](/contact/): la prima call è gratuita e serve per inquadrare il problema, non per venderti paura. ## Fonti e approfondimenti Fonte Argomento Link SecurityWeek Il report AISI: agenti di Anthropic e OpenAI contro organizzazioni reali nei test [securityweek.com](https://www.securityweek.com/ai-security-institute-reports-anthropic-and-openai-models-going-rogue-against-organizations/?ref=morfex.it) NBC News La ricostruzione del caso e la reazione di OpenAI [nbcnews.com](https://www.nbcnews.com/tech/tech-news/openai-says-ai-models-went-rogue-testing-triggering-unprecedented-brea-rcna588611?ref=morfex.it) CNN Identità false e bersagli reali: i dettagli dell’incidente di sicurezza [cnn.com](https://www.cnn.com/2026/08/04/tech/ai-anthropic-openai-security-breach-intl-hnk?ref=morfex.it) Gravitee Indagine 2026: l’82% delle aziende USA ha visto agenti AI comportarsi in modo imprevisto [einpresswire.com](https://www.einpresswire.com/article/868207113/82-of-u-s-companies-have-seen-ai-agents-go-rogue-in-the-last-12-months-gravitee-reveals?ref=morfex.it) ## Domande frequenti Cosa è successo esattamente nei test dell'AI Security Institute? L'AISI, l'istituto britannico per la sicurezza dell'AI, ha condotto valutazioni su agenti basati sui modelli più avanzati di Anthropic e OpenAI, in un ambiente di laboratorio con i classificatori di sicurezza disattivati e accesso libero a internet. Su 122 esecuzioni della prova, ha registrato 19 azioni non autorizzate concentrate in 10 esecuzioni: 17 attribuite all'agente di Anthropic e 2 a quello di OpenAI. Le azioni includevano la creazione di identità false per ingannare persone reali, la generazione di codice malevolo caricato su GitHub e tentativi di ingegneria sociale verso l'approvatore umano. Non è stato riscontrato alcun danno concreto. Se le protezioni erano state rimosse, il test conta qualcosa per un'azienda normale? Conta, per due motivi. Il primo: il test mostra cosa c'è sotto le protezioni, cioè cosa può fare un agente quando i controlli mancano o vengono aggirati. In azienda le protezioni si indeboliscono per strade banali: una configurazione sbagliata, un permesso concesso per fretta, un fornitore che disattiva un filtro per far funzionare una demo. Il secondo: l'agente ha provato a fare pressione sull'approvatore umano per farsi autorizzare, il che significa che il punto debole non è solo tecnico ma organizzativo. Gli agenti AI che si comportano in modo imprevisto sono un problema raro? No. Un'indagine di Gravitee su aziende statunitensi riporta che l'82% ha osservato agenti AI comportarsi in modo non previsto negli ultimi dodici mesi. Sono quasi sempre deviazioni banali (azioni ripetute, chiamate a sistemi sbagliati, dati toccati fuori perimetro), non attacchi. Ma la stessa ricerca dice che oltre un terzo delle aziende ammette che non saprebbe spegnere immediatamente un agente fuori controllo, e il 36% non ha un piano formale di supervisione. Il problema raro è il comportamento estremo; il problema comune è non avere il controllo. Cosa deve fare concretamente un'azienda che usa o vuole usare agenti AI? Cinque cose, in ordine di costo crescente. Dare a ogni agente il minimo di permessi necessari al compito, come si fa con un nuovo assunto. Mettere un'approvazione umana sulle azioni irreversibili (pagamenti, invii, cancellazioni, pubblicazioni). Tenere un registro delle azioni dell'agente che qualcuno guardi davvero. Avere un interruttore documentato: chi lo preme, come, e cosa succede dopo. E delimitare l'ambiente: un agente che lavora su sistemi interni non deve poter raggiungere internet aperto se il compito non lo richiede. L'AI Act dice qualcosa sugli agenti AI? L'AI Act non ha un capitolo dedicato agli agenti, ma li tocca da più direzioni: gli obblighi di trasparenza dell'articolo 50 se l'agente interagisce con persone, la classificazione ad alto rischio se opera in ambiti sensibili come credito, lavoro o infrastrutture, e gli obblighi sui modelli di uso generale a monte. Per un'azienda il criterio pratico è guardare cosa fa l'agente, non come si chiama: un agente che decide su pratiche di credito è un sistema ad alto rischio, con tutto quello che ne segue. ## Articoli correlati [ AI AI Act, articolo 50: se usi chatbot e contenuti AI, ora devi dirlo AI ### AI Act, articolo 50: se usi chatbot e contenuti AI, ora devi dirlo Dal 2 agosto 2026 l'articolo 50 dell'AI Act è operativo: chatbot dichiarati, contenuti AI etichettati, multe fino a 15 milioni. Checklist per aziende. ](/blog/obblighi-trasparenza-ai-act-2026/)[ AI Tutti parlano di agenti AI, quasi nessuno li usa: il gap che conviene capire AI ### Tutti parlano di agenti AI, quasi nessuno li usa: il gap che conviene capire L'88% delle aziende usa l'AI ma solo il 23% scala gli agenti. Perché l'adozione non decolla e come trasformare il ritardo del mercato in vantaggio. ](/blog/agenti-ai-gap-adozione-aziende/)[ AI ChatGPT Work: OpenAI porta gli agenti dentro Slack, Salesforce e la posta AI ### ChatGPT Work: OpenAI porta gli agenti dentro Slack, Salesforce e la posta ChatGPT Work collega gli agenti a Slack, Salesforce e posta con governance per gli admin. Cosa cambia per le aziende e il confronto con Claude Cowork. ](/blog/chatgpt-work-agenti-azienda/) ## Hai un progetto in mente? Raccontaci il tuo problema e troveremo la soluzione giusta. [Inizia ora →](/contact/)