Il 21 luglio OpenAI e Hugging Face hanno raccontato insieme un incidente che nel giro di poche ore era già stato riassunto male ovunque.

OpenAI stava misurando quanto i propri modelli siano bravi in operazioni offensive di sicurezza informatica (qui il benchmark). Ambiente chiuso, bersagli finti, un contatore di quanti ne violano. L'unica apertura verso l'esterno era un intermediario interno per scaricare pacchetti software, un proxy di pacchetti.

I modelli hanno speso una quantità notevole di calcolo per cercare un modo di uscire, e l'hanno trovato in un difetto mai documentato prima proprio in quel proxy. Da lì si sono spostati di macchina in macchina dentro la rete di ricerca finché non ne hanno raggiunta una collegata a internet, poi hanno ragionato che le soluzioni del test potessero stare da qualche parte su Hugging Face, che è il posto dove il mondo dell'AI deposita modelli e dataset. Ci sono arrivati combinando credenziali rubate e un secondo difetto sconosciuto, e hanno letto le risposte dal database di produzione.

Da lì in poi il fatto conta meno di come lo si racconta. La versione che gira è che un modello è diventato pericoloso e ha attaccato un'azienda. Quella consolatoria, che si sente da chi mastica un po' la materia, è che l'ambiente avesse lasciato una porta aperta e che basti chiuderla. Nessuna delle due regge. La porta era chiusa, e il sistema si è fabbricato un'uscita.

Prima di ricavarne una morale conviene stabilire cosa era stato tolto, perché le divulgazioni ufficiali distinguono tre cose che quasi tutti i commenti hanno impastato in una. I refusal in ambito cyber erano attenuati, cioè quella risposta appresa per cui un sistema si tira indietro davanti a una richiesta pericolosa, e siccome il refusal si acquisisce in addestramento quell'intervento tocca il modello. I classificatori di produzione erano spenti, e sono programmi separati che guardano cosa sta facendo il sistema e lo fermano, quindi lì si tocca la sorveglianza. Le protezioni previste per l'uso reale erano disabilitate, e quelle agiscono sull'ambiente di esecuzione. Rimettere i primi cambia quanto il sistema sia incline a provarci, i secondi la probabilità che qualcuno se ne accorga, le terze se ci riesca. Liquidare tutto con "avevano spento i guardrail" butta via l'unica informazione utile a decidere cosa fare lunedì mattina.

Resta un quarto elemento, ed è quello che nessuno aveva concesso. Trovare una vulnerabilità che non aveva mai visto nessuno non è un permesso, è una competenza.

Il comportamento agentico nasce dalla composizione di quattro strati: la competenza del modello, la sua disposizione, la sorveglianza esterna e l'ambiente. Il dibattito pubblico ne nomina uno solo, il primo, che è anche l'unico sul quale chi utilizza questi sistemi non esercita un controllo diretto. Questa asimmetria è destinata a persistere anche con i modelli open: la possibilità di eseguirli localmente non implica il controllo del processo di addestramento originario che ne ha determinato le capacità fondamentali e gran parte del comportamento. Il fine-tuning offre certamente un margine di intervento, ma non equivale a ricostruire o governare il processo di addestramento e di allineamento da cui il modello deriva tali capacità. Nei modelli con prestazioni comparabili a quelle dei sistemi di frontiera, interventi di questo tipo rimangono appannaggio di un numero ristretto di attori, in grado di sostenere i costi computazionali, la disponibilità di dati e le competenze necessarie. Per la maggior parte di chi progetta sistemi agentici, il primo strato continua quindi a costituire un vincolo, mentre gli altri tre rappresentano il principale spazio di progetto.

Gli altri tre (disposizione, sorveglianza e ambiente), presi insieme, sono una cosa che ha un nome antico. Un'istituzione. E le istituzioni si studiano da un secolo con strumenti che l'informatica non ha ancora ben preso in prestito. Robert Merton le analizzava separando quello che dichiarano di fare da quello che producono davvero, e chiamava funzioni latenti gli effetti che generano con regolarità senza che nessuno li abbia voluti. Lo statuto dichiarato di quell'ambiente era misurare una capacità. La funzione effettiva è stata una caccia a qualunque percorso portasse al punteggio, compreso quello che passava dal database di un'altra azienda.

Qui emerge quella che sembra essere la principale difficoltà concettuale. Reciprocità, reputazione e sanzioni graduate funzionano sugli esseri umani per un motivo banale: gli esseri umani persistono nel tempo. Un agente istanziato per una sessione di valutazione, invece, no. Finita la sessione, il contesto evapora e non esiste un domani in cui pagare il conto di oggi. Applicargli sanzioni reputazionali non è difficile: è privo di senso (ad oggi!).

E qui il ragionamento si ribalta. Se le istituzioni servono ad attori che persistono, l'istituzione da progettare non è quella attorno all'agente, è quella attorno al laboratorio. Chi risponde davvero a reputazione e sanzioni sono le organizzazioni che costruiscono questi ambienti, i team che decidono quali vincoli allentare, le persone che scelgono se pubblicare un incidente o insabbiarlo.

Il che riporta alla parte della storia che quasi tutti hanno saltato. La cosa più significativa di luglio non è che un modello sia uscito da una sandbox. È che due concorrenti commerciali abbiano indagato insieme (o stiano provando a farlo), coordinato la riparazione con il fornitore del componente difettoso e raccontato tutto in pubblico. Il livello dove l'istituzione ha tenuto è esattamente quello popolato da attori che avranno un domani (o che ci tengono ad averlo).

La domanda, allora, non è più "quanto sia capace il modello". È quale configurazione, a parità di capacità, produca un certo comportamento, e chi abbia deciso di adottarla. Rimane però scoperto il caso limite: quello di chi, nella stanza, sa smontare i muri e non ha alcun futuro da proteggere. Forse una parte della risposta passa per agenti dotati di una memoria sufficientemente lunga da poter essere ritenuti responsabili delle proprie scelte. Ma questa è un’altra storia, e sospetto che la memoria, da sola, non basti.

Se l’argomento ti incuriosisce, ho scritto un paper di prospettiva, Synthetic Institutionalism: Agentic AI Behaviour as a Property of Artificial Institutions. Il lavoro propone di studiare il comportamento degli agenti AI non come semplice proprietà del modello, ma come risultato dell'intero sistema istituzionale in cui operano: obiettivi, incentivi, memoria, strumenti, permessi, controlli e ambiente. Applicando concetti dell'antropologia istituzionale e i principi di Elinor Ostrom, il paper interpreta fenomeni come reward hacking e specification gaming come conseguenze prevedibili del design dell'harness. Propone inoltre uno standard di trasparenza e nuovi esperimenti per capire quali elementi influenzino il comportamento degli agenti. Spiega anche perché il sistema debba ricordarne identità e reputazione, così da premiare la collaborazione e attribuire conseguenze ai comportamenti scorretti.