Mythos, il modello che Anthropic ha tenuto per sé

La maggior parte dei modelli di IA viene annunciata il giorno in cui chiunque può usarli. Con Claude Mythos non è andata così. Ad aprile Anthropic ha descritto un modello che, a suo dire, sapeva trovare e sfruttare le falle del software meglio di chiunque, salvo le persone più esperte, e ha detto che non lo avrebbe messo a disposizione di tutti.

Sei mesi dopo una versione protetta è in vendita per tutti, dopo che a giugno una lettera del governo l’aveva messa fuori servizio per quasi tre settimane, e la domanda che ha sollevato è ancora aperta: chi decide quando un modello è troppo capace per essere venduto. Ecco che cosa è successo e che cosa ne ricaviamo.

Una fuga di notizie, poi un avvertimento

La sua esistenza è diventata pubblica per caso. Il 26 marzo Fortune ha riferito che Anthropic aveva lasciato bozze non pubblicate in un archivio di dati consultabile da chiunque. Una di queste definiva Mythos «di gran lunga il modello di IA più potente che abbiamo mai sviluppato» e diceva che era costoso da far girare e non ancora pronto per un rilascio generale. Anthropic ha confermato il lavoro e ha definito il modello «un salto di qualità e il più capace che abbiamo costruito finora».

Il 7 aprile ha presentato Claude Mythos Preview insieme a Project Glasswing, un programma per usare il modello a scopo difensivo. Tra i partner di lancio c’erano Amazon Web Services, Apple, CrowdStrike, Google, JPMorganChase, la Linux Foundation e Microsoft, e oltre 40 altre organizzazioni che gestiscono software critico hanno ricevuto l’accesso. Anthropic si è impegnata a mettere a disposizione fino a 100 milioni di dollari in crediti d’uso; dopodiché i partner pagano 25 dollari per milione di token in input e 125 dollari per milione di token in output.

I suoi esempi erano concreti: una falla vecchia di 27 anni in OpenBSD che permetteva a un attaccante di mandare in crash una macchina a distanza, una falla di 16 anni in FFmpeg e una catena di falle nel kernel Linux che portava al pieno controllo di una macchina. Tutte sono state segnalate e corrette. Il motivo per trattenere il modello è stato detto senza giri di parole: «Non prevediamo di rendere Claude Mythos Preview disponibile a tutti». Se capacità del genere si diffondessero, sosteneva Anthropic, le ricadute per le economie, la sicurezza pubblica e la sicurezza nazionale potrebbero essere gravi.

Che cosa hanno scoperto gli altri

L’AI Security Institute britannico ha testato il modello nel giro di una settimana. È diventato il primo modello a portare a termine dall’inizio alla fine l’attacco simulato in 32 passaggi con cui l’istituto colpisce una rete aziendale, in 3 tentativi su 10, con una media di 22 passaggi contro i 16 del secondo miglior modello. L’istituto ha aggiunto una precisazione che conta: le sue reti di prova non avevano difensori attivi, quindi «non possiamo dire con certezza se Mythos Preview sarebbe in grado di attaccare sistemi ben difesi».

Altri si sono chiesti quanto questa capacità sia davvero esclusiva. Il giorno del lancio Stanislav Fort, dell’azienda di sicurezza AISLE, ha dato il codice vulnerabile degli esempi di Anthropic a modelli piccoli ed economici. Tutti e otto hanno trovato la falla di FreeBSD che Anthropic aveva messo in vetrina, compreso uno con 3,6 miliardi di parametri attivi, anche se avevano ricevuto direttamente la funzione giusta. La sua conclusione: il vantaggio sta più nel sistema costruito attorno a un modello che in un singolo modello.

Trovare, poi, si è rivelato più facile che correggere. Anthropic dice che i partner di Glasswing hanno individuato almeno 129'000 vulnerabilità verificate tra aprile e luglio. A settembre Patrick Garrity di VulnCheck ha controllato le 26'153 scoperte che Anthropic attribuisce alle proprie scansioni: circa una su dieci era arrivata nel suo registro pubblico delle divulgazioni, e meno di una su cento risultava corretta. «Le ricevute cominciano ad arrivare col contagocce, solo che i conti non tornano», ha scritto.

Fable, e uno spegnimento

Il 9 giugno Anthropic ha rilasciato Claude Fable 5, «un modello di classe Mythos che abbiamo reso sicuro per l’uso generale», e Mythos 5 per i suoi partner di Glasswing. Sono lo stesso modello con protezioni diverse. In Fable, classificatori separati intercettano le richieste su attacchi informatici, biologia e chimica, e i tentativi di copiare il modello, e le passano a un modello Claude più vecchio.

Tre giorni dopo il Dipartimento del Commercio degli Stati Uniti ha scritto ad Anthropic che qualsiasi persona straniera, dentro o fuori gli Stati Uniti e compreso il personale stesso di Anthropic, aveva ora bisogno di una licenza di esportazione per usare uno dei due modelli. A quanto riferito, alcuni ricercatori di Amazon avevano trovato un modo per aggirare le protezioni di Fable. Anthropic non poteva verificare la nazionalità di ogni utente, così ha scritto di dover «disattivare all’improvviso Fable 5 e Mythos 5 per tutti i nostri clienti». Gli analisti del CSIS hanno messo in dubbio la base giuridica, dato che nulla viene spedito: gli utenti raggiungono il modello sui server di Anthropic.

Il 30 giugno il Dipartimento del Commercio ha revocato i controlli. In cambio, ha riferito Al Jazeera, Anthropic si è impegnata a individuare e affrontare i rischi per la sicurezza, ad aiutare a definire gli standard per i modelli futuri e a segnalare le attività malevole. Entrambi i modelli sono tornati il 1° luglio. La versione 5.1 è seguita il 1° settembre, con Mythos 5.1 aperto solo alle organizzazioni verificate, per ora negli Stati Uniti. Il 6 ottobre Anthropic ha fatto confluire Glasswing in un più ampio Cyber Verification Program su tre livelli, e ogni candidatura per il livello più alto viene esaminata insieme al governo statunitense.

Perché è stato gestito così

La ragione dichiarata da Anthropic è che le capacità hanno corso più delle protezioni. «I modelli di classe Mythos hanno raggiunto una soglia oltre la quale presentano rischi significativi», ha scritto al lancio di Fable, e la sua risposta è stata una sequenza: prima i difensori, poi i classificatori, infine un rilascio generale protetto. A settembre il suo amministratore delegato, Dario Amodei, si è spinto oltre: «Dobbiamo rallentare il ritmo con cui miglioriamo le capacità dei modelli di IA».

Non è più la strada di una sola azienda. Quando a settembre OpenAI ha rilasciato GPT-6 Astra, è stato il primo modello di OpenAI a raggiungere la propria «soglia critica di capacità nella cybersicurezza», ed è andato ai difensori informatici prima che a chiunque altro. L’accesso graduale in base alla fiducia sta diventando il modo normale di rilasciare i modelli più potenti.

Che cosa significa per un’azienda

Ne derivano tre cose. I modelli migliori ora vengono offerti per livelli di fiducia, e la versione pubblica può passare alcune domande a un modello più vecchio. Un modello può sparire da un giorno all’altro per ragioni che non hanno nulla a che fare con voi: il 12 giugno tutti i clienti di Fable lo hanno perso nello stesso giorno. E trovare le falle è ormai la parte economica della sicurezza. Correggerle è la parte difficile, ed è per questo che il consiglio dell’istituto alle aziende è poco spettacolare: aggiornamenti tempestivi, controlli di accesso rigorosi, configurazione sicura e una buona registrazione dei log.

È per questo che teniamo la conoscenza di un’azienda fuori da qualsiasi singolo modello, in Twin, e che per il lavoro critico portiamo Eigna: un modello privato di proprietà dell’azienda, realizzato dal nostro partner Eigna Labs, in esecuzione nel suo cloud o sui suoi server e pensato per funzionare offline in reti chiuse. Non eguaglierà un modello di frontiera in ogni compito, e per la maggior parte del lavoro riservato non serve. Un modello che gira sul vostro hardware non svanisce perché un fornitore riceve una lettera.