Mythos, modellen som Anthropic höll tillbaka

De flesta AI-modeller presenteras samma dag som vem som helst kan börja använda dem. Så var det inte med Claude Mythos. I april beskrev Anthropic en modell som enligt bolaget kunde hitta och utnyttja brister i mjukvara bättre än alla utom de allra skickligaste människorna, och meddelade att den inte skulle bli allmänt tillgänglig.

Ett halvår senare säljs en skyddad version fritt, sedan ett brev från regeringen i juni tvingade den offline i nästan tre veckor, och frågan den väckte är fortfarande öppen: vem avgör när en modell är för kapabel för att säljas. Här är vad som hände, och vad vi tar med oss.

Först en läcka, sedan en varning

Att modellen fanns blev känt av en slump. Den 26 mars rapporterade Fortune att Anthropic hade lämnat opublicerade utkast i ett offentligt sökbart datalager. I ett av dem kallades Mythos ”den överlägset mest kraftfulla AI-modell vi någonsin har utvecklat”, och där stod att den var dyr att köra och inte redo att släppas brett. Anthropic bekräftade arbetet och kallade modellen ”ett språng och den mest kapabla vi har byggt hittills”.

Den 7 april presenterade bolaget Claude Mythos Preview tillsammans med Project Glasswing, ett program för att använda modellen i defensivt syfte. Bland partnerna vid lanseringen fanns Amazon Web Services, Apple, CrowdStrike, Google, JPMorganChase, Linux Foundation och Microsoft, och fler än 40 andra organisationer som underhåller kritisk mjukvara fick tillgång. Anthropic utlovade upp till 100 miljoner dollar i användningskrediter; därefter betalar partnerna 25 dollar per miljon tokens indata och 125 dollar per miljon tokens utdata.

Exemplen var konkreta: en 27 år gammal brist i OpenBSD som lät en angripare krascha en maskin på distans, en 16 år gammal brist i FFmpeg och en kedja av brister i Linuxkärnan som gav full kontroll över en maskin. Alla rapporterades och täpptes till. Skälet till att hålla tillbaka modellen sades rakt ut: ”Vi planerar inte att göra Claude Mythos Preview allmänt tillgänglig.” Om sådana förmågor spreds, menade Anthropic, kunde följderna för ekonomier, allmän säkerhet och nationell säkerhet bli allvarliga.

Vad andra kom fram till

Brittiska AI Security Institute testade modellen inom en vecka. Den blev den första modellen som tog sig igenom institutets simulerade attack i 32 steg mot ett företagsnätverk från början till slut, i 3 av 10 försök, och klarade i snitt 22 steg där den näst bästa modellen nådde 16. Institutet lade till en reservation som spelar roll: testnätverken hade inga aktiva försvarare, så ”vi kan inte med säkerhet säga om Mythos Preview skulle kunna angripa välförsvarade system”.

Andra ifrågasatte hur exklusiv förmågan egentligen är. Samma dag som lanseringen gav Stanislav Fort på säkerhetsföretaget AISLE den sårbara koden från Anthropics exempel till små och billiga modeller. Alla åtta hittade FreeBSD-bristen som Anthropic hade lyft fram, även en med 3,6 miljarder aktiva parametrar, fast de fick rätt funktion serverad direkt. Hans slutsats: fördelen ligger mer i systemet runt en modell än i någon enskild modell.

Att hitta har också visat sig vara lättare än att laga. Anthropic uppger att Glasswing-partnerna hittade minst 129'000 verifierade sårbarheter mellan april och juli. I september granskade Patrick Garrity på VulnCheck de 26'153 fynd som Anthropic säger kommer från den egna skanningen: ungefär ett av tio hade nått bolagets offentliga register över rapporterade sårbarheter, och färre än ett av hundra var markerade som åtgärdade. ”Kvittona börjar droppa in, de går bara inte ihop”, skrev han.

Fable, och en avstängning

Den 9 juni släppte Anthropic Claude Fable 5, ”en modell i Mythos-klassen som vi har gjort säker för allmän användning”, och Mythos 5 för sina Glasswing-partner. Det är samma modell med olika skydd. I Fable bevakar separata klassificerare förfrågningar om cyberattacker, biologi och kemi samt försök att kopiera modellen, och lämnar över dem till en äldre Claude-modell.

Tre dagar senare skrev USA:s handelsdepartement till Anthropic att varje utländsk person, inom eller utanför USA och inklusive Anthropics egen personal, nu behövde exportlicens för att använda någon av modellerna. Forskare på Amazon hade enligt uppgift hittat ett sätt att ta sig förbi Fables skyddsräcken. Anthropic kunde inte kontrollera varje användares nationalitet och skrev därför att bolaget måste ”tvärt stänga av Fable 5 och Mythos 5 för alla våra kunder”. Analytiker på CSIS ifrågasatte den rättsliga grunden, eftersom ingenting skickas någonstans: användarna når modellen på Anthropics servrar.

Den 30 juni hävde handelsdepartementet kontrollerna. I gengäld, rapporterade Al Jazeera, gick Anthropic med på att upptäcka och hantera säkerhetsrisker, hjälpa till att ta fram standarder för framtida modeller och rapportera skadlig aktivitet. Båda modellerna kom tillbaka den 1 juli. Version 5.1 följde den 1 september, med Mythos 5.1 öppen bara för verifierade organisationer, hittills i USA. Den 6 oktober förde Anthropic in Glasswing i ett bredare Cyber Verification Program med tre nivåer, och varje sökande till den högsta nivån granskas tillsammans med den amerikanska regeringen.

Varför det sköttes så här

Anthropics uttalade skäl är att förmågan sprang ifrån skydden. ”Modeller i Mythos-klassen har nått en tröskel där de innebär betydande risker”, skrev bolaget när Fable lanserades, och svaret blev en ordningsföljd: försvararna först, klassificerarna sedan, en skyddad allmän lansering sist. I september gick vd:n Dario Amodei längre: ”Vi måste sakta ner takten i hur vi förbättrar AI-modellernas förmågor.”

Det är inte längre ett enskilt bolags väg. När OpenAI släppte GPT-6 Astra i september var det den första OpenAI-modellen som nådde bolagets egen ”kritiska tröskel för cybersäkerhetsförmåga”, och den gick till cyberförsvarare före alla andra. Stegvis tillgång efter förtroende håller på att bli det normala sättet att släppa de starkaste modellerna.

Vad det betyder för ett företag

Tre saker följer av detta. De bästa modellerna kommer nu i nivåer av förtroende, och den publika versionen kan lämna över vissa frågor till en äldre modell. En modell kan försvinna över en natt av skäl som inte har med dig att göra: den 12 juni förlorade varje Fable-kund den samma dag. Och att hitta brister är nu den billiga delen av säkerheten. Att täppa till dem är den svåra delen, och därför är institutets råd till företag föga glamorösa: uppdateringar i tid, stark behörighetskontroll, säker konfiguration och bra loggning.

Därför håller vi ett företags kunskap utanför varje enskild modell, i Twin, och därför tar vi in Eigna för kritiskt arbete: en privat modell som företaget äger själv, byggd av vår partner Eigna Labs, som körs i företagets eget moln eller på dess egna servrar och är gjord för att köras offline i slutna nätverk. Den kommer inte att matcha de ledande modellerna i varje uppgift, och för det mesta konfidentiella arbete behöver den inte det. En modell som körs på din egen hårdvara försvinner inte för att en leverantör får ett brev.