Mythos, das Modell, das Anthropic zurückhielt
Anthropic kündigte im April ein Modell an, das es nicht öffentlich freigeben wollte. Was Mythos ist, was danach geschah und was es bedeutet.
Die meisten KI-Modelle werden an dem Tag angekündigt, an dem alle sie nutzen können. Bei Claude Mythos war es anders. Im April beschrieb Anthropic ein Modell, das nach eigenen Angaben Schwachstellen in Software besser finden und ausnutzen kann als alle ausser den versiertesten Fachleuten, und erklärte, es werde nicht allgemein verfügbar sein.
Sechs Monate später ist eine abgesicherte Version frei erhältlich, nachdem ein Schreiben der Regierung sie im Juni fast drei Wochen lang vom Netz genommen hatte, und die Frage, die sie aufwarf, ist weiter offen: Wer entscheidet, wann ein Modell zu leistungsfähig ist, um es zu verkaufen? Hier steht, was passiert ist und was wir daraus mitnehmen.
Erst ein Leck, dann eine Warnung
Seine Existenz wurde durch einen Zufall öffentlich. Am 26. März berichtete Fortune, Anthropic habe unveröffentlichte Entwürfe in einem öffentlich durchsuchbaren Datenspeicher liegen lassen. In einem davon hiess es, Mythos sei «mit Abstand das leistungsfähigste KI-Modell, das wir je entwickelt haben», teuer im Betrieb und noch nicht bereit für eine allgemeine Veröffentlichung. Anthropic bestätigte die Arbeit und nannte das Modell «einen Qualitätssprung und das leistungsfähigste, das wir bisher gebaut haben».
Am 7. April stellte es Claude Mythos Preview zusammen mit Project Glasswing vor, einem Programm, das Modell für die Verteidigung einzusetzen. Zu den ersten Partnern gehörten Amazon Web Services, Apple, CrowdStrike, Google, JPMorganChase, die Linux Foundation und Microsoft, und mehr als 40 weitere Organisationen, die kritische Software pflegen, erhielten Zugang. Anthropic sagte Nutzungsguthaben von bis zu 100 Millionen Dollar zu; danach zahlen die Partner 25 Dollar pro Million Input-Tokens und 125 Dollar pro Million Output-Tokens.
Die Beispiele waren konkret: eine 27 Jahre alte Lücke in OpenBSD, mit der ein Angreifer einen Rechner aus der Ferne zum Absturz bringen konnte, eine 16 Jahre alte Lücke in FFmpeg und eine Kette von Lücken im Linux-Kernel, die zur vollen Kontrolle über einen Rechner führte. Alle wurden gemeldet und behoben. Den Grund für die Zurückhaltung nannte Anthropic ohne Umschweife: «Wir planen nicht, Claude Mythos Preview allgemein verfügbar zu machen.» Sollten sich solche Fähigkeiten verbreiten, so argumentierte das Unternehmen, könnten die Folgen für Volkswirtschaften, die öffentliche Sicherheit und die nationale Sicherheit gravierend sein.
Was andere herausfanden
Das britische AI Security Institute testete das Modell innerhalb einer Woche. Es war das erste Modell, das den simulierten Angriff des Instituts auf ein Firmennetz mit 32 Schritten von Anfang bis Ende durchlief, in 3 von 10 Versuchen, und es kam im Schnitt auf 22 Schritte, wo das nächstbeste Modell 16 schaffte. Das Institut fügte einen wichtigen Vorbehalt an: Seine Testnetze hatten keine aktiven Verteidiger, deshalb «können wir nicht mit Sicherheit sagen, ob Mythos Preview gut verteidigte Systeme angreifen könnte».
Andere stellten infrage, wie exklusiv diese Fähigkeit ist. Am Tag der Vorstellung gab Stanislav Fort vom Sicherheitsunternehmen AISLE den verwundbaren Code aus Anthropics Beispielen an kleine, günstige Modelle. Alle acht fanden die FreeBSD-Lücke, die Anthropic vorgeführt hatte, darunter eines mit 3,6 Milliarden aktiven Parametern, allerdings bekamen sie die richtige Funktion direkt vorgelegt. Sein Schluss: Der Vorsprung liegt eher im System rund um ein Modell als in einem einzelnen Modell.
Zudem hat sich gezeigt, dass Finden leichter ist als Beheben. Anthropic sagt, die Glasswing-Partner hätten zwischen April und Juli mindestens 129'000 verifizierte Schwachstellen gefunden. Im September prüfte Patrick Garrity von VulnCheck die 26'153 Funde, die Anthropic aus seinen eigenen Scans für sich beansprucht: Etwa jeder zehnte war im öffentlichen Offenlegungsregister des Unternehmens angekommen, und weniger als einer von hundert war als behoben markiert. «Die Belege treffen allmählich ein, sie gehen nur nicht auf», schrieb er.
Fable und die Abschaltung
Am 9. Juni veröffentlichte Anthropic Claude Fable 5, «ein Modell der Mythos-Klasse, das wir für den allgemeinen Gebrauch sicher gemacht haben», und für seine Glasswing-Partner Mythos 5. Beide sind dasselbe Modell mit unterschiedlichen Schutzmechanismen. Bei Fable achten separate Klassifikatoren auf Anfragen zu Cyberangriffen, Biologie und Chemie sowie auf Versuche, das Modell zu kopieren, und übergeben sie an ein älteres Claude-Modell.
Drei Tage später schrieb das US-Handelsministerium an Anthropic, jede ausländische Person, ob innerhalb oder ausserhalb der Vereinigten Staaten und einschliesslich der eigenen Mitarbeitenden von Anthropic, brauche nun eine Exportlizenz, um eines der beiden Modelle zu nutzen. Forschende bei Amazon hatten Berichten zufolge einen Weg um die Leitplanken von Fable gefunden. Anthropic konnte nicht die Staatsangehörigkeit jedes Nutzers prüfen und schrieb deshalb, es müsse «Fable 5 und Mythos 5 abrupt für alle unsere Kunden abschalten». Fachleute des CSIS bezweifelten die rechtliche Grundlage, da nichts verschickt wird: Die Nutzer greifen auf das Modell auf den Servern von Anthropic zu.
Am 30. Juni hob das Handelsministerium die Kontrollen auf. Im Gegenzug, so berichtete Al Jazeera, verpflichtete sich Anthropic, Sicherheitsrisiken zu erkennen und anzugehen, Standards für künftige Modelle mitzugestalten und bösartige Aktivitäten zu melden. Beide Modelle kehrten am 1. Juli zurück. Am 1. September folgte Version 5.1, wobei Mythos 5.1 nur verifizierten Organisationen offensteht, bisher in den USA. Am 6. Oktober überführte Anthropic Glasswing in ein breiteres Cyber Verification Program mit drei Stufen, und jeder Antrag für die höchste Stufe wird gemeinsam mit der US-Regierung geprüft.
Warum es so gehandhabt wurde
Anthropics erklärter Grund lautet, dass die Fähigkeiten den Schutzmechanismen vorausgeeilt waren. «Modelle der Mythos-Klasse haben eine Schwelle erreicht, ab der sie erhebliche Risiken bergen», schrieb das Unternehmen zum Start von Fable, und seine Antwort war eine Abfolge: zuerst die Verteidiger, dann die Klassifikatoren, zuletzt eine abgesicherte allgemeine Veröffentlichung. Im September ging Anthropics Chef Dario Amodei weiter: «Wir müssen das Tempo verlangsamen, mit dem wir die Fähigkeiten von KI-Modellen verbessern.»
Es ist nicht mehr der Weg eines einzelnen Unternehmens. Als OpenAI im September GPT-6 Astra veröffentlichte, war es das erste OpenAI-Modell, das die eigene «kritische Schwelle für Cybersicherheitsfähigkeiten» erreichte, und es ging an Cyberverteidiger, bevor alle anderen es bekamen. Gestaffelter Zugang nach Vertrauen wird zum üblichen Weg, die stärksten Modelle zu veröffentlichen.
Was es für ein Unternehmen bedeutet
Daraus folgen drei Dinge. Die besten Modelle gibt es inzwischen in Vertrauensstufen, und die öffentliche Version gibt manche Fragen womöglich an ein älteres Modell ab. Ein Modell kann über Nacht verschwinden, aus Gründen, die nichts mit Ihnen zu tun haben: Am 12. Juni verloren alle Fable-Kunden es am selben Tag. Und Schwachstellen zu finden ist inzwischen der günstige Teil der Sicherheit. Das Beheben ist der schwierige Teil, weshalb der Rat des Instituts an Unternehmen unspektakulär ausfällt: zeitnahe Updates, strenge Zugriffskontrollen, sichere Konfiguration und gute Protokollierung.
Deshalb halten wir das Wissen eines Unternehmens ausserhalb jedes einzelnen Modells, in Twin, und deshalb setzen wir für kritische Arbeit auf Eigna: ein privates, eigenes Modell des Unternehmens, gebaut von unserem Partner Eigna Labs, betrieben in der eigenen Cloud oder auf den eigenen Servern und ausgelegt für den Offline-Betrieb in geschlossenen Netzen. Es wird nicht bei jeder Aufgabe mit einem Spitzenmodell mithalten, und für die meiste vertrauliche Arbeit muss es das auch nicht. Ein Modell, das auf Ihrer eigenen Hardware läuft, verschwindet nicht, weil ein Lieferant einen Brief erhält.
