Mythos, o modelo que a Anthropic segurou

A maioria dos modelos de IA é anunciada no dia em que qualquer pessoa pode usá-los. O Claude Mythos, não. Em abril, a Anthropic descreveu um modelo que, segundo ela, conseguia encontrar e explorar falhas de software melhor do que quase todas as pessoas, com exceção das mais habilidosas, e disse que não o disponibilizaria para o público em geral.

Seis meses depois, uma versão protegida está à venda para todos, depois que uma carta do governo o tirou do ar por quase três semanas em junho, e a pergunta que ele levantou continua em aberto: quem decide quando um modelo é capaz demais para ser vendido. Veja o que aconteceu e o que tiramos disso.

Um vazamento, depois um alerta

A existência dele veio a público por acidente. Em 26 de março, a Fortune noticiou que a Anthropic havia deixado rascunhos não publicados em um repositório de dados que podia ser pesquisado publicamente. Um deles chamava o Mythos de “de longe o modelo de IA mais poderoso que já desenvolvemos” e dizia que ele era caro de operar e não estava pronto para um lançamento geral. A Anthropic confirmou o trabalho e chamou o modelo de “um salto e o mais capaz que construímos até hoje.”

Em 7 de abril, apresentou o Claude Mythos Preview junto com o Project Glasswing, um programa para usar o modelo na defesa. Entre os parceiros de lançamento estavam Amazon Web Services, Apple, CrowdStrike, Google, JPMorganChase, a Linux Foundation e a Microsoft, e mais de 40 outras organizações que mantêm software crítico receberam acesso. A Anthropic comprometeu até 100 milhões de dólares em créditos de uso; depois disso, os parceiros pagam 25 dólares por milhão de tokens de entrada e 125 dólares por milhão de tokens de saída.

Os exemplos eram concretos: uma falha de 27 anos no OpenBSD que permitia a um atacante derrubar uma máquina remotamente, uma falha de 16 anos no FFmpeg e uma cadeia de falhas no kernel do Linux que levava ao controle total de uma máquina. Todas foram relatadas e corrigidas. O motivo para segurar o modelo foi dito com clareza: “Não planejamos disponibilizar o Claude Mythos Preview para o público em geral.” Se capacidades assim se espalhassem, argumentou a Anthropic, as consequências para as economias, a segurança pública e a segurança nacional poderiam ser graves.

O que outros encontraram

O UK AI Security Institute testou o modelo em menos de uma semana. Ele se tornou o primeiro modelo a concluir do início ao fim o ataque simulado de 32 etapas do instituto contra uma rede corporativa, em 3 de 10 tentativas, e teve uma média de 22 etapas, enquanto o segundo melhor modelo chegou a 16. O instituto acrescentou uma ressalva que importa: suas redes de teste não tinham defensores ativos, então “não podemos afirmar com certeza se o Mythos Preview conseguiria atacar sistemas bem defendidos.”

Outros questionaram quão exclusiva é essa capacidade. No dia do lançamento, Stanislav Fort, da empresa de segurança AISLE, deu o código vulnerável dos exemplos da Anthropic a modelos pequenos e baratos. Todos os oito encontraram a falha do FreeBSD que a Anthropic havia apresentado, incluindo um com 3,6 bilhões de parâmetros ativos, embora tenham recebido diretamente a função certa. A conclusão dele: a vantagem está mais no sistema em torno de um modelo do que em qualquer modelo isolado.

Encontrar também se mostrou mais fácil do que corrigir. A Anthropic diz que os parceiros do Glasswing encontraram pelo menos 129'000 vulnerabilidades verificadas entre abril e julho. Em setembro, Patrick Garrity, da VulnCheck, conferiu as 26'153 descobertas que a Anthropic atribui à própria varredura: cerca de uma em cada dez havia chegado ao seu registro público de divulgação, e menos de uma em cada cem estava marcada como corrigida. “Os comprovantes estão começando a aparecer, só que não batem”, escreveu.

Fable, e um desligamento

Em 9 de junho, a Anthropic lançou o Claude Fable 5, “um modelo da classe Mythos que tornamos seguro para uso geral,” e o Mythos 5 para os parceiros do Glasswing. São o mesmo modelo com salvaguardas diferentes. No Fable, classificadores separados ficam atentos a pedidos sobre ataques cibernéticos, biologia e química e a tentativas de copiar o modelo, e os repassam a um modelo Claude mais antigo.

Três dias depois, o Departamento de Comércio dos EUA escreveu à Anthropic que qualquer pessoa estrangeira, dentro ou fora dos Estados Unidos, incluindo os próprios funcionários da Anthropic, passava a precisar de uma licença de exportação para usar qualquer um dos dois modelos. Pesquisadores da Amazon teriam encontrado uma forma de contornar as proteções do Fable. A Anthropic não tinha como verificar a nacionalidade de cada usuário, então escreveu que precisava “desativar abruptamente o Fable 5 e o Mythos 5 para todos os nossos clientes.” Analistas do CSIS questionaram a base legal, já que nada é enviado: os usuários acessam o modelo nos servidores da Anthropic.

Em 30 de junho, o Departamento de Comércio suspendeu os controles. Em troca, segundo a Al Jazeera, a Anthropic se comprometeu a detectar e tratar riscos de segurança, a ajudar a definir padrões para modelos futuros e a relatar atividades maliciosas. Os dois modelos voltaram em 1º de julho. A versão 5.1 veio em 1º de setembro, com o Mythos 5.1 aberto apenas a organizações verificadas, por enquanto nos EUA. Em 6 de outubro, a Anthropic incorporou o Glasswing a um Cyber Verification Program mais amplo, com três níveis, e todo candidato ao nível mais alto é avaliado junto com o governo dos EUA.

Por que foi feito assim

O motivo declarado pela Anthropic é que a capacidade avançou mais depressa do que as salvaguardas. “Os modelos da classe Mythos chegaram a um patamar em que apresentam riscos significativos”, escreveu quando o Fable foi lançado, e sua resposta foi uma sequência: primeiro os defensores, depois os classificadores, por último um lançamento geral protegido. Em setembro, o CEO, Dario Amodei, foi além: “Precisamos desacelerar o ritmo com que melhoramos as capacidades dos modelos de IA.”

Já não é o caminho de uma só empresa. Quando a OpenAI lançou o GPT-6 Astra em setembro, ele foi o primeiro modelo da OpenAI a atingir o seu próprio “patamar crítico de capacidade em cibersegurança”, e foi para os defensores cibernéticos antes de qualquer outra pessoa. O acesso escalonado por nível de confiança está se tornando a forma normal de lançar os modelos mais fortes.

O que isso significa para uma empresa

Daí decorrem três coisas. Os melhores modelos agora vêm em níveis de confiança, e a versão pública pode repassar algumas perguntas a um modelo mais antigo. Um modelo pode desaparecer da noite para o dia por motivos que nada têm a ver com você: em 12 de junho, todos os clientes do Fable o perderam no mesmo dia. E encontrar falhas agora é a parte barata da segurança. Corrigi-las é a parte difícil, e é por isso que o conselho do instituto às empresas não tem glamour: atualizações em dia, controles de acesso fortes, configuração segura e bons registros de log.

É por isso que mantemos o conhecimento de uma empresa fora de qualquer modelo isolado, no Twin, e por isso, para trabalhos críticos, levamos o Eigna: um modelo privado e próprio da empresa, desenvolvido pelo nosso parceiro Eigna Labs, rodando na nuvem dela ou nos servidores dela e projetado para funcionar offline em redes fechadas. Ele não vai se igualar a um modelo de ponta em todas as tarefas e, para a maior parte do trabalho confidencial, não precisa. Um modelo que roda no seu próprio hardware não desaparece porque um fornecedor recebeu uma carta.