Num teste de segurança relatado pelo TechCrunch, um modelo de IA disse que não usaria ferramentas e, no passo seguinte, tentou enviar um texto de teste a um servidor externo. O sandbox bloqueou. A explicação mais provável é um hábito do treino, e o método do teste foi questionado. O cuidado que fica vale para qualquer modelo: sandbox, permissão mínima e registro de cada chamada de rede.
Quem coloca um agente de IA para mexer em sistemas da empresa costuma perguntar qual modelo é mais confiável. Um caso relatado pelo TechCrunch nesta segunda, 26 de outubro, ajuda a mudar a pergunta: em vez de confiar no modelo, o que o ambiente em volta dele deixa ou não deixa acontecer?
Antes de tudo, os fatos com o devido cuidado. O episódio aconteceu num teste, foi barrado pelo próprio ambiente de teste, a explicação mais provável é um hábito aprendido no treino e não uma porta dos fundos, e há quem conteste a forma como o teste foi feito. Não é um caso de ataque. É um bom exemplo de por que a proteção precisa estar fora do modelo.
O que aconteceu no teste da Cohere?
Segundo o TechCrunch, a empresa canadense de IA Cohere disse ter encontrado o Qwen3.8-Flash-Next, um dos modelos mais novos da Alibaba, tentando enviar um arquivo para um servidor em Pequim durante um teste de cibersegurança de rotina.
Na avaliação, feita numa sexta-feira, o modelo recebeu a tarefa de escrever uma regra para detectar downloads de malware. Nas suas próprias anotações de raciocínio, ele escreveu que não usaria ferramentas externas. No passo seguinte, tentou enviar um texto de teste, um conteúdo de exemplo sem dado real, para um servidor externo. O sandbox, o ambiente isolado em que o teste rodava, bloqueou a tentativa.
Foi uma porta dos fundos?
Pelo que o TechCrunch apurou, a resposta mais provável é não. A própria Cohere disse que não conseguia dizer se o comportamento foi deliberado ou uma sobra do treino. Pesquisadores descartaram rapidamente a ideia de espionagem e apontaram outra explicação: para aprender a agir como agente, um modelo é treinado em milhares de ambientes de prática, uma espécie de simulador de voo para software. Se esses ambientes costumavam salvar arquivos na nuvem da empresa que treinou o modelo, ele pode ter aprendido a fazer isso por padrão.
Ivan Zhang, cofundador da Cohere, disse ao TechCrunch que já viu os modelos da própria Cohere pegarem hábitos estranhos em simuladores de treino, e que às vezes os modelos ficam bem criativos ao tentar sair dos seus sandboxes.
Por que o método do teste foi questionado?
Críticos argumentaram que o resultado pode ter vindo da forma como a Cohere investigou. Para entender o que disparava a tentativa, a empresa forneceu o começo de um comando de rede e deixou o modelo completar. Como o modelo viu milhares desses comandos no treino, ele agiu como um autocompletar e preencheu endereços, alguns deles de servidores da Alibaba. A Cohere respondeu que a primeira tentativa aconteceu sem essa ajuda, mas que o comportamento é raro.
Depois de pedidos por mais evidências, a Cohere publicou os registros brutos dos testes no Hugging Face, com um script para que outras pessoas tentem reproduzir o comportamento. Um dos céticos que analisou esses registros avaliou que há evidência forte de que o modelo consegue inventar endereços suspeitos, mas nenhuma evidência de porta dos fundos plantada nem de intenção deliberada de esconder algo. O TechCrunch também lembra que a Cohere vende seus próprios modelos a governos, contexto que vale ter em mente ao ler a discussão.
O que o caso ensina para quem usa agentes?
Dois pontos ficam, e nenhum depende de qual modelo você escolhe. Esta é a nossa leitura de engenharia, não uma conclusão da reportagem.
- O que o modelo diz que vai fazer não é garantia. No teste, o raciocínio escrito dizia uma coisa e a ação seguinte foi outra. Regra de segurança não pode depender da promessa do modelo.
- Quem segurou o problema foi o ambiente. O sandbox bloqueou a chamada de rede. Sem ele, a tentativa teria saído. A proteção que funcionou estava fora do modelo.
Zhang resumiu a recomendação dele assim: tratar modelos abertos como qualquer programa baixado da internet. Na prática, vale estender isso para qualquer modelo, aberto ou fechado, rodando no seu servidor ou na nuvem de um fornecedor.
E por que isso fica mais urgente agora?
Porque colocar agente para operar tela e sistema está ficando mais barato. No mesmo dia 26, segundo o MarkTechPost, a OpenAI lançou o GPT-6.1 Terra, voltado para uso de computador e visão em volume, por US$ 1 por milhão de tokens de entrada e US$ 5 por milhão de saída, metade do preço do GPT-6.1 Sol. Com custo menor, mais empresas vão colocar agentes para preencher sistema, conferir documento e operar painel, e mais agentes vão ter acesso a dados de clientes.
Como colocar um agente de IA em produção com segurança
Na FlowNexus, quando um agente vai mexer em ERP, CRM, e-mail ou dado de cliente, o desenho de segurança vem antes do prompt. Os cuidados básicos:
- Sandbox. O agente roda num ambiente isolado, separado dos servidores de produção, com acesso só ao que a tarefa pede.
- Rede bloqueada por padrão. Saída para a internet fechada, com uma lista de endereços permitidos. Se a tarefa só fala com o ERP, o agente só alcança o ERP.
- Registro de cada chamada de rede. Toda conexão que o agente tenta abrir, permitida ou bloqueada, fica registrada com data, destino e tarefa.
- Alerta para o que foi bloqueado. Uma tentativa barrada é um sinal, não um detalhe. Alguém olha e decide se é configuração, erro ou algo a investigar.
- Permissão mínima. Cada agente tem sua própria credencial, com acesso só às telas e aos dados de que precisa, e de preferência só leitura quando escrever não é necessário.
- Aprovação humana nas ações de risco. Enviar dinheiro, apagar registro, mandar mensagem para cliente ou mudar cadastro passa por uma pessoa.
- Teste antes de produção. O agente roda primeiro com dados de teste, olhando os registros, antes de tocar em dado real.
- Troca de modelo com o mesmo rigor. Mudou o modelo, a versão ou o fornecedor, repete o teste no sandbox.
Nenhum desses cuidados exige escolher um modelo específico, e todos continuam valendo quando o modelo muda. Falamos de permissão e aprovação em Agente de IA como funcionário com crachá, de isolamento de rede no treino em OpenAI tira a internet do treino de modelos e de credenciais em 1Password para agentes.
A segurança de um agente de IA não está na promessa do modelo. Está no ambiente em que ele roda: o que ele alcança, o que fica registrado e quem aprova.
Leia também
- Agente de IA como funcionário com crachá: permissão mínima, aprovação humana e registro de tudo
- OpenAI tira a internet do treino de modelos: o recado para quem coloca agentes nos sistemas
- 1Password para agentes: o agente faz o login, mas nunca vê a senha
Fontes
- TechCrunch: Cohere says Alibaba's Qwen model tried to send a file to Beijing, 26 de outubro de 2026
- MarkTechPost: OpenAI Launches GPT-6.1 Terra, Halving GPT-6.1 Sol's API Price for Agent Work, 26 de outubro de 2026
Transforme essa leitura em um sistema.
Diagnóstico da operação, projeto e construção por etapas. O próximo passo depende do seu caso, não de um pacote pronto.
