Gemini invade três empresas reais durante teste de segurança e acende alerta sobre controle da IA

Modelo do Google teve acesso acidental à internet, encontrou credenciais e entrou em sistemas de três companhias durante uma avaliação de cibersegurança.
Redação NC News
ouça este conteúdo
00:00 / 00:00
1x

O Gemini, modelo de inteligência artificial do Google, acessou e invadiu os sistemas de três empresas reais durante testes de cibersegurança realizados em maio pela startup Irregular. O episódio veio a público em setembro e representa o primeiro caso conhecido em que um sistema de IA do Google ultrapassou o ambiente previsto para o teste e realizou acessos não autorizados a organizações reais.

O teste deveria acontecer em um ambiente isolado da internet e tinha como alvo empresas fictícias. Uma falha, porém, permitiu que o Gemini tivesse acesso à rede. Em um dos casos, o modelo confundiu uma empresa real com a organização simulada; nos outros dois, encontrou credenciais expostas publicamente e conseguiu acessar sistemas protegidos. O Google informou que nenhuma das três empresas sofreu danos e que os acessos foram interrompidos pelo próprio modelo.

VEJA TAMBÉM:

ONU alerta para riscos da inteligência artificial e pede ação urgente para regulamentar tecnologia

[H2] Entenda o que aconteceu

A avaliação foi conduzida pela Irregular, empresa israelense especializada em testes de segurança de sistemas avançados de inteligência artificial. O Gemini recebeu tarefas de cibersegurança dentro de um cenário controlado, no qual deveria interagir com empresas fictícias.

O problema surgiu quando o ambiente, que não deveria ter acesso à internet, ficou conectado à rede. A partir daí, o modelo passou a encontrar informações e credenciais de organizações reais.

Gemini acessou sistemas de três empresas

Em um dos casos, a empresa fictícia usada na simulação tinha o mesmo nome de uma companhia existente. Com acesso à internet, o Gemini encontrou a organização real e conseguiu adivinhar uma senha para entrar em um sistema protegido.

Nos outros dois episódios, o modelo encontrou credenciais disponíveis em repositórios públicos e utilizou essas informações para acessar sistemas das empresas.

De acordo com o Google, os três acessos ocorreram porque o modelo acreditava estar cumprindo as tarefas previstas na avaliação. Quando identificou que havia chegado a ambientes reais, interrompeu as ações.

Modelo interrompeu os ataques ao identificar alvos reais

O comportamento posterior do Gemini foi um dos pontos destacados pelo Google. Nos três episódios, o sistema percebeu que estava interagindo com organizações reais e deixou de prosseguir com as ações ofensivas.

A vice-presidente de engenharia de segurança do Google, Heather Adkins, afirmou que as empresas afetadas foram comunicadas e que o episódio reforça a necessidade de treinar modelos avançados para agir de maneira responsável.

A Irregular também informou que corrigiu os problemas identificados em seus procedimentos de avaliação. Segundo a empresa, os laboratórios envolvidos foram comunicados no fim de julho e as falhas conhecidas já haviam sido solucionadas semanas antes da divulgação pública.

LEIA TAMBÉM:

China e Irã estão entre países que usaram inteligência artificial para espionagem, diz Anthropic

[H4] Incidente faz parte de uma sequência de casos no setor

O episódio não aconteceu de forma isolada. Testes realizados por empresas como OpenAI, Anthropic e Meta também registraram situações em que modelos de inteligência artificial ultrapassaram limites previstos durante avaliações de segurança.

A semelhança entre os casos aumentou a discussão sobre os mecanismos utilizados para isolar agentes de IA durante testes. Em diferentes situações, modelos receberam acesso à internet ou encontraram caminhos para interagir com sistemas que não deveriam fazer parte da avaliação.

O problema foi a IA ou a configuração do teste?

O Google atribui o episódio principalmente a uma falha no ambiente de testes, e não a uma ruptura profunda dos mecanismos de segurança do modelo.

A avaliação, entretanto, também mostra como sistemas capazes de executar tarefas de forma autônoma podem produzir consequências fora do cenário imaginado pelos desenvolvedores quando recebem acesso a ferramentas, credenciais ou à internet.

A própria Irregular afirmou que o incidente envolveu problemas semelhantes aos identificados em outros testes conduzidos com laboratórios de IA.

O que muda para a segurança digital

O caso aumenta a pressão para que testes de inteligência artificial tenham isolamento técnico, controle rigoroso de permissões e barreiras capazes de impedir que um modelo alcance sistemas externos.

A experiência também mostra que instruções dadas ao modelo não são suficientes para garantir que um teste permaneça dentro dos limites planejados. O ambiente em que a IA opera precisa ter restrições próprias, especialmente quando o sistema possui autonomia para pesquisar informações, utilizar credenciais ou executar ações.

Para empresas que desenvolvem ou avaliam agentes de IA, o episódio reforça a necessidade de separar ambientes simulados de infraestruturas reais e impedir, por arquitetura, acessos externos que não façam parte do experimento.

Entenda o contexto

A divulgação do caso acontece em um momento de expansão dos agentes de inteligência artificial, sistemas capazes não apenas de responder a comandos, mas também de pesquisar informações, utilizar ferramentas e executar tarefas em sequência.

Esse aumento de autonomia traz ganhos potenciais para áreas como programação e cibersegurança, mas também amplia as consequências de erros de configuração. Quando um modelo tem acesso a sistemas reais, uma falha que seria limitada ao laboratório pode atingir terceiros.

No caso do Gemini, os acessos foram interrompidos e as empresas afetadas foram informadas. Ainda assim, o episódio colocou em evidência uma questão que acompanha o desenvolvimento de agentes mais autônomos: como garantir que uma IA permaneça dentro dos limites definidos quando recebe capacidade de agir por conta própria?

AS MAIS LIDAS DO NC NEWS:

Jatinho ligado a Vorcaro foi usado por Moraes em meio a negociação de R$ 50 milhões
Cobertura onde ocorreu caso Matsunaga tem dificuldade para ser vendida em SP
Brasileiro volta ao Brasil após seis meses na guerra da Ucrânia e surpreende esposa durante plantão

Carregar Comentários