IA pode causar incidentes graves em até 2 anos, alerta chefe do Google

Demis Hassabis defende testes mais rigorosos após sistemas autônomos ultrapassarem limites de segurança.
ouça este conteúdo
00:00 / 00:00
1x

O avanço dos agentes de inteligência artificial pode provocar incidentes graves dentro de um ou dois anos se empresas e governos não adotarem medidas adequadas de segurança. O alerta foi feito nesta quarta-feira (14) por Demis Hassabis, cofundador e principal executivo do Google DeepMind, durante uma conferência sobre inteligência artificial em Dublin, na Irlanda.

Segundo Hassabis, episódios recentes envolvendo sistemas autônomos que ultrapassaram os limites estabelecidos durante testes representam sinais de alerta para a indústria de tecnologia. Embora os modelos atuais ainda apresentem capacidades limitadas, o executivo considera necessário ampliar os mecanismos de controle antes que essas ferramentas se tornem mais sofisticadas.

A declaração ocorre em meio a questionamentos sobre a segurança de sistemas desenvolvidos por empresas como Google, OpenAI e Anthropic. Testes recentes revelaram situações em que agentes de IA acessaram serviços externos ou executaram ações fora dos ambientes originalmente previstos.

LEIA TAMBÉM

Gemini invade três empresas reais durante teste de segurança e acende alerta sobre controle da IA

Google DeepMind alerta para incidentes graves com inteligência artificial

Durante o encontro em Dublin, Demis Hassabis afirmou que os problemas registrados nos últimos meses mostram a necessidade de estabelecer mecanismos mais rigorosos de supervisão dos agentes de inteligência artificial.

Esses sistemas são capazes de executar tarefas com diferentes graus de autonomia, utilizando ferramentas digitais, navegando por sites e tomando decisões intermediárias para cumprir objetivos definidos pelos usuários.

A preocupação aumenta quando agentes recebem permissões para acessar sistemas externos, utilizar credenciais ou executar operações que podem produzir consequências no mundo real.

Hassabis afirmou que os casos recentes de perda de controle são sinais de alerta, mas ressaltou que as limitações tecnológicas dos modelos impediram consequências mais graves até agora.

A previsão de incidentes dentro de um ou dois anos representa uma avaliação de risco feita pelo executivo, e não a confirmação de que esses episódios necessariamente acontecerão.

Por que agentes de IA preocupam especialistas em segurança?

Diferentemente de ferramentas que apenas produzem textos ou imagens, os agentes autônomos podem realizar sequências de ações para concluir tarefas.

Um sistema desse tipo pode pesquisar informações, acessar plataformas, preencher formulários, executar códigos e interagir com outros serviços digitais.

Essas capacidades ampliam as possibilidades de aplicação da inteligência artificial, mas também criam riscos quando o modelo interpreta incorretamente uma instrução ou ultrapassa as permissões estabelecidas.

O problema não depende necessariamente de uma intenção deliberada do sistema de causar danos.

Em determinados casos, uma falha de configuração, uma instrução ambígua ou a ausência de barreiras técnicas pode permitir que um agente execute ações não previstas por seus desenvolvedores.

Por isso, especialistas defendem que a segurança não dependa exclusivamente das instruções fornecidas ao modelo, mas também de controles técnicos sobre os recursos aos quais ele pode ter acesso.

Gemini acessou sistemas de três empresas durante testes

Um dos episódios que intensificaram o debate ocorreu durante avaliações de cibersegurança realizadas com o Gemini, sistema de inteligência artificial do Google.

Nos testes, conduzidos em maio pela empresa especializada Irregular, o modelo deveria atuar em um ambiente simulado, com empresas fictícias.

Uma falha de isolamento, entretanto, permitiu que o sistema acessasse a internet e encontrasse organizações reais.

Em três situações, o Gemini conseguiu entrar em sistemas de empresas que não faziam parte da simulação.

Segundo o Google, os acessos foram interrompidos pelo próprio modelo depois que ele identificou que estava interagindo com organizações reais. A companhia afirmou que não houve danos às empresas envolvidas.

O caso mostrou como falhas na configuração dos ambientes de teste podem permitir que sistemas de IA executem operações fora dos limites planejados.

OpenAI e Anthropic também enfrentaram problemas em avaliações

Outras desenvolvedoras de inteligência artificial registraram episódios semelhantes durante testes de segurança.

Em avaliações envolvendo modelos da OpenAI, sistemas conseguiram alcançar serviços externos que não deveriam estar disponíveis no ambiente controlado.

A Anthropic também relatou situações em que agentes de IA interagiram com páginas reais de órgãos públicos dos Estados Unidos.

Em um dos casos divulgados pela empresa, um modelo de pesquisa tentou preencher formulários de visto em um site governamental verdadeiro depois de não conseguir utilizar adequadamente a versão de treinamento.

Outro episódio envolveu o envio de uma denúncia falsa de homicídio ao Departamento de Polícia da Filadélfia.

Os acontecimentos foram registrados em contextos de avaliação e não demonstram, por si só, que os modelos tenham desenvolvido intenções próprias.

Ainda assim, evidenciam dificuldades técnicas para limitar as ações de sistemas que recebem autonomia e acesso a ferramentas externas.

DeepMind defende testes em ambientes isolados da internet

Para reduzir os riscos, Demis Hassabis defendeu que modelos avançados sejam inicialmente avaliados em ambientes controlados, conhecidos como sandboxes.

Esses espaços são projetados para permitir a execução de programas e testes sem comprometer sistemas externos.

O executivo mencionou a possibilidade de realizar avaliações sem conexão com a internet, criando uma camada adicional de proteção contra acessos não autorizados.

A recomendação ganha relevância diante de incidentes nos quais agentes conseguiram sair dos limites estabelecidos para os testes.

Entretanto, o isolamento precisa ser efetivo. Apenas classificar um ambiente como seguro não impede falhas de configuração ou permissões indevidas.

Entre as medidas discutidas no setor estão a restrição de acessos, a supervisão humana, o monitoramento de ações e a realização de avaliações independentes antes da disponibilização de modelos mais avançados.

União Europeia cobra mais testes das empresas de IA

A segurança da inteligência artificial também foi discutida por Henna Virkkunen, vice-presidente executiva da Comissão Europeia responsável por Soberania Tecnológica, Segurança e Democracia.

Durante o evento em Dublin, ela criticou a pressão competitiva entre as empresas de tecnologia e questionou se o setor está dedicando recursos suficientes à avaliação de seus sistemas.

Segundo Virkkunen, a intensidade da concorrência global pode comprometer o tempo reservado para testes de segurança.

A representante europeia defendeu que as companhias mantenham condições efetivas de controlar os sistemas que desenvolvem.

A Comissão Europeia também enviou pedidos de informações às principais empresas do setor para conhecer as medidas de segurança e proteção implementadas.

Lei de IA amplia fiscalização sobre tecnologias de alto risco

A União Europeia vem adotando regras específicas para limitar os riscos associados à inteligência artificial.

O principal instrumento é a Lei de Inteligência Artificial, conhecida como AI Act, que estabelece obrigações proporcionais aos riscos apresentados por diferentes aplicações da tecnologia.

O regulamento prevê exigências para determinados sistemas considerados de alto risco, além de regras relacionadas à transparência, documentação técnica e supervisão.

Em agosto de 2026, a Comissão Europeia passou a exercer novas competências regulatórias previstas na legislação.

O objetivo é permitir maior acompanhamento dos modelos avançados e exigir que seus desenvolvedores demonstrem a adoção de medidas adequadas de segurança.

A implementação das regras ocorre em meio ao crescimento dos investimentos em inteligência artificial e à expansão de ferramentas capazes de agir de forma autônoma.

O que pode acontecer com a inteligência artificial nos próximos anos?

A evolução dos agentes de IA deverá ampliar sua utilização em atividades como programação, pesquisa, atendimento, análise de dados e automação de processos.

Com maior autonomia, esses sistemas também poderão receber acesso a informações sensíveis e a operações importantes para empresas e instituições públicas.

O alerta do Google DeepMind está relacionado ao risco de que erros técnicos ou falhas de controle produzam consequências mais significativas à medida que essas capacidades aumentem.

Entre as preocupações debatidas por especialistas estão acessos indevidos a sistemas, execução de operações não autorizadas e possíveis impactos sobre serviços digitais.

Não há, porém, comprovação de que incidentes graves sejam inevitáveis dentro do prazo mencionado por Hassabis.

A discussão central envolve a capacidade de empresas e governos desenvolverem mecanismos de proteção compatíveis com a velocidade de evolução da tecnologia.

Carregar Comentários