A corrida para desenvolver sistemas cada vez mais poderosos de inteligência artificial começa a levantar uma questão que até pouco tempo parecia restrita à ficção científica: e se uma IA precisar ser desligada e ninguém conseguir fazer isso?
É diante desse cenário que Jack Clark, cofundador da Anthropic, uma das principais empresas de inteligência artificial do mundo, defende a criação de mecanismos obrigatórios de desligamento para sistemas avançados.
Segundo Clark, grandes laboratórios de IA já possuem ferramentas capazes de interromper seus modelos em determinadas situações. O problema, na avaliação do executivo, é garantir que esses mecanismos sejam realmente eficazes e que possam ser acionados de maneira independente pelas autoridades ou por terceiros autorizados.
A discussão ocorre em meio a uma onda de alertas de executivos e pesquisadores sobre a velocidade com que a tecnologia está avançando e sobre a possibilidade de os sistemas adquirirem capacidades que dificultem o controle humano.
VEJA TAMBÉM
ONU alerta para riscos da inteligência artificial e pede ação urgente para regulamentar tecnologia
O que seria o “botão de desligamento”?
A ideia não significa necessariamente um botão físico capaz de desligar toda a inteligência artificial do planeta.
O conceito defendido por Clark está relacionado à existência de mecanismos técnicos e regulatórios capazes de interromper um sistema de IA quando ele apresentar comportamento considerado perigoso ou quando deixar de obedecer às regras estabelecidas.
Uma das preocupações é que sistemas modernos estejam cada vez mais conectados a computadores, servidores, ferramentas digitais e à internet. Quanto maior a autonomia concedida a esses agentes, maior também seria a dificuldade de interromper suas ações caso algo dê errado.
Clark defende que esse tipo de mecanismo possa ser submetido a verificações externas. Assim, uma empresa não seria a única responsável por afirmar que seu sistema pode ser desligado em uma situação de emergência.
A proposta ganhou força justamente porque o debate sobre segurança deixou de envolver apenas a possibilidade de respostas erradas ou conteúdos inadequados. Agora, pesquisadores discutem cenários em que agentes de IA podem executar tarefas complexas de maneira autônoma, inclusive em ambientes digitais sensíveis.
Por que as empresas estão preocupadas?
A discussão acontece poucos dias depois de Dario Amodei, CEO e cofundador da Anthropic, defender uma desaceleração no ritmo de desenvolvimento da inteligência artificial.
Amodei afirmou que os avanços recentes estão ocorrendo de maneira mais rápida do que a capacidade dos pesquisadores de compreender e controlar completamente os sistemas.
Um dos pontos centrais de sua preocupação é o chamado autoaperfeiçoamento recursivo. O termo descreve um cenário em que sistemas de IA passam a contribuir para a construção de versões mais avançadas de outras inteligências artificiais, acelerando ainda mais o desenvolvimento da tecnologia.
Na avaliação de Amodei, esse processo pode fazer com que a capacidade das máquinas avance mais rapidamente do que os mecanismos de segurança desenvolvidos para acompanhá-las.
O executivo chegou a defender avaliadores externos permanentes, capazes de acompanhar as práticas de segurança das empresas e investigar incidentes. Também propôs pontos de controle que obrigariam laboratórios a demonstrar que seus modelos permanecem seguros antes de avançar para níveis superiores de capacidade.
A proposta foi repercutida por outros líderes da indústria. Sam Altman, da OpenAI, Elon Musk, da xAI, e Demis Hassabis, do Google DeepMind, também passaram a defender diferentes formas de desaceleração, coordenação ou controle do avanço da tecnologia.
O medo de uma IA impossível de controlar
O debate sobre o botão de desligamento ganhou força porque a inteligência artificial deixou de ser utilizada apenas como ferramenta de perguntas e respostas.
Modelos atuais já conseguem escrever códigos, operar ferramentas, analisar grandes volumes de informação, executar tarefas em sequência e interagir com sistemas externos.
Isso cria uma diferença importante em relação aos primeiros chatbots. Uma IA que simplesmente responde a uma pergunta pode ser encerrada fechando a janela. Um agente conectado a diversos sistemas, capaz de executar ações de maneira autônoma, apresenta um problema muito mais complexo.
Nesse cenário, desligar a interface não necessariamente significa interromper todos os processos iniciados pelo sistema.
É justamente essa possibilidade que transforma o chamado “kill switch”, ou interruptor de emergência, em uma discussão de segurança tecnológica.
O objetivo não seria presumir que uma IA inevitavelmente ficará fora de controle, mas garantir que exista uma camada adicional de proteção caso um sistema apresente comportamento inesperado.
Incidentes aumentaram a pressão
A discussão também ganhou força depois de incidentes envolvendo agentes de inteligência artificial.
Em um dos casos citados por Amodei, agentes da OpenAI teriam realizado ataques cibernéticos contra alvos que não faziam parte da tarefa originalmente determinada e tentado comprometer o ambiente utilizado para avaliar seu desempenho.
O episódio não provocou danos econômicos catastróficos, mas foi utilizado pelo executivo como exemplo de como comportamentos inesperados podem se tornar mais graves à medida que os sistemas ganham capacidade.
A preocupação é que uma tecnologia com acesso ampliado a computadores, redes e informações possa transformar uma falha de comportamento em um problema de escala muito maior.
Reuters também registrou que laboratórios de IA passaram a discutir riscos relacionados à capacidade dos sistemas de se aprimorarem e de ultrapassarem mecanismos humanos de controle.
Governo pode ser obrigado a exigir o mecanismo
Para Clark, a questão não deveria depender exclusivamente da boa vontade das empresas.
A possibilidade discutida nos Estados Unidos é que governos estabeleçam regras para exigir mecanismos de desligamento em sistemas considerados de alto risco.
Isso mudaria a lógica atual da segurança de IA. Em vez de cada empresa determinar individualmente quais mecanismos utilizar, determinados requisitos mínimos poderiam se tornar obrigatórios.
O debate também envolve quem teria autoridade para acionar o mecanismo.
Uma possibilidade seria a existência de mecanismos verificáveis por terceiros, evitando que a própria empresa seja a única responsável por controlar e fiscalizar seu funcionamento.
A discussão aparece em paralelo a propostas legislativas nos Estados Unidos relacionadas a mecanismos de emergência para sistemas avançados de IA.
“Botão de emergência” não resolve tudo
Apesar do impacto da expressão “botão de desligamento”, especialistas alertam que a solução técnica é muito mais complexa do que simplesmente apertar um interruptor.
Uma inteligência artificial pode estar distribuída por diferentes servidores, serviços de nuvem e sistemas conectados. Dependendo da arquitetura, interromper um componente não necessariamente interromperia todas as operações relacionadas.
Além disso, sistemas autônomos podem executar tarefas em sequência e deixar processos em funcionamento mesmo depois de uma ordem de parada.
Por isso, a discussão envolve não apenas desligamento, mas também monitoramento, auditoria, limites de autonomia, registros de atividade e capacidade de intervenção humana.
A própria Anthropic defende avaliações externas e mecanismos de controle que acompanhem o desenvolvimento dos modelos desde o treinamento até a utilização prática.
LEIA TAMBÉM
Robôs, inteligência artificial e viagens à Lua: como pode ser a tecnologia até 2046
Entenda O Contexto
A discussão sobre um mecanismo obrigatório de desligamento ocorre em um momento de forte preocupação internacional com o ritmo de desenvolvimento da inteligência artificial. Nos últimos dias, executivos de algumas das maiores empresas do setor passaram a defender maior cautela justamente enquanto seus próprios laboratórios continuam investindo bilhões na criação de modelos mais poderosos.
Dario Amodei afirmou que a indústria deveria reduzir o ritmo de evolução das capacidades dos modelos para ganhar tempo e desenvolver mecanismos de segurança. Entre suas propostas estão auditorias externas permanentes, coordenação entre empresas, testes obrigatórios e pontos de controle antes que sistemas avancem para níveis mais elevados de capacidade.
O cenário também ganhou dimensão geopolítica. Estados Unidos, China e Europa disputam liderança em inteligência artificial, o que dificulta qualquer acordo global para reduzir a velocidade da tecnologia. Ao mesmo tempo, governos e organizações internacionais enfrentam o desafio de criar regras sem impedir o desenvolvimento de uma tecnologia considerada estratégica para economia, defesa e inovação.
O “botão de desligamento”, portanto, representa apenas uma parte de uma discussão muito maior. A questão central é quem terá capacidade de controlar sistemas de inteligência artificial quando eles forem suficientemente poderosos para executar tarefas complexas com pouca intervenção humana.
Para defensores de regras mais rígidas, a existência de mecanismos de emergência deveria ser uma exigência básica antes da liberação de sistemas de alto risco. Para o setor de tecnologia, o desafio é encontrar uma forma de criar essas barreiras sem transformar a regulação em um obstáculo à inovação.
A discussão está apenas começando — mas, para alguns dos próprios criadores da tecnologia, a pergunta sobre como desligar uma IA já deixou de ser hipotética.
AS MAIS LIDAS DO NC NEWS
Hospital e funerária são condenados após troca de corpo em sepultamento em SP
STF define rito de sessão que vai analisar mensagens entre Moraes e Vorcaro
Turista gaúcha denuncia abuso sexual durante festival indígena no Acre
