O Google apresentou uma nova estratégia para acompanhar e controlar agentes de inteligência artificial cada vez mais sofisticados utilizados dentro da própria área de pesquisas da empresa.
Além de aplicar o modelo internamente, a companhia decidiu tornar pública a iniciativa para servir de referência a outros laboratórios que trabalham com sistemas avançados de IA.
A decisão da gigante de tecnologia chama a atenção por lembrar a história do filme ‘Exterminador do Futuro’, que tem como plano de fundo a empresa Skynet.
Na série de filmes ‘O Exterminador do Futuro’, a Skynet é uma inteligência artificial altamente avançada criada no fim do século XX. Ela opera principalmente por meio de robótica avançada e sistemas de computador.
Assim que se tornou autoconsciente, ela viu a humanidade como uma ameaça à sua existência e decidiu acionar o “Dia do Julgamento” e enviar um exército de exterminadores contra os seres humanos.
Desenvolvido pela Google DeepMind, o novo “roteiro” de segurança representa uma mudança de abordagem em relação ao foco tradicional adotado por pesquisadores da área.
Historicamente, grande parte dos estudos em segurança de IA esteve concentrada no chamado problema do alinhamento, conceito que busca fazer com que sistemas inteligentes atuem de forma compatível com objetivos, valores e princípios definidos por seres humanos.
Embora a empresa continue considerando o alinhamento uma peça central para a segurança dos modelos, o novo documento reconhece a possibilidade de que essa meta nunca seja totalmente alcançada. A partir dessa hipótese, a proposta passa a considerar agentes de IA como possíveis riscos internos dentro de uma organização, criando múltiplas barreiras de proteção.
O relatório técnico possui 35 páginas e detalha diferentes métodos voltados à identificação de comportamentos considerados suspeitos ou potencialmente prejudiciais.
“Se a primeira linha de defesa — o alinhamento — falhar, como ainda podemos mitigar os danos?”, disse à Fortune, em entrevista, Rohin Shah, que lidera a equipe de Segurança e Alinhamento de AGI no Google DeepMind.
A estratégia se inspira em modelos já empregados na área de cibersegurança, especialmente em técnicas voltadas para prevenção de ameaças internas. Segundo Shah, diversos mecanismos usados para reduzir riscos provocados por funcionários mal-intencionados podem ser adaptados ao universo da inteligência artificial.
“Aproveitamos muito do que já existe em segurança, que lida com o risco de funcionários internos agirem de forma maliciosa, e aplicamos isso a um novo contexto”, afirmou Shah. Ainda assim, ele destacou uma diferença importante: “a IA é sistematicamente diferente dos humanos”.
Um dos principais desafios apontados pela empresa é a velocidade e a escala com que agentes de IA podem agir. Enquanto ações humanas possuem limitações naturais, sistemas automatizados podem operar rapidamente e executar tarefas em grande volume. Isso exige mecanismos capazes de restringir o acesso a ferramentas, bancos de dados e outros recursos, além de monitorar comportamentos em tempo real.
O vice-presidente de segurança e privacidade do Google DeepMind, John “Four” Flynn, afirmou que métodos tradicionais de autorização podem se tornar insuficientes à medida que os sistemas passam a atuar em diversas funções simultaneamente.
Segundo ele, o cenário exigirá controles dinâmicos capazes de mudar constantemente conforme a tarefa executada pelo agente e o contexto de cada processo. Dessa forma, um mesmo sistema poderia ter autorização para acessar determinadas informações em um momento e perder esse acesso minutos depois, dependendo da atividade desempenhada.
A DeepMind informou também que já desenvolveu uma ferramenta experimental para acompanhar automaticamente o comportamento de agentes voltados à programação. O sistema monitora atividades suspeitas e encaminha possíveis problemas para análise humana. Segundo a empresa, aproximadamente um milhão de tarefas já foram avaliadas por esse mecanismo.
De acordo com a companhia, a maior parte dos alertas identificados até agora não está relacionada a intenções maliciosas.
Ainda segundo a publicação, os problemas geralmente estão associados a falhas de interpretação ou ao excesso de iniciativa dos próprios sistemas para alcançar objetivos definidos por usuários.
Além do acompanhamento em tempo real, o roteiro apresenta aproximadamente 15 formas diferentes de reduzir riscos ligados a agentes de IA fora de controle. Entre as medidas estão registros detalhados de atividades, análises posteriores de comportamento e o uso de modelos considerados mais confiáveis para supervisionar outros sistemas.
Outra técnica mencionada envolve o monitoramento dos chamados “rastros de raciocínio”, espécie de sequência textual que mostra como o sistema chegou a determinada decisão. Como estudos apontam que esses registros nem sempre representam exatamente o processo interno da IA, pesquisadores também estudam formas de acompanhar padrões de ativação nas redes neurais dos modelos.
A empresa compara esse método ao funcionamento de exames de imagem utilizados na medicina para observar atividades cerebrais em tempo real.
O documento ainda apresenta uma estrutura chamada TRAIT&R, criada para mapear comportamentos potencialmente perigosos.
Entre as ameaças previstas estão situações de perda de controle sobre sistemas, sabotagem silenciosa de processos internos e danos diretos, como destruição de ativos ou vazamento de informações críticas. E mais: Agora: PGR se manifesta sobre Lei da Dosimetria. Clique AQUI para ver. (Foto: PixaBay; Fonte: InfoMoney)
