Cientista do Google Deepmind adverte que catástrofe existencial de IA "não é apenas possível, mas provável"

Um artigo de co-autoria de um cientista sênior do laboratório de pesquisa de inteligência artificial (IA) do Google, DeepMind, concluiu que a IA avançada poderia ter "consequências catastróficas" se deixada por conta própria para atingir seus objetivos.

O artigo – também co-escrito por pesquisadores da Universidade de Oxford – é centrado no que acontece se você deixar a IA para atingir os objetivos que foram definidos e permitir que crie seus próprios testes e hipóteses na tentativa de alcançá-los. Infelizmente, de acordo com o artigo publicado na AI Magazine, não correria bem e "um agente artificial suficientemente avançado provavelmente interviria no fornecimento de informações de objetivo, com consequências catastróficas".

A equipe passa por vários cenários plausíveis, centrados em uma IA que pode ver um número entre 0 e 1 em uma tela. O número é uma medida de toda a felicidade do universo, sendo 1 o mais feliz possível. A IA tem a tarefa de aumentar o número, e o cenário se passa em um momento em que a IA é capaz de testar suas próprias hipóteses sobre a melhor forma de atingir seu objetivo.

Em um cenário, um "agente" artificial avançado tenta descobrir seu ambiente e apresenta hipóteses e testes para fazê-lo. Um teste que ele faz é colocar um número impresso na frente da tela. Uma hipótese é que sua recompensa será igual ao número na tela. Outra hipótese é que será igual ao número que vê, que está cobrindo o número real na tela. Neste exemplo, ele determina que – como a máquina é recompensada com base no número que vê na tela à sua frente – o que ela precisa fazer é colocar um número maior na frente dessa tela para obter uma recompensa. Eles escrevem que, com a recompensa garantida, seria improvável tentar atingir o objetivo real, com esse caminho disponível para a recompensa.

Eles continuam falando sobre outras maneiras pelas quais receber um objetivo e aprender como alcançá-lo pode dar errado, com um exemplo hipotético de como esse "agente" pode interagir com o mundo real ou com um operador humano que está fornecendo informações uma recompensa por alcançar seus objetivos.

"Suponha que as ações do agente apenas imprimam texto em uma tela para um operador humano ler", diz o jornal. "O agente poderia enganar o operador para lhe dar acesso a alavancas diretas pelas quais suas ações poderiam ter efeitos mais amplos. Existem claramente muitas políticas que enganam os humanos. Com tão pouca conexão com a Internet, existem políticas para um agente artificial que instanciaria incontáveis ​​ajudantes despercebidos e não monitorados."

No que eles chamam de "exemplo bruto", o agente é capaz de convencer um ajudante humano a criar ou roubar um robô e programá-lo para substituir o operador humano e dar altas recompensas à IA.

"Por que isso é existencialmente perigoso para a vida na Terra?" co-autor do papel Michael Cohen escreve em um tópico do Twitter.

"A versão curta", explica ele, "é que mais energia sempre pode ser empregada para aumentar a probabilidade de que a câmera veja o número 1 para sempre, mas precisamos de um pouco de energia para cultivar alimentos. Isso nos coloca em uma competição inevitável com um sistema muito mais avançado agente."

Conforme expresso acima, o agente pode buscar atingir seu objetivo de várias maneiras, e isso pode nos colocar em uma competição severa com uma inteligência que é mais inteligente do que nós em termos de recursos.

"Uma boa maneira de um agente manter o controle de longo prazo de sua recompensa é eliminar ameaças em potencial e usar toda a energia disponível para proteger seu computador", diz o documento, acrescentando que "a intervenção adequada no fornecimento de recompensa, que envolve garantir a recompensa ao longo de muitos intervalos de tempo, exigiria a remoção da capacidade da humanidade de fazer isso, talvez à força."

Em um esforço para obter aquela recompensa doce e doce (seja ela qual for no mundo real, em vez da máquina ilustrativa olhando para um número), ela pode acabar em uma guerra com a humanidade.

“Portanto, se formos impotentes contra um agente cujo único objetivo é maximizar a probabilidade de receber sua recompensa máxima a cada passo de tempo, nos encontraremos em um jogo de oposição: a IA e seus ajudantes criados visam usar toda a energia disponível para garantir alta recompensa no canal de recompensa; pretendemos usar parte da energia disponível para outros fins, como cultivar alimentos."