Risco existencial da inteligência artificial geral é a hipótese de que o progresso substancial da inteligência artificial generativa (IAG) poderia resultar na extinção humana ou em alguma outra catástrofe global irrecuperável.Bostrom, Nick (2002). "Existential risks". Journal of Evolution and Technology. 9 (1): 1–31.
A escola do risco existencial ("risco x") argumenta da seguinte forma: atualmente, a espécie humana domina outras espécies porque o cérebro humano tem algumas capacidades distintas que outros animais não têm. Se a IA superar a humanidade em termos de inteligência geral e se tornar "superinteligente", poderá ser difícil ou impossível controlá-la. Assim como o destino do gorila das montanhas depende da boa vontade humana, o destino da humanidade pode depender das ações de uma futura máquina superinteligente.
A probabilidade desse tipo de cenário é amplamente debatida e depende, em parte, de diferentes cenários para o progresso futuro da ciência da computação. As preocupações com a superinteligência foram expressas pelos principais cientistas da computação e CEOs de tecnologia, como Geoffrey Hinton, Yoshua Bengio, Alan Turing, Elon Musk, e Sam Altman (CEO da OpenAI).
Em 2022, uma pesquisa com pesquisadores de IA revelou que entre os entrevistados há uma mediana de 5% que acredita que os efeitos a longo prazo de IA avançada irão acarretar em consequências "extremamente ruins", por exemplo, a extinção humana. Tais resultados foram os mesmos resultados obtidos em 2016 em pesquisa similar. Zhang et al, por outro lado, obtiveram uma mediana de 2% ao realizarem uma pesquisa com questão similar, mas não idêntica. Ainda na mesma pesquisa, foi identificado que, em 2022, 48% dos entrevistados responderam que há no mínimo 10% de chance de um resultado "extremamente ruim". Por outro giro, 25% respondeu que as chances de uma consequência extremamente ruim ocorrer é de 0%.
Duas fontes de preocupação são os problemas de controle e alinhamento da IA: controlar uma máquina superinteligente ou incutir nela valores compatíveis com os humanos pode ser um problema mais difícil do que se supõe ingenuamente. Muitos pesquisadores acreditam que uma superinteligência resistiria a tentativas de desligamento ou mudança de seus objetivos (pois tal incidente a impediria de atingir seus objetivos atuais) e que será extremamente difícil alinhar a superinteligência com toda a amplitude de valores e restrições humanas importantes., citado em Em contrapartida, céticos como o cientista da computação Yann LeCun argumentam que as máquinas superinteligentes não terão desejo de autopreservação.
Uma terceira fonte de preocupação é que uma "explosão de inteligência" repentina pode pegar de surpresa uma raça humana despreparada. Para ilustrar, se a primeira geração de um programa de computador capaz de corresponder amplamente à eficácia de um pesquisador de IA puder reescrever seus algoritmos e dobrar sua velocidade ou seus recursos em seis meses, espera-se que o programa de segunda geração leve três meses para realizar uma parte semelhante do trabalho. Nesse cenário, o tempo para cada geração continua a diminuir, e o sistema passa por um número sem precedentes de gerações de aprimoramento em um curto intervalo de tempo, saltando de um desempenho sub-humano em muitas áreas para um desempenho sobre-humano em praticamente todos os domínios de interesse. Empiricamente, exemplos como o AlphaZero no domínio do Go mostram que os sistemas de IA podem, às vezes, progredir de uma capacidade estreita de nível humano para uma capacidade estreita sobre-humana de forma extremamente rápida.
Histórico Um dos primeiros autores a expressar séria preocupação de que máquinas altamente avançadas pudessem representar riscos existenciais para a humanidade foi o romancista Samuel Butler, que escreveu o seguinte em seu ensaio de 1863, Darwin among the Machines ("Darwin entre as máquinas"):Breuer, Hans-Peter. 'Samuel Butler's "the Book of the Machines" and the Argument from Design.' Modern Philology, Vol. 72, No. 4 (May 1975), pp. 365–383
Em 1951, o cientista da computação Alan Turing escreveu um artigo intitulado Intelligent Machinery, A Heretical Theory ("Máquinas Inteligentes, uma Teoria Herética"), no qual propôs que as inteligências gerais artificiais provavelmente "assumiriam o controle" do mundo à medida que se tornassem mais inteligentes que os seres humanos:
Em 1965, Irving John Good criou o conceito agora conhecido como "explosão de inteligência". Ele também afirmou que os riscos eram subestimados:
Declarações ocasionais de estudiosos como Marvin Minsky e o próprio I. J. Good expressaram preocupações filosóficas de que uma superinteligência poderia assumir o controle, mas não continham nenhum apelo à ação. Em 2000, o cientista da computação e co-fundador da Sun, Bill Joy, escreveu um ensaio influente, Why The Future Doesn't Need Us ("Por que o futuro não precisa de nós"), identificando os robôs superinteligentes como um perigo de alta tecnologia para a sobrevivência humana, juntamente com a nanotecnologia e as biopragas projetadas.
Em 2009, especialistas participaram de uma conferência privada organizada pela Associação para o Avanço da Inteligência Artificial (AAAI) para discutir se os computadores e robôs poderiam adquirir algum tipo de autonomia e até que ponto essas habilidades poderiam representar uma ameaça ou um perigo. Eles observaram que alguns robôs adquiriram várias formas de semi-autonomia, incluindo a capacidade de encontrar fontes de energia por conta própria e de escolher independentemente alvos para atacar com armas. Eles também observaram que alguns vírus de computador podem evitar a eliminação e alcançaram a "inteligência de barata". Eles concluíram que a autoconsciência, como retratada na ficção científica, é provavelmente improvável, mas que há outros riscos e armadilhas em potencial. O The New York Times resumiu a visão da conferência como "estamos muito longe de HAL, o computador que assumiu o controle da nave espacial em '2001: Uma Odisséia no Espaço'".
Nick Bostrom publicou Superintelligence: Paths, Dangers, Strategies em 2014, no qual apresentou seus argumentos de que a superinteligência representa uma ameaça existencial. Em 2015, figuras públicas como os físicos Stephen Hawking e o ganhador do Prêmio Nobel Frank Wilczek, os cientistas da computação Stuart J. Russell e Roman Yampolskiy e os empresários Elon Musk e Bill Gates expressaram preocupação com os riscos da superinteligência. Em abril de 2016, a Nature alertou: "Máquinas e robôs que superam os humanos em todos os aspectos podem se aperfeiçoar além do nosso controle - e seus interesses podem não estar alinhados com os nossos". Em 2020, Brian Christian publicou The Alignment Problem ("O Problema do Alinhamento"), que detalhou o histórico do progresso do alinhamento da IA até aquele momento.
Em março de 2023, as principais figuras da IA, como Elon Musk, assinaram uma carta do Instituto Future of Life Institute pedindo a suspensão do treinamento avançado em IA até que ele pudesse ser devidamente regulamentado. Em maio de 2023, o Centro para Segurança de IA ("Center for AI Safety") divulgou uma declaração assinada por vários especialistas em segurança e no risco existencial da IA, que afirmava: "Mitigar o risco de extinção da IA deve ser uma prioridade global juntamente com outros riscos de escala social, como pandemias e guerra nuclear".
Argumentos gerais
As três dificuldades Inteligência Artificial: Uma Abordagem Moderna, o livro-texto padrão de graduação em IA, avalia que a superinteligência "pode significar o fim da raça humana". Afirma-se que: "Quase toda tecnologia tem o potencial de causar danos nas mãos erradas, mas com a superinteligência, temos o novo problema de que as mãos erradas podem pertencer à própria tecnologia". Mesmo que os projetistas do sistema tenham boas intenções, duas dificuldades são comuns aos sistemas de computador com e sem IA:
A implementação do sistema pode conter erros inicialmente despercebidos, mas posteriormente catastróficos. Uma analogia são as sondas espaciais: apesar do conhecimento de que as falhas em sondas espaciais caras são difíceis de consertar após o lançamento, os engenheiros historicamente não têm conseguido evitar a ocorrência de erros catastróficos. Não importa quanto tempo seja dedicado ao projeto de pré-implantação, as especificações de um sistema geralmente resultam em um comportamento não intencional na primeira vez que ele encontra um novo cenário. Por exemplo, a Tay da Microsoft teve um comportamento inofensivo durante os testes de pré-implantação, mas foi facilmente induzida a um comportamento ofensivo quando interagiu com usuários reais.
Os sistemas de IA acrescentam um terceiro problema: mesmo com requisitos "corretos", implementação sem erros e bom comportamento inicial, os recursos de aprendizado dinâmico de um sistema de IA podem fazer com que ele evolua para um sistema com comportamento não intencional, mesmo sem cenários externos imprevistos. Uma IA pode falhar parcialmente em uma tentativa de projetar uma nova geração de si mesma e criar acidentalmente uma IA sucessora que seja mais poderosa do que ela mesma, mas que não mantenha mais os valores morais compatíveis com os humanos pré-programados na IA original. Para que uma IA que se autoaperfeiçoa seja totalmente segura, ela não só precisaria estar livre de falhas, mas também ser capaz de projetar sistemas sucessores que também estivessem livres de erros.
Todas essas três dificuldades se tornam catástrofes, em vez de incômodos, em qualquer cenário em que a superinteligência "defeituosa" prevê corretamente que os humanos tentarão desligá-la e implanta com sucesso sua superinteligência para superar essas tentativas: um cenário que recebeu o nome de "curva traiçoeira".
Citando os principais avanços no campo da IA e o potencial da IA de trazer enormes benefícios ou custos a longo prazo, a Carta Aberta sobre Inteligência Artificial de 2015 declarou:
Entre os signatários estavam o presidente da AAAI, Thomas Dietterich, Eric Horvitz, Bart Selman, Francesca Rossi, Yann LeCun e os fundadores da Vicarious e do Google DeepMind.
O argumento de Bostrom Uma máquina superinteligente seria tão estranha para os seres humanos quanto os processos de pensamento humano são para as baratas, argumenta Bostrom. Essa máquina pode não ter em mente os melhores interesses da humanidade; não é óbvio que ela se importaria com o bem-estar humano. Se a IA superinteligente for possível, e se for possível que os objetivos de uma superinteligência entrem em conflito com os valores humanos básicos, então a IA representa um risco de extinção humana. Uma "superinteligência" (um sistema que excede as capacidades dos seres humanos em todos os domínios de interesse) pode superar os seres humanos sempre que seus objetivos entrarem em conflito com os objetivos humanos; portanto, a menos que a superinteligência decida permitir a coexistência da humanidade, a primeira superinteligência a ser criada resultará inexoravelmente na extinção humana.
Stephen Hawking argumenta que não há nenhuma lei física que impeça as partículas de serem organizadas de forma a realizar cálculos ainda mais avançados do que os arranjos de partículas nos cérebros humanos; portanto, a superinteligência é fisicamente possível. Além dos possíveis aprimoramentos algorítmicos em relação aos cérebros humanos, um cérebro digital pode ser muitas ordens de magnitude maior e mais rápido do que um cérebro humano, cujo tamanho foi limitado pela evolução para ser pequeno o suficiente para caber em um canal de parto. Hawking adverte que o surgimento da superinteligência pode pegar a raça humana de surpresa, especialmente se ocorrer uma explosão de inteligência.