Na aprendizagem de máquina, o termo papagaio estocástico é uma metáfora para descrever a afirmação de que modelos de linguagem em grande escala (LLMs), embora capazes de gerar linguagem plausível, não entendem o significado da linguagem que processam. O termo foi cunhado por Emily M. Bender em artigo sobre inteligência artificial publicado em 2021 "On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜", escrito por Bender, Timnit Gebru, Angelina McMillan-Major e Margaret Mitchell.
Origem e definição O termo foi usado pela primeira vez no artigo "On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜" por Bender, Timnit Gebru, Angelina McMillan-Major e Margaret Mitchell (sob o pseudônimo "Shmargaret Shmitchell"). As autoras argumentaram que modelos de linguagem em grande escala (LLMs) apresentam riscos como custos ambientais e financeiros, inescrutabilidade que leva a enviesamentos desconhecidos, alucinações e incapacidade em compreender os conceitos subjacentes ao que aprendem.
Etimologia A palavra "estocástico" — do grego antigo "" — é um termo da teoria da probabilidade que significa "determinado aleatoriamente". A palavra "papagaio" refere-se à capacidade dos papagaios em imitar a fala humana, sem compreender seu significado.
Propósito No artigo que originou o termo, Bender e suas colaboradoras argumentam que os LLMs vinculam probabilisticamente palavras e frases sem considerar seu significado. Portanto, são rotulados como meros "papagaios estocásticos". De acordo com os profissionais de aprendizagem de máquina Lindholm, Wahlström, Lindsten e Schön, a analogia destaca duas limitações vitais:
Os LLMs são limitados pelos dados com os quais são treinados e simplesmente repetem estocasticamente o conteúdo dos conjuntos de dados. Como estão apenas criando saídas com base em dados de treinamento, os LLMs não entendem se estão dizendo algo incorreto ou inapropriado.
Lindholm et al. observaram que, com conjuntos de dados de baixa qualidade com outras limitações, a aprendizagem de máquina pode produzir resultados "perigosamente errados".
Envolvimento do Google O Google pediu a Gebru que retratasse o artigo ou removesse os nomes de funcionários do Google. De acordo com Jeff Dean, o artigo "não atendeu aos nossos padrões de publicação". Em resposta, Gebru, que era funcionária da companhia na época, listou condições a serem cumpridas para isso, afirmando que, caso contrário, ela não desejaria mais continuar da empresa. Dean escreveu que uma dessas condições era que o Google divulgasse os revisores do artigo e seus comentários, o que foi recusado. Logo após, Gebru recebeu um e-mail dizendo que o Google estava "aceitando sua demissão", o que desencadeou protestos pois parte dos funcionários da companhia acreditavam que a intenção era censurar as críticas de Gebru.
Uso subsequente Em julho de 2021, o Instituto Alan Turing organizou uma palestra e um painel de discussão sobre o artigo. , o artigo foi citado em 4.789 publicações e o termo tem sido usado em publicações nas áreas de direito, gramática, narrativa, e humanidades. Os autores continuam a manter suas preocupações sobre os perigos dos chatbots baseados em modelos de linguagem de grande escala, como o GPT-4.
O termo "papagaio estocástico" é agora um neologismo usado pelos céticos em inteligência artificial (IA) para se referir à falta de compreensão das máquinas sobre o significado dos seus resultados e é por vezes interpretado como um "insulto contra a IA". Seu uso se expandiu ainda mais quando Sam Altman, CEO da Open AI, usou o termo ironicamente quando tuitou: "eu sou um papagaio estocástico e você também." O termo foi então designado como a Palavra do Ano de 2023 relacionada à IA pela American Dialect Society, ganhando mais destaque até mesmo que as palavras "ChatGPT" e "LLM".
A frase é frequentemente usada por alguns pesquisadores para descrever os LLMs como identificadores de padrões que podem gerar textos plausíveis semelhantes aos humanos por meio de sua vasta quantidade de dados de treinamento, apenas repetindo de forma estocástica. No entanto, outros investigadores argumentam que os LLM são, de fato, pelo menos parcialmente capazes de compreender a linguagem.
Ver também Quarto chinês Críticas às redes neurais artificiais Críticas ao aprendizado profundo Técnica de corte Teorema do macaco infinito IA generativa
Categoria:Papagaios Categoria:Aprendizagem profunda Categoria:Conceitos na filosofia da mente Categoria:Chatbots Categoria:Processamento de linguagem natural Categoria:Google