Papuga stochastyczna – metafora wprowadzona przez i współpracowników w artykule z 2021, w którym duże modele językowe (LLMy) ujęte są jako systemy, które statystycznie naśladują tekst bez rzeczywistego zrozumienia.
Późniejsze badania i komentarze ekspertów, w tym badania porównawcze i analizy przeprowadzone przez Geoffreya Hintona, zakwestionowały tę metaforę, dokumentując pojawiające się umiejętności rozumowania i rozwiązywania problemów we współczesnych LLMach.
Użycie Papuga stochastyczna jest neologizmem używanym przez sceptyków sztucznej inteligencji do sugerowania braku zrozumienia przez LLMy. Jego zastosowanie rozszerzyło się jeszcze bardziej, gdy Sam Altman, dyrektor generalny Open AI, użył tego terminu ironicznie, pisząc na Twitterze: „i am a stochastic parrot and so r u” (pol. "jestem papugą stochastyczną, jak i ty"), pokazując, że przez taki tok rozumowania, można również deprecjonować ludzi jako zwykłych predyktorów następnego słowa, które po prostu generują statystycznie prawdopodobne sekwencje.
Debata Niektóre LLMy, takie jak ChatGPT, są w stanie komunikować się z użytkownikami, prowadząc konwersacje przypominające te prowadzone przez ludzi. Rozwój tych nowych systemów pogłębił dyskusję na temat tego, w jakim stopniu LLM-y rozumieją wiedzę, a w jakim tylko ją „powtarzają”.
Subiektywne doświadczenia W umyśle człowieka słowa i język odpowiadają rzeczom, których doświadczył. W przypadku LLMów słowa mogą odpowiadać wyłącznie innym słowom i wzorcom użycia wprowadzonym do danych treningowych. Zwolennicy teorii papug stochastycznych dochodzą zatem do wniosku, że LLMy nie są w stanie faktycznie rozumieć języka.
Halucynacje Potwierdza się tendencję LLMów do przedstawiania fałszywych informacji jako faktów. Halucynacje to zjawisko,generowania informacji pasujących do pewnego wzorca, ale nie do rzeczywistości. Fakt, że LLMy nie potrafią odróżnić faktów od fikcji, prowadzi do twierdzenia, że nie potrafią połączyć słów ze zrozumieniem świata, co powinno być cechą języka.
Benchmarki i eksperymenty Jednym z argumentów przeciwko hipotezie, że LLM-y są stochastycznymi papugami, są ich wyniki w benchmarkach dotyczących rozumowania, zdrowego rozsądku i rozumienia języka. W 2023 niektóre LLMy uzyskały dobre wyniki w wielu testach rozumienia języka, takich jak Super General Language Understanding Evaluation (SuperGLUE). Test GPT-4 uzyskał wynik ponad 90% w teście Uniform Bar Examination i 93% dokładności w teście matematycznym zadań olimpiady szkolnej, co przewyższa oczekiwania w zakresie dopasowywania wzorców. Według badania z 2022 takie testy i płynność wielu odpowiedzi LLM sprawiają, że aż 51% specjalistów ds. sztucznej inteligencji wierzy, że przy wystarczającej ilości danych mogą naprawdę rozumieć język.
Odpowiedzi ekspertów Wiodący badacze sztucznej inteligencji kwestionują pogląd, że LLMy po prostu papugują dane treningowe.
Geoffrey Hinton twierdzi, że „aby dokładnie przewidzieć następne słowo, trzeba zrozumieć zdanie” – pogląd ten przedstawił w programie 60 Minutes w 2023. Wykorzystuje również łamigłówki logiczne, aby wykazać, że LLMy rzeczywiście rozumieją język. Raport techniczny GPT-4 wykazał wyniki na poziomie ludzkim w egzaminach zawodowych i akademickich (np. Uniform Bar Exam i USMLE), co podważa charakterystykę tzw papugowania.
Zobacz też
chiński pokój twierdzenie o nieskończonej liczbie małp
Przypisy
Linki zewnętrzne
"On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜" w Wikimedia Commons
Kategoria:Filozofia sztucznej inteligencji Kategoria:Duże modele językowe Kategoria:Chatboty Kategoria:Semiotyka