Model rozumujący (ang. , RLM , LRM) – duży model językowy (LLM), który został dodatkowo wytrenowany w celu rozwiązywania wieloetapowych zadań wymagających rozumowania. Modele te sprawdzają się lepiej w zadaniach logicznych, matematycznych i programistycznych niż tradycyjne modele LLM, ponieważ są wytrenowane do nawracania. Modele RLM do tradycyjnych „osi skalowania” (wielkość zbioru treningowego, liczba hiperparametrów modelu, moc obliczeniowa w trakcie uczenia) dodają nową oś: moc obliczeniową podczas testowania.
Modele rozumujące powstały jako odpowiedź na ograniczoną ilość dostępnych danych treningowych wysokiej jakości.
Historia Wczesne prace nad dostosowaniem uczenia przez wzmacnianie (RL) na podstawie informacji zwrotnej od człowieka wykazały, że modele można dostroić do wykonywania instrukcji z wykorzystaniem informacji zwrotnej od człowieka i nagród opartych na preferencjach. W 2022 roku naukowcy z Google Research wykazali, że podpowiadanie na podstawie łańcucha myśli poprawia zdolność dużych modeli do rozwiązywania złożonych zadań rozumowania.
Podobne wyniki wykazały, że proste polecenie "Myśl krok po kroku" może wywołać rozumowanie typu zero-shot learning.
2024 We wrześniu 2024 OpenAI wydała o1-preview, program LLM z ulepszonym rozumowaniem przez RL. Pełna wersja o1 ukazała się w grudniu 2024, wraz z opublikowaniem wyników następnego modelu o3.
W listopadzie 2024 Alibaba opublikowała wersje rozumujące swoich modeli LLM Qwen.
W grudniu 2024 Google wprowadził w Gemini funkcję Deep Research, która umożliwia wykonywania zadań wieloetapowych.
16 grudnia 2024 przeprowadzono eksperyment z wykorzystaniem modelu Llama 3B, który wykazał, że dzięki skalowaniu obliczeń w czasie testu stosunkowo mały model może uzyskać lepsze wyniki niż znacznie większy model Llama 70B w przypadku trudnych zadań wymagających rozumowania. Wynik ten podkreślił, że ulepszone strategie wnioskowania mogą odblokować ukryte możliwości rozumowania nawet w kompaktowych modelach.
2025 W styczniu 2025 firma DeepSeek wydała model R1, który jest konkurencyjny w stosunku do o1 przy niższych kosztach. 25 stycznia 2025 DeepSeek opublikowała model DeepSeek R1 z funkcją umożliwiającą jednoczesne korzystanie z możliwości wyszukiwania i wnioskowania, co pozwala na efektywniejszą integrację pobierania danych z procesami wnioskowania.
2 lutego 2025 OpenAI wydała Deep Research integrujące wnioskowanie i wyszukiwanie w sieci, dzięki czemu użytkownicy mogą wysyłać złożone zadania wymagające wieloetapowego wnioskowania i syntezy danych z wielu źródeł. Bazuje na modelu o3, a generowanie raportów wnioskowania mogło zająć od 5 do 30 minut.
Uczenie przez wzmacnianie Trening RLMów za pomocą uczenia przez wzmacnianie polega na skonstruowaniu modelu nagrody aby kierować procesem RL. Intuicyjnie model nagrody opisuje, jak pożądana/właściwa/dobra jest reakcja na dane polecenie. W przypadku RLMa polecenie opisuje zadanie wymagające rozumowania, a nagroda będzie wysoka, jeśli odpowiedź rozwiąże zadanie, lub niska, jeśli odpowiedź nie rozwiąże zadania.
W przypadku RLMów odpowiedź modelu można podzielić na wiele kroków, w takim przypadku zapisuje się je jako .
Model nagradzania wyniku Model nagradzania wyniku (ang. outcome reward model, ORM), to technika obliczająca nagrodę za krok określone na podstawie ostatecznej odpowiedzi: .
ORM jest zwykle trenowany poprzez regresję logistyczną, która minimalizuje stratę entropii krzyżowej.
DeepSeek skorzystał z techniki ORM do trenowania modelu R1.
Model nagradzania procesu Model nagradzania procesu (ang. process reward model, PRM), to technika nagradzania obliczająca nagrodę za krok określony na podstawie dotychczasowych kroków: .
Biorąc pod uwagę częściową ścieżkę kroków można zapytać człowieka, czy dotychczasowe kroki były poprawne, niezależnie od tego, czy ostateczna odpowiedź będzie poprawna. Można to następnie wykorzystać jako binarny sygnał nagrody. Ponieważ etykiety ludzkie są kosztowne, można udoskonalić model bazowy, aby przewidywał etykiety ludzkie. PRM jest zwykle trenowany metodą regresji logistycznej na etykietach ludzkich, tj. poprzez minimalizację straty entropii krzyżowej pomiędzy prawdziwymi etykietami a etykietami przewidywanymi.
OpenAI w 2023 opublikowała 800 tys. etykiet kroków dla 75 tys. procesów, zebranych w sposób manualny. Osoba etykietująca miała do dyspozycji kroki rozwiązania i oznaczana ścieżkę jako „pozytywną”, jeśli krok postępuje w kierunku rozwiązania, „neutralną”, jeśli nie jest błędna, ale nie postępuje w kierunku rozwiązania, i „negatywną”, jeśli jest błędna. W momencie wprowadzenia etykiety „negatywnej” osoba etykietująca przestaje etykietować dane kroki myślenia.
Ograniczenia Na rok 2025, modele rozumujące są poddawane głównie benchmarkom, które skupiają się na problemach matematycznych i programistycznych, które stanowią tylko podzbiór problemów rozumowania. Na przykładzie zagadki wież Hanoi, na rok 2025 można wyróżnić 3 kategorie złożoności (w oparciu o wiodące modele rozumujące):
Problemy małej złożoności (problem wież do 3 słupków): klasyczne LLMy działają lepiej niż LRMy Problemy średniej złożoności (problem wież z 4 do 10 słupków): LRMy działają lepiej niż LLMy Problemy dużej złożoności (problem wież z ponad 11 słupkami): wszystkie modele przestają działać
W problemach małej złożoności, przyczyną gorszej wydajności modeli rozumujących w porównaniu z LLMami jest nadmierne myślenie. Głównymi przyczynami załamania modeli rozumujących w problemach dużej złożoności są koszta znalezienia i weryfikacji, które wymagają znacznie więcej obliczeń niż samo wykonanie danego algorytmu, limit tokenów wyjściowych modeli rozumujących, struktura definiowania problemu jak i same ograniczenia kognitywne modeli.
Przykładowe modele Claude Sonnet 3.7 od Anthropic Gemini 2.5 Pro i 2.0 Flash Thinking od Google Grok 3 i 4 od xAI Magistral od Mistral AI o1, o3 od OpenAI R1 od DeepSeek
Zobacz też automatyczne rozumowanie papuga stochastyczna
Przypisy
Kategoria:Automatyczne rozumowanie Kategoria:Duże modele językowe Kategoria:Uczenie maszynowe Kategoria:Sztuczna inteligencja Kategoria:Przetwarzanie języka naturalnego