Model fundamentalny, model podstawowy (ang. foundation model, FM) – model uczenia maszynowego lub głębokiego uczenia, który jest trenowany na dużych zbiorach danych, tak aby można go było stosować w szerokim zakresie przypadków użycia. Przykładami modeli fundamentalnych są duże modele językowe.
Budowa modeli fundamentalnych wymaga kosztownych zasobów – najbardziej zaawansowane modele pochłaniają setki milionów dolarów. Wynika to z potrzeby pozyskiwania i przetwarzania ogromnych zbiorów danych oraz zapewnienia odpowiedniej mocy obliczeniowej do ich trenowania. Adaptacja gotowego modelu fundamentalnego do określonego zastosowania istotnie redukuje koszty wdrożenia.
Wczesnymi przykładami modeli podstawowych są modele językowe takie jak seria GPT od OpenAI i BERT od Google. Oprócz tekstów, opracowano modele fundamentalne do różnych zastosowań:
Dla obrazów: DALL-E i Flamingo Do muzyki: MusicGen Sterowanie robotami: RT-2
Opracowywane są również modele fundamentalne dla takich dziedzin jak astronomia, radiologia, genetyka, muzyka, programowanie, prognozowanie szeregów czasowych, matematyka i chemia.
Adaptacja Modele podstawowe są z natury ogólnego zastosowania. Aby użyć ich w konkretnym przypadku, konieczna jest ich adaptacja. Modele muszą zostać dostosowane do wykonywania ich zadania, dzięki czemu mogą osiągnąć lepszą wydajność w danej specjalizacji.
Różne metody jak inżynieria podpowiedzi czy dostrajanie pozwalają na specjalizację modelu fundamentalnego mniejszym lub większym kosztem. Inżynierowie mogą też zmodyfikować samą sieć i zmniejszyć ilość parametrów z bilionów do ułamka tej wartości przez używanie ostatniej warstwy sieci neuronowej.
Przypisy
Kategoria:Przetwarzanie języka naturalnego Kategoria:Uczenie maszynowe Kategoria:Modelowanie języka