Dostrajanie () – podejście w uczeniu głębokim do uczenia transferowego, w którym parametry wstępnie wyszkolonego modelu sieci neuronowej są trenowane na nowych danych. Dostrajanie można przeprowadzić w całej sieci neuronowej lub tylko konkretnych warstwach. W drugim przypadku warstwy, które nie są dostrajane nie ulegają zmianie podczas propagacji wstecznej.

W przypadku niektórych architektur, takich jak konwolucyjne sieci neuronowe, zazwyczaj zamraża się pierwsze warstwy (najbliższe warstwie wejściowej), ponieważ przechwytują one cechy niższego poziomu, podczas gdy kolejne warstwy często rozróżniają cechy wyższego poziomu, które mogą być bardziej powiązane z zadaniem trenowanego modelu.

Modele wstępnie wytrenowane na dużych, ogólnych korpusach są zazwyczaj dostrajane przez ponowne wykorzystanie ich parametrów jako punkt startowy i dodanie warstwy specyficznej dla zadania, trenowanej od podstaw. Dostrajanie całego modelu też jest stosowane i często daje lepsze rezultaty ale jest bardziej kosztowne obliczeniowo.

Do metod dostrajania należą również metody dostrajania efektywnego parametrycznie (, PEFT), w których większość parametrów modelu pozostaje niezmieniona, a uczeniu podlega jedynie niewielki zbiór dodatkowych lub wybranych parametrów. Stanowią one alternatywę dla pełnego dostrajania dużych modeli, w tym dużych modeli językowych, ponieważ pozwalają ograniczyć liczbę trenowanych parametrów, a tym samym zmniejszyć wymagania pamięciowe i obliczeniowe. W literaturze wyróżnia się między innymi podejścia addytywne, selektywne, reparametryzacyjne i hybrydowe. Przykładami metod PEFT są adaptery, czyli niewielkie moduły dodawane do warstw modelu i trenowane dla konkretnego zadania, oraz LoRA (), w której wagi modelu bazowego pozostają zamrożone, a aktualizacja wag jest parametryzowana za pomocą trenowalnych macierzy niskiego rzędu. Niektóre metody PEFT, takie jak adaptery i LoRA, mogą w wielu zastosowaniach dawać wyniki zbliżone do pełnego dostrajania przy znacznie mniejszej liczbie trenowanych parametrów, a także ograniczyć koszty związane z przechowywaniem i obsługą wielu wariantów modelu. W przypadku adapterów umożliwia to współdzielenie jednego modelu bazowego między wieloma zadaniami bez konieczności przechowywania osobnej pełnej kopii modelu dla każdego z nich, natomiast w przypadku metod reparametryzacyjnych, takich jak LoRA, po zakończeniu uczenia możliwe jest połączenie parametrów adaptacyjnych z wagami modelu bazowego na potrzeby wnioskowania. Metody PEFT znajdują zastosowanie nie tylko w przetwarzaniu języka naturalnego, lecz także w modelach wizyjnych i modelach wielomodalnych.

Dostrajanie odbywa się zazwyczaj za pomocą uczenia nadzorowanego. To podejście można też połączyć z techniką RLHF, aby wytworzyć modele językowe, takie jak ChatGPT (dostrojona wersja modeli GPT).

Zobacz też nadmierne dopasowanie

Przypisy

Kategoria:Uczenie maszynowe