Problem eksplodującego gradientu () problem występujący w sztucznej inteligencji, występujący w trakcie uczenia głębokich lub rekurencyjnych sieci neuronowych gdy wartości gradientów funkcji straty rosną wykładniczo w procesie wstecznej propagacji błędu. Zjawisko to pojawia się najczęściej gdy podczas propagacji wstecznej gradient jest wielokrotnie mnożony przez macierze o wartościach własnych większych od jedności. Skutkiem tego są gwałtowne i niestabilne aktualizacje parametrów modelu, co uniemożliwia zbieżność algorytmu optymalizacyjnego i prowadzi do błędów obliczeniowych manifestujących się wartościami NaN (Not a Number).
Istnieje zjawisko odwrotne, nazywane problem zanikających gradientów.
Rozwiązania Przycinanie gradientu (ang. Gradient Clipping) to technika optymalizacyjna, która zapobiega niestabilności procesu uczenia poprzez sztuczne ograniczenia zbyt dużych wartości gradientów do z góry określonego progu. W praktyce wykonuje się to poprzez przeskalowanie całego wektora gradientu, gdy jego norma przekroczy ustaloną wartość maksymalną, co chroni parametry modelu przed gwałtownymi aktualizacjami.
Połączenia rezydualne (ang. skip connections) to rozwiązanie architektoniczne polegające na przekazywaniu sygnału wejściowego bezpośrednio do dalszych warstw sieci z pominięciem bloków transformacji. Dzięki ułatwieniu swobodnego przepływu gradientu w procesie wstecznej propagacji błędu, technika ta skutecznie chroni przed jego zanikaniem lub eksplozją i umożliwia stabilne trenowanie głębokich sieci neuronowych.
Inicjalizacja wag to proces nadawania początkowych wartości parametrom sieci neuronowej w taki sposób, aby utrzymać poziomy sygnału i gradientów na stabilnym poziomie w kolejnych warstwach. Odpowiednio dobrany rozkład wartości początkowych - dostosowany do użytej funkcji aktywacji - zapobiega eksplozji lub zanikaniu gradientu już na samym początku procesu uczenia.
Przypisy
Kategoria:Sztuczna inteligencja