Metoda najszybszego spadku – algorytm numeryczny mający na celu znalezienie minimum zadanej funkcji celu.
Metoda najszybszego spadku jest modyfikacją metody gradientu prostego.
Algorytm Zadanie Metoda najszybszego spadku jest iteracyjnym algorytmem wyszukiwania minimum zadanej funkcji celu
gdzie
Założenia dla metody są następujące: (funkcja jest ciągła i różniczkowalna), jest ściśle wypukła w badanej dziedzinie.
Opis thumb|Ilustracja działania metody najszybszego spadku dla dwuwymiarowej funkcji celu. W każdym kroku, w zadanym kierunku wyszukiwana jest najmniejsza wartość funkcji celu. Działanie metody najszybszego spadku jest bardzo podobne do metody gradientu prostego. Na samym początku algorytmu wybierany jest punkt startowy W punkcie tym obliczany jest antygradient funkcji celu, który będzie stanowił kierunek poszukiwań w procedurze. Kolejne punkty są obliczane według wzoru:
Obliczenia kończy się, jeśli obliczony punkt spełnia warunek stopu algorytmu.
Różnicą pomiędzy metodą najszybszego spadku a metodą gradientu prostego jest sposób wyszukiwania wartości – dokonywana jest minimalizacja kierunkowa funkcji:
Algorytm ogólnie można zapisać: Wybierz punkt startowy Dokonaj minimalizacji kierunkowej funkcji względem
Sprawdź kryterium stopu, jeśli jest spełniony to STOP. W przeciwnym wypadku powtórz punkt 2.
Metodami minimalizacji jednowymiarowej mogą być metoda złotego podziału, metoda dychotomii, metoda punktu środkowego, czy metoda Newtona.
Kryterium stopu W celu określenia, czy punkt w danym kroku dostatecznie dobrze przybliża minimum funkcji celu w metodzie najszybszego spadku, można użyć następujących kryteriów stopu (dla zadanej precyzji oraz normy ): (test stacjonarności),
Zbieżność thumb|Przykład niefortunnego wyboru punktu startowego w metodzie najszybszego spadku. Przy takim wyborze dla odpowiedniego rodzaju funkcji celu metoda charakteryzuje się wolną zbieżnością.
Metoda najszybszego spadku jest metodą o zbieżności liniowej. Oznacza to, iż przy spełnieniu założeń metody, odległości pomiędzy kolejnymi przybliżeniami a minimum funkcji maleją liniowo:
Metoda najszybszego spadku ma szybszą zbieżność w porównaniu z metodą gradientu prostego. Niemniej oba algorytmy należą do klasy algorytmów o złożoności liniowej.
Wadą metody jest wolna zbieżność przy niezbyt fortunnym wyborze punktu startowego. Dodatkowo metoda może być bardzo wrażliwa na błędy zaokrągleń.
Zobacz też metoda gradientu prostego metoda Newtona metoda Levenberga-Marquardta metoda złotego podziału optymalizacja
Bibliografia
Linki zewnętrzne Metoda najszybszego spadku Metody gradientowe optymalizacji statycznej
Kategoria:Metody numeryczne Kategoria:Metody optymalizacji