Mieszanka ekspertów (, MoE) – technika uczenia maszynowego, w której używa się wielu sieci ekspertów do podziału przestrzeni problemu na jednorodne regiony. MoE reprezentuje formę uczenia się zespołowego.
Podstawowa teoria Bazowa wersja MoE składa się z następujących komponentów:
Eksperci , z takimi samymi danymi wejściowymi i produkcją wyników . Funkcja wagi , który przyjmuje dane wejściowe i generuje wektor wyników lub wektor prawdopodobieństw zbiór parametrów . Parametr jest dla funkcji ważenia, a parametry są dla ekspertów. Dla danych wejściowych mieszanka ekspertów tworzy pojedynczy wynik poprzez połączenie według ciężarów przez funkcję łączenia jak .
Uczenie głębokie MoE znalazło zastosowanie w uruchamianiu największych modeli dzięki możliwości wykonywania obliczeń warunkowych dzięki czemu aktywowane są tylko te części modelu, które są najbardziej odpowiednie dla danych wejściowych.
Równoważenie obciążenia W przypadku MoE zwykle występują problemy z równoważeniem obciążeń. Niektórzy eksperci są używani często, inni zaś rzadko lub wcale. Aby zachęcić funkcję wagi do wybierania każdego eksperta z równą częstotliwością i zrównoważyć obciążenie, każda warstwa MoE może mieć dodatkową pomocniczą funkcje celu w architekturze Switch Transformer.
Jeżeli jest liczbą ekspertów, to dla danej serii zapytań pomocnicza funkcja celu dla tej serii wynosi: jest częścią zapytań, które wybrały eksperta , a jest częścią wagi dla eksperta . Funkcja celu jest minimalizowana przy czyli, gdy każdy ekspert ma taką samą wagę w każdej sytuacji. mały|Architektura DeepSeek V2 MoE. Pokazana jest również ukryta uwaga wieloczłonowa Naukowcy z DeepSeek zaprojektowali wariant MoE z ekspertami współdzielonymi, którzy są zawsze odpytywani i ekspertów rutowanych, którzy są pytani pod pewnymi warunkami. Zauważyli oni, że standardowe równoważenie obciążenia do równego rozłożenia obciążenia ale również do replikowania tych samych umiejętności np. wyuczenie gramatyki języka angielskiego. Zaproponowali oni podejście, aby współdzieleni eksperci zostali wyuczeni wspólnych możliwości, które są często używane, a mniej używane zostały wyuczone przez ekspertów rutowanych.
Zaproponowali oni również strategię bez pomocniczej funkcji celu. Zamiast tego każdy ekspert ma dodatkową wagę . Jeśli ekspert jest pomijany, jego waga wzrasta i odwrotnie, jeżeli jest używany, jego waga maleje. Podczas przydzielania zadań, każde zadanie wybiera kilku najlepszych ekspertów, ale z uwzględnieniem wagi: Należy pamiętać, że wagi ekspertów mają znaczenie przy wyborze ekspertów, ale nie przy sumowaniu ich odpowiedzi.
Użycie w transformerach Warstwy MoE są używane w największych modelach opartych na transformerach, szczególnie w warstwie jednokierunkowej sieci neuronowej aby zmniejszyć koszt inferencji. Dla przykładu, 90% parametrów modelu PALM-540B jest używanych do warstw sieci jednokierunkowej.
W grudniu 2023 Mistral AI wypuścił model MoE Mixtral 8x7B. Jest to model z 46.7 mld parametrami i 8 ekspertami.
W marcu 2024 Databricks wypuścił model DBRX z 132 mld parametrami i 16 ekspertami.
W maju 2024 DeepSeek opublikował wersję modelu MoE V2 z 236 mld parametrów.
W kwietniu 2025 został wydany model Llama 4 Maverick z 128 ekspertami, każdy z nich mający 17 mld aktywnych parametrów, dających łącznie 400 mld parametrów.
Przypisy
Linki zewnętrzne Wykład CS336 Language Modeling from Scratch, Mixture of experts, Uniwersytet Stanforda
Kategoria:Uczenie maszynowe