Zbiór uczący, walidacyjny i testowy – typowy podział danych wejściowych stosowany w uczeniu maszynowym przy budowaniu algorytmów, które uczą się przewidywania na podstawie dostarczonych danych. Zbiory uczący, walidacyjny i testowy powinny pochodzić z tej samej populacji statystycznej.
Zbiór uczący (dane treningowe, dane uczące, próba ucząca, zestaw uczący) to zbiór danych używany do trenowania algorytmu uczenia maszynowego. Dzięki temu zbiorowi algorytm może nauczyć się wzorców, zależności, czy dopasować oszacowania parametrów modelu (wag w sieci neuronowej, współczynników w regresji, podziałów w drzewie klasyfikacyjnym). Zwykle ten zbiór danych jest największy.
Zbiór walidacyjny (dane walidacyjne, próba walidacyjna, zestaw walidacyjny) służy do dostrajania hiperparametrów modelu i monitorowania jego wydajności w trakcie treningu (np. w celu zapobiegania przeuczeniu).
Przykładem hiperparametru w sztucznych sieciach neuronowych jest liczba jednostek ukrytych (tzw. sztucznych neuronów) w każdej warstwie - zbyt duża liczba neuronów powoduje zbyt ścisłe dopasowanie sieci uczącej do danych, zbyt mała liczba neuronów powoduje słabą zdolność przewidywania przez sieć, dlatego trzeba zmniejszyć lub zwiększać liczbę neuronów sieci w trakcie uczenia, kontrolując przebieg uczenia za pomocą zbioru walidacyjnego: funkcja kosztu obliczona dla zbioru walidacyjnego zaczyna rosnąć, pomimo że maleje funkcja kosztu dla zbioru uczącego, to oznacza, że następuje zbytnie dopasowanie modelu do zbioru uczącego (por. rysunki). W takiej sytuacji zmniejsza się liczbę neuronów sieci i powraca się do proces uczenia za pomocą zbioru uczącego. Innym rozwiązaniem jest zakończenie procesu uczenia i przyjęcie modelu, dla którego występował najmniejszy błąd, obliczony na zbiorze walidacyjnym.
Zbiór testowy (dane testowe, próba testowa, zestaw testowy) służy do ostatecznej oceny modelu. Pozwala ocenić, czy model dobrze poradzi sobie na nowych, nieznanych (nieużywanych w procesie uczenia i walidacji) danych.
Typowy podział danych na zestaw uczący, walidacyjny i testowy to 50–80% / 10–25% / 10–25%.
Zamieszanie terminologiczne W literaturze dotyczącej uczenia maszynowego niekiedy zamienia się miejscami definicje zbiorów „walidacyjnego” i „testowego”. Według Briana Ripleya jest to „najbardziej rażący przykład zamieszania terminologicznego, które szerzy się w badaniach nad sztuczną inteligencją”.
Zobacz też
perceptron sieć neuronowa sztuczny neuron
Przypisy
Kategoria:Uczenie maszynowe