P:
Jak inżynierowie mogą oceniać zestawy szkoleniowe i zestawy testowe w celu wykrycia możliwego przeszacowania w uczeniu maszynowym?
ZA:Aby zrozumieć, jak to się robi, konieczne jest podstawowe zrozumienie ról różnych zestawów danych w typowym projekcie uczenia maszynowego. Zestaw szkoleniowy jest skonfigurowany tak, aby dać technologii punkt odniesienia - linię bazową danych, której program używa do podejmowania przewidywalnych i probabilistycznych decyzji. Zestaw testowy to miejsce, w którym testujesz maszynę na danych.
Nadmierne dopasowanie to syndrom uczenia maszynowego, w którym model nie w pełni pasuje do danych lub celu.
| Bezpłatne pobieranie: Uczenie maszynowe i dlaczego to ma znaczenie |
Jednym z nadrzędnych przykazań uczenia maszynowego jest to, że dane szkoleniowe i dane testowe powinny być osobnymi zestawami danych. Istnieje dość szeroki konsensus w tej sprawie, przynajmniej w wielu aplikacjach, z powodu pewnych specyficznych problemów z używaniem tego samego zestawu, którego użyłeś do szkolenia w celu przetestowania programu uczenia maszynowego.
Gdy program uczenia maszynowego wykorzystuje zestaw szkoleniowy, który można nazwać zasadniczo zestawem danych wejściowych, działa on na tym zestawie szkoleniowym, aby podejmować decyzje dotyczące wyników predykcyjnych. Jednym z bardzo podstawowych sposobów myślenia na ten temat jest to, że zestaw szkoleniowy jest „pokarmem” dla intelektualnego procesu komputerowego.
Teraz, gdy ten sam zestaw jest używany do testowania, maszyna często może zwracać doskonałe wyniki. To dlatego, że już widział te dane wcześniej. Ale głównym celem uczenia maszynowego w wielu przypadkach jest uzyskanie wyników dotyczących danych, których wcześniej nie widziano. Programy uczenia maszynowego ogólnego zastosowania są przystosowane do działania na różnorodnych zestawach danych. Innymi słowy, zasadą uczenia maszynowego jest odkrywanie, a zwykle nie uzyskuje się jej tak dużo, używając zestawu do szkolenia początkowego do celów testowych.
Oceniając zestawy szkoleniowe i zestawy testowe pod kątem możliwego przeszacowania, inżynierowie mogą ocenić wyniki i dowiedzieć się, dlaczego program może robić to inaczej w porównaniu z wynikami porównawczymi tych dwóch zestawów lub w niektórych przypadkach, w jaki sposób maszyna może zbyt dobrze radzić sobie z danymi treningowymi .
Opisując niektóre z tych problemów w uczeniu maszynowym w artykule z 2014 roku, Jason Brownlee z Machine Learning Mastery opisuje nadużywanie w ten sposób:
„Model wybrany ze względu na dokładność w zbiorze danych szkoleniowych zamiast dokładności w niewidzialnym zbiorze danych testowych najprawdopodobniej ma niższą dokładność w niewidzialnym zbiorze danych testowych”, pisze Brownlee. „Powodem jest to, że model nie jest tak uogólniony. Specjalizuje się w strukturze zestawu danych szkoleniowych (kursywa dodana). Nazywa się to nadmiernym dopasowaniem i jest bardziej podstępny niż myślisz.”
Mówiąc ogólnie, można powiedzieć, że specjalizując się w zbiorze danych szkoleniowych, program staje się zbyt sztywny. To kolejny metaforyczny sposób na sprawdzenie, dlaczego program uczenia maszynowego nie jest optymalnie obsługiwany przy użyciu zestawu szkoleniowego dla zestawu testowego. Jest to również dobry sposób na podejście do oceny tych dwóch różnych zestawów, ponieważ wyniki pokażą inżynierom wiele na temat działania programu. Chcesz mniejszej luki między dokładnością dla obu modeli. Chcesz się upewnić, że system nie jest przepełniony ani „precyzyjnie połączony” z określonym zestawem danych, ale jest to bardziej ogólne i może rosnąć i ewoluować na polecenie.
