Dom Audio W jaki sposób inżynierowie mogą wykorzystywać zwiększanie gradientu w celu ulepszenia systemów uczenia maszynowego?

W jaki sposób inżynierowie mogą wykorzystywać zwiększanie gradientu w celu ulepszenia systemów uczenia maszynowego?

Anonim

P:

W jaki sposób inżynierowie mogą wykorzystywać zwiększanie gradientu w celu ulepszenia systemów uczenia maszynowego?

ZA:

Podobnie jak inne rodzaje wzmocnienia, wzmocnienie gradientu ma na celu przekształcenie wielu słabych uczniów w jednego silnego ucznia, w rodzaju cyfrowego „crowdsourcingu” potencjału uczenia się. Innym sposobem, w jaki niektórzy wyjaśniają zwiększanie gradientu, jest to, że inżynierowie dodają zmienne, aby dostroić niejasne równanie, aby uzyskać bardziej precyzyjne wyniki.

Zwiększanie gradientu jest również opisywane jako podejście „iteracyjne”, przy czym iteracje mogą być scharakteryzowane jako dodanie pojedynczych słabych uczniów do jednego modelu silnego ucznia.

Bezpłatne pobieranie: Uczenie maszynowe i dlaczego to ma znaczenie

Oto przekonujący opis tego, jak spojrzeć na rodzaj implementacji zwiększania gradientu, która poprawi wyniki uczenia maszynowego:

Administratorzy systemu najpierw stworzyli zestaw słabych uczniów. Pomyśl o nich, na przykład, jako o tablicy jednostek AF, z których każda siedziała wokół wirtualnego stołu i pracowała nad problemem, na przykład klasyfikacją obrazu binarnego.

W powyższym przykładzie inżynierowie najpierw ważą każdego słabego ucznia, być może arbitralnie, przypisując poziom wpływu A, B, C itd.

Następnie program uruchomi dany zestaw obrazów szkoleniowych. Następnie, biorąc pod uwagę wyniki, ponownie przeanalizuje szereg słabych uczniów. Jeśli A zgadnie znacznie lepiej niż B i C, wpływ A zostanie odpowiednio zwiększony.

W tym uproszczonym opisie ulepszenia algorytmu wzmocnienia stosunkowo łatwo jest zobaczyć, jak bardziej złożone podejście przyniesie lepsze wyniki. Słabe osoby uczące się „wspólnie myślą”, a tym samym optymalizują problem ML.

W rezultacie inżynierowie mogą zastosować „kompleksowe” podejście do zwiększania gradientu w prawie każdym projekcie ML, od rozpoznawania obrazu do klasyfikacji rekomendacji użytkownika lub analizy języka naturalnego. Zasadniczo jest to podejście „ducha zespołu” do ML i takie, które przyciąga uwagę niektórych potężnych graczy.

W szczególności zwiększanie gradientu często działa z funkcją różniczkowania strat.

W innym modelu stosowanym do wyjaśnienia wzmocnienia gradientu, inną funkcją tego rodzaju wzmocnienia jest możliwość wyodrębnienia klasyfikacji lub zmiennych, które na szerszym obrazie są po prostu szumem. Poprzez rozdzielenie drzewa regresji lub struktury danych każdej zmiennej na domenę jednego słabego ucznia, inżynierowie mogą budować modele, które będą dokładniej „brzmiały” jako symbole szumu. Innymi słowy, znacznik objęty pechowym słabym uczniem zostanie zmarginalizowany, ponieważ ten słaby uczeń zostanie ponownie obciążony w dół i będzie miał mniejszy wpływ.

W jaki sposób inżynierowie mogą wykorzystywać zwiększanie gradientu w celu ulepszenia systemów uczenia maszynowego?