Spisu treści:
- Definicja - Co oznacza wykrywanie wartości odstających?
- Techopedia wyjaśnia wykrywanie wartości odstających
Definicja - Co oznacza wykrywanie wartości odstających?
Wykrywanie wartości odstających to proces wykrywania, a następnie wykluczania wartości odstających z danego zestawu danych.
Wartość odstającą można zdefiniować jako kawałek danych lub obserwacji, które drastycznie odbiegają od danej normy lub średniej zbioru danych. Wartość odstająca może być spowodowana po prostu przypadkiem, ale może również wskazywać na błąd pomiaru lub że dany zestaw danych ma rozkład grubościenny.
Oto prosty scenariusz w wykrywaniu wartości odstających, proces pomiaru konsekwentnie wytwarza odczyty od 1 do 10, ale w niektórych rzadkich przypadkach otrzymujemy pomiary większe niż 20.
Te rzadkie pomiary przekraczające normę nazywane są wartościami odstającymi, ponieważ „leżą poza” krzywą rozkładu normalnego.
Techopedia wyjaśnia wykrywanie wartości odstających
Tak naprawdę nie ma znormalizowanej i sztywnej metody matematycznej do określania wartości odstającej, ponieważ tak naprawdę różni się ona w zależności od zbioru lub populacji danych, więc jej określenie i wykrycie ostatecznie staje się subiektywne. Dzięki ciągłemu próbkowaniu w danym polu danych można ustalić cechy odstające, aby ułatwić wykrywanie.
Istnieją oparte na modelach metody wykrywania wartości odstających i zakładają, że wszystkie dane pochodzą z rozkładu normalnego i zidentyfikują obserwacje lub punkty, które uważa się za mało prawdopodobne na podstawie średniej lub odchylenia standardowego, jako wartości odstające. Istnieje kilka metod wykrywania wartości odstających:
- Test Grubb dla wartości odstających - Opiera się to na założeniu, że dane mają rozkład normalny i usuwa po jednym wartości odstające z iteracją testu, dopóki nie można znaleźć żadnych wartości odstających.
- Test Q Dixona - Metoda ta, również oparta na normalności zbioru danych, testuje złe dane. Zauważono, że należy tego używać oszczędnie i nigdy więcej niż raz w zestawie danych.
- Kryterium Chauveneta - służy do analizy, czy wartość odstająca jest fałszywa lub nadal mieści się w granicach i może być uważana za część zestawu. Pobierana jest średnia i odchylenie standardowe i obliczane jest prawdopodobieństwo wystąpienia wartości odstającej. Wyniki określą, czy należy to uwzględnić, czy nie.
- Kryterium Pierce'a - Limit błędów jest ustalony dla serii obserwacji, po przekroczeniu których wszystkie obserwacje zostaną odrzucone, ponieważ już zawierają tak wielki błąd.
