Analiza głównych składowych

Autor: Baran Kaplan

W tym artykule omówię analizę głównych składowych oraz skutki tak zwanej „klątwy wymiarowości”. W analizie danych liczba wymiarów odpowiada liczbie cech opisujących obserwacje.

Wyobraź sobie, że przygotowujesz pizzę w piekarni. Możesz dodać warstwę ciasta, która trafi na każdy kawałek w podobnej proporcji, ale niektóre kawałki będą miały mniej salami, kiełbasy lub mozzarelli. Im więcej składników (nazwijmy je wejściami lub cechami) dodaje się do pizzy, tym większy staje się rozmiar danych i tym bardziej prawdopodobne, że zbiór danych będzie bardzo rzadkim, a być może niereprezentatywnym próbkowaniem tej przestrzeni. Tę sytuację nazywa się klątwą wymiarowości.

Analizę głównych składowych można wykorzystać do redukcji wymiarowości, a tym samym do przeciwdziałania problemowi klątwy wymiarowości. Jako przykład z praktyki można podać zastosowanie PCA do wykrywania i diagnozowania anomalii w ruchu internetowym.

Cel analizy głównych składowych

Celem analizy głównych składowych jest podsumowanie korelacji między zbiorem obserwowanych zmiennych za pomocą mniejszego zbioru kombinacji liniowych. Główne składowe są kombinacjami liniowymi zmiennych liczbowych. Oblicza się je tak, aby kolejne składowe były ze sobą nieskorelowane i wyjaśniały możliwie dużą część wariancji danych. Dzięki temu ograniczona liczba składowych może podsumować większość informacji zawartych w zmiennych wejściowych.

Celem jest więc utworzenie macierzy korelacji lub kowariancji dla tych zmiennych i oparcie na niej dalszej analizy. Gdy mówimy, że mamy rozwiązanie z dwiema składowymi, w praktyce oznacza to, że pierwsze dwie składowe przechwytują wystarczająco dużą część wariancji, aby były użyteczne dla całego zestawu zmiennych.

W tym miejscu pojawiła się potrzeba inżynierii cech. Jak jednak rozumieć rzutowanie na przestrzeń o niższej wymiarowości, czyli kawałek pizzy, które nadal zachowuje najważniejsze cechy danych pierwotnych? Jak rozwiązać problem klątwy wymiarowości za pomocą redukcji wymiarów?

Spróbuję wyjaśnić to w kilku krokach przy użyciu aplikacji numiqo. Przejdź do kalkulatora PCA, pobierz plik pizza.csv ze strony https://data.world/sdhilip/pizza-datasets, kliknij import i upuść plik w zaznaczonym przeze mnie obszarze.

Spójrzmy, jakie mamy zmienne:

• brand - marka pizzy
• id - numer analizowanej próbki
• mois - ilość wody na 100 g w próbce
• prot - ilość białka na 100 g w próbce
• fat - ilość tłuszczu na 100 g w próbce
• ash - ilość popiołu na 100 gramów w próbce, czyli pozostałość mineralna po spaleniu próbki żywności
• sodium - ilość sodu na 100 gramów w próbce
• carb - ilość węglowodanów na 100 gramów w próbce
• cal - liczba kalorii na 100 gramów w próbce

PYTANIE: Czy można zastąpić wiele skorelowanych zmiennych mniejszą liczbą składowych, które zachowują na przykład 90% wariancji danych, a jednocześnie ograniczają redundancję wynikającą z wysokiej korelacji między zmiennymi?

Wybierzmy nasze zmienne niezależne i zmienne metryczne. Chociaż id jest tutaj wyrażone jako liczba, numer identyfikacyjny jest cechą nominalną, podobnie jak kod pocztowy.

PCA i zasoby zmienności wspólnej

Warto krótko omówić kilka pojęć. W PCA zasób zmienności wspólnej określa, jaka część wariancji danej zmiennej jest wyjaśniana przez zachowane składowe. Przyjmuje wartości od 0 do 1. Niska wartość oznacza, że wybrany zestaw składowych słabo odtwarza daną zmienną.

Powyższy obraz pokazuje wartości zasobów zmienności wspólnej, gdy używana jest 1 składowa. Wartość własna reprezentuje całkowitą ilość wariancji, którą można wyjaśnić za pomocą konkretnej głównej składowej. Dla macierzy korelacji lub kowariancji wartości własne są nieujemne. Ich suma odpowiada całkowitej wariancji analizowanych zmiennych.

Wartość własna bliska zeru oznacza, że dana składowa wyjaśnia bardzo mało dodatkowej wariancji. Może to wynikać między innymi z silnej zależności liniowej między zmiennymi.

Elementy macierzy składowych są ładunkami, które opisują związek zmiennych z poszczególnymi składowymi. Wysoka wartość bezwzględna ładunku oznacza silny związek zmiennej z daną składową.

Interpretacja wyników analizy głównych składowych

Zinterpretujmy tabele w zakładce PCA.

Jedna składowa wyjaśnia około 66% wariancji, a po wybraniu 2 składowych udział ten wzrasta do 91%. Zastąpienie 6 zmiennych dwiema składowymi znacznie zmniejsza wymiarowość danych. Po określeniu liczby składowych możemy kontynuować analizę.

Dwie składowe wyjaśniają łącznie 91% wariancji.

Łączna wartość własna dwóch zachowanych składowych wynosi 5,484. Ponieważ analizujemy 6 standaryzowanych zmiennych, odpowiada to około 91% całkowitej wariancji. Należy tu zwrócić uwagę na dwie kwestie.

W wartościach zasobów zmienności wspólnej występuje zmienna o niskiej wartości, ale jeśli nawet w takim przypadku zróżnicowanie wariancji jest na wysokim poziomie, przy określaniu liczby składowych należy rozważyć alternatywy. Chociaż 1. składowa reprezentuje znaczną część wariancji, zasób zmienności wspólnej zmiennej mois, czyli ilości wody na 100 gramów w próbce, był dość niski. Gdybyśmy więc pracowali z jedną składową, zmniejszylibyśmy wymiarowość, ale słabo odtworzylibyśmy tę zmienną.

Po wybraniu 2 składowych wartości zasobów zmienności wspólnej były jednorodnie wysokie i uzyskano 91% reprezentacji wariancji. Wymiarowość danych została wyraźnie zmniejszona. Na wykresie osypiska widać, że kolejne składowe wyjaśniają już znacznie mniej dodatkowej wariancji. Na końcu widoczne są ładunki zmiennych dla 2 wybranych składowych.

Zgodnie z poniższymi wyborami składowych (1-2-3-6 sztuk) można łatwiej zobaczyć zależność między reprezentacją wariancji, macierzą zasobów zmienności wspólnej i macierzą składowych.