Współliniowość

W analizie regresji współliniowość występuje, gdy dwie lub więcej zmiennych predykcyjnych (zmiennych niezależnych) jest ze sobą silnie skorelowanych. Może to prowadzić do niestabilności współczynników regresji i utraty możliwości ich interpretacji.

Dlaczego współliniowość jest problemem?

Współliniowość jest problemem, ponieważ utrudnia oszacowanie wpływu poszczególnych zmiennych niezależnych.

Głównym celem regresji jest określenie związku każdej zmiennej niezależnej ze zmienną zależną. Jeśli jednak zmienne są silnie skorelowane, może nie być już możliwe dokładne ustalenie, który wpływ pochodzi od której zmiennej. W rezultacie wartości p dla współczynników regresji stają się mniej wiarygodne.

Przy współliniowości współczynniki regresji mogą znacznie się zmieniać, gdy dane zmienią się tylko nieznacznie lub gdy zostaną dodane nowe zmienne.

Czy współliniowość zawsze jest problemem?

Współliniowość dotyczy tylko tych zmiennych niezależnych, które są silnie skorelowane. Jeśli interesują Cię inne zmienne, które nie wykazują współliniowości, możesz interpretować je normalnie.

Jeśli używasz modelu regresji do predykcji, współliniowość często jest mniejszym problemem niż przy interpretacji współczynników. Może jednak pogarszać stabilność predykcji, zwłaszcza dla nowych danych różniących się od danych użytych do dopasowania modelu.

Jak uniknąć współliniowości?

Aby uniknąć współliniowości, między predyktorami nie może występować zależność liniowa; dzieje się tak na przykład wtedy, gdy jedna zmienna jest wielokrotnością innej zmiennej. W takim przypadku, ponieważ zmienne są doskonale skorelowane, jedna zmienna wyjaśnia 100% drugiej zmiennej i uwzględnienie obu zmiennych w modelu regresji nie wnosi żadnej dodatkowej wartości. Jeśli między zmiennymi niezależnymi nie ma korelacji, nie występuje współliniowość.

W praktyce doskonała korelacja liniowa prawie nigdy nie występuje, dlatego o współliniowości mówimy wtedy, gdy poszczególne zmienne są ze sobą silnie skorelowane. W takim przypadku wpływu poszczególnych zmiennych nie można jednoznacznie od siebie oddzielić.

Zauważ, że współliniowość utrudnia interpretację współczynników regresji. Predykcja za pomocą modelu nadal może być użyteczna, ale jej stabilność należy sprawdzić na nowych danych.

Test współliniowości

Ponieważ w danym zbiorze danych zawsze może występować pewien stopień współliniowości, wprowadzono wskaźniki służące do jej oceny. Aby sprawdzić współliniowość, dla każdej zmiennej niezależnej tworzy się nowy model regresji. W tych modelach regresji pierwotna zmienna zależna jest pomijana, a jedna ze zmiennych niezależnych staje się w każdym przypadku zmienną zależną.

W ten sposób sprawdza się, jak dobrze jedna zmienna niezależna może zostać odtworzona przez pozostałe zmienne niezależne. Jeśli jedną zmienną niezależną można bardzo dobrze odtworzyć za pomocą pozostałych, jest to oznaka współliniowości.

Na przykład, jeśli x₁ można dokładnie odtworzyć z pozostałych zmiennych, model regresji nie może ustalić, czym jest b₁ ani jakie powinny być pozostałe współczynniki. Występuje wtedy doskonała współliniowość, a współczynników nie można wyznaczyć jednoznacznie.

Wartość tolerancji

Aby ustalić, czy występuje współliniowość, analizuje się tolerancję poszczególnych predyktorów. Tolerancję T_i dla i-tego predyktora oblicza się ze wzoru

Aby obliczyć R_i², tworzy się nowy model regresji, jak opisano powyżej. Model ten zawiera wszystkie predyktory, przy czym i-ty predyktor jest używany jako nowe kryterium (zmienna zależna). Pozwala to określić, jak dobrze i-ty predyktor może zostać odtworzony przez pozostałe predyktory.

Wartość tolerancji (T) poniżej 0,1 uznaje się za krytyczną i wskazującą na obecność współliniowości. W takim przypadku ponad 90% wariancji może zostać wyjaśnione przez pozostałe predyktory.

Współliniowość VIF

Inną miarą używaną do testowania współliniowości jest VIF (Variance Inflation Factor, czyli współczynnik inflacji wariancji). Statystykę VIF oblicza się ze wzoru

Im wyższa wartość VIF, tym bardziej prawdopodobna jest obecność współliniowości. W teście VIF wartości powyżej 10 uznaje się za krytyczne. Wartość VIF rośnie więc wraz ze wzrostem współliniowości.