Regresja liniowa

Czym jest analiza regresji liniowej?

Analiza regresji liniowej modeluje zależność między zmienną zależną a jedną lub kilkoma zmiennymi niezależnymi.

Krótko mówiąc: wyjaśnia lub przewiduje jedną zmienną za pomocą liniowej kombinacji jednej lub kilku innych zmiennych.

Model szacuje, o ile zmienia się zmienna zależna przy zmianie każdej zmiennej niezależnej o jedną jednostkę, oraz ocenia, jak dobrze model pasuje do danych.

Rodzaje regresji

• Jeśli występuje jedna zmienna niezależna, mówimy o prostej regresji liniowej.
• Jeśli występuje wiele zmiennych niezależnych, mówimy o wielorakiej regresji liniowej.

Uwaga: w regresji liniowej poziom pomiaru zmiennej zależnej musi być metryczny. Jeśli jest ona kategorialna (nominalna lub porządkowa), stosuje się regresję logistyczną.

Prosta regresja liniowa

Celem prostej regresji liniowej jest przewidywanie wartości zmiennej zależnej na podstawie jednej zmiennej niezależnej.

• Im silniejsza zależność liniowa między dwiema zmiennymi, tym dokładniejsza predykcja.
• Ta siła pokazuje, jak dużą część zróżnicowania zmiennej zależnej można wyjaśnić zmienną niezależną.

Zależność między zmiennymi można przedstawić na wykresie rozrzutu.

• O silnej zależności liniowej mówimy wtedy, gdy punkty danych układają się blisko wzdłuż linii prostej.
• O słabej zależności mówimy wtedy, gdy punkty danych są bardziej rozproszone.
• Aby wyznaczyć tę prostą, regresja liniowa wykorzystuje metodę najmniejszych kwadratów.

Obliczanie prostej regresji liniowej

Prostą regresji można opisać następującym równaniem:

Definicja „współczynników regresji”:

• a : punkt przecięcia z osią y (wyraz wolny)
• b : nachylenie prostej (współczynnik kierunkowy)
• y z daszkiem: oszacowana wartość y (zmienna zależna)

Krótko mówiąc: korzystając z powyższego równania, dla każdej wartości x szacuje się odpowiadającą jej wartość y.

Przykład prostej regresji liniowej

W naszym przykładzie wzrost osób służy do oszacowania ich wagi.

• Zmienna niezależna: wzrost
• Zmienna zależna: waga

• „Idealne” oszacowanie: wszystkie punkty (wartości zmierzone) leżą dokładnie na jednej linii prostej.
• W praktyce: prawie nigdy tak nie jest.
• Dlatego: należy znaleźć prostą, która leży jak najbliżej punktów danych.
• Cel: utrzymać błąd oszacowania (epsilon) na jak najmniejszym poziomie.

Błąd oszacowania

• Celem jest utrzymanie błędu oszacowania na jak najmniejszym poziomie.
• Oznacza to, że odległość między wartością oszacowaną a wartością rzeczywistą powinna być jak najmniejsza.
• Ta różnica (błąd) nazywa się resztą.
• Resztę oznacza się skrótem e (błąd) i można ją przedstawić grecką literą ε.

Podczas obliczania prostej regresji współczynniki regresji (a i b) wyznacza się tak, aby suma kwadratów reszt była minimalna. (metoda zwykłych najmniejszych kwadratów)

Współczynnik regresji b

Znak współczynnika regresji b wskazuje kierunek zależności:

• b > 0: występuje dodatnia zależność liniowa między x i y (im większe x, tym większe y)
• b < 0: występuje ujemna zależność liniowa między x i y (im większe x, tym mniejsze y)
• b = 0: model nie wskazuje zależności liniowej między x i y

Standaryzowane współczynniki regresji oznacza się jako beta. Wartości te są porównywalne między predyktorami, ponieważ jednostki zostały usunięte.

Wieloraka regresja liniowa

W przeciwieństwie do prostej regresji liniowej wieloraka regresja liniowa pozwala uwzględnić więcej niż jedną zmienną niezależną.

Celem jest oszacowanie jednej zmiennej na podstawie kilku innych zmiennych. Podobnie jak w prostej regresji liniowej zmienna, która ma zostać oszacowana, nazywana jest zmienną zależną (kryterium). Zmienne używane do predykcji nazywane są zmiennymi niezależnymi (predyktorami).

Wieloraka regresja liniowa jest wykorzystywana w wielu różnych dziedzinach, takich jak badania rynku, zdrowie i medycyna, ekonomia i finanse czy nauka o danych i uczenie maszynowe.

We wszystkich tych obszarach istotne jest ustalenie, jak różne czynniki są związane z daną zmienną.

Obliczanie wielorakiej regresji liniowej

Równanie regresji wielorakiej z k zmiennymi niezależnymi ma postać:

gdzie:

• y jest zmienną zależną (zmienną objaśnianą)
• x₁, x₂, …, x_k są zmiennymi niezależnymi (objaśniającymi)
• b₁, b₂, …, b_k są współczynnikami regresji
• a jest punktem przecięcia z osią y (wyrazem wolnym)

Współczynniki można teraz interpretować podobnie jak w równaniu regresji liniowej.

Jeśli wszystkie zmienne niezależne mają wartość 0, otrzymaną wartością jest a.

Jeśli zmienna niezależna x_i wzrośnie o jedną jednostkę, przewidywana wartość y zmieni się o b_i, przy stałych wartościach pozostałych zmiennych niezależnych.

Współczynnik determinacji R²

Do oceny, jak dobrze model regresji przewiduje lub wyjaśnia zmienną zależną, stosuje się dwie główne miary: współczynnik determinacji R² oraz standardowy błąd oszacowania.

Współczynnik determinacji R², nazywany także odsetkiem wyjaśnionej wariancji, wskazuje, jaka część wariancji jest wyjaśniana przez zmienne niezależne. Im więcej wariancji można wyjaśnić, tym lepszy model.

Aby obliczyć R², wariancję wartości oszacowanych odnosi się do wariancji wartości zaobserwowanych:

Skorygowane R²

Na współczynnik determinacji R² wpływa liczba użytych zmiennych niezależnych. Im więcej zmiennych niezależnych uwzględniono w modelu, tym większa jest wariancja wyjaśniona R². Aby to uwzględnić, stosuje się skorygowane R².

Standardowy błąd oszacowania

Standardowy błąd oszacowania opisuje odchylenie standardowe reszt. Daje to wyobrażenie o tym, jak bardzo predykcja różni się od wartości zaobserwowanej. W ujęciu graficznym standardowy błąd oszacowania oznacza rozproszenie wartości zaobserwowanych wokół prostej regresji.

Współczynnik determinacji i standardowy błąd oszacowania stosuje się zarówno w prostej, jak i wielorakiej regresji liniowej.

Standaryzowany i niestandaryzowany współczynnik regresji

Współczynniki regresji można podawać w formie niestandaryzowanej lub standaryzowanej. Współczynniki niestandaryzowane to te używane w równaniu regresji; oznacza się je jako b.

Standaryzowane współczynniki regresji otrzymuje się przez pomnożenie współczynnika regresji b_i przez odchylenie standardowe odpowiedniej zmiennej niezależnej S_xi i podzielenie przez odchylenie standardowe zmiennej zależnej S_y.

Założenia regresji liniowej

Aby sensownie interpretować wyniki analizy regresji, muszą być spełnione określone warunki.

• Liniowość: między zmienną zależną a zmiennymi niezależnymi musi istnieć zależność liniowa.
• Homoscedastyczność: reszty muszą mieć stałą wariancję.
• Normalność: błędy mają rozkład normalny.
• Brak współliniowości: brak silnej korelacji między zmiennymi niezależnymi
• Brak autokorelacji: błędy powinny być niezależne.

Liniowość

W regresji liniowej przez punkty danych prowadzi się linię prostą. Ta prosta powinna jak najlepiej reprezentować wszystkie punkty. Jeśli punkty są rozmieszczone w sposób nieliniowy, prosta nie może spełnić tego zadania.

Na lewym wykresie istnieje zależność liniowa między zmienną zależną i zmienną niezależną, dlatego prosta regresji ma sens.

Na prawym wykresie zależność jest wyraźnie nieliniowa, dlatego dopasowanie prostej nie ma sensu. W takim przypadku współczynników nie można wiarygodnie interpretować, a błędy predykcji mogą być większe niż oczekiwano.

Dlatego ważne jest wcześniejsze sprawdzenie, czy między zmienną zależną a każdą zmienną niezależną istnieje zależność liniowa. Zwykle sprawdza się to graficznie.

Homoscedastyczność

Ponieważ w praktyce model regresji nigdy nie przewiduje zmiennej zależnej dokładnie, zawsze występuje błąd. Ten błąd musi mieć stałą wariancję w całym zakresie wartości przewidywanych.

Aby sprawdzić homoscedastyczność, na osi x umieszcza się wartości przewidywane przez model, a na osi y reszty. Reszty powinny być równomiernie rozproszone w całym zakresie. Jeśli tak jest, występuje homoscedastyczność.

Jeśli tak nie jest, występuje heteroscedastyczność. W przypadku heteroscedastyczności reszty mają różne wariancje w zależności od zakresu wartości przewidywanych.

Rozkład normalny błędu

Można to sprawdzić na dwa sposoby:

• Metody analityczne
• Metody graficzne

Metody analityczne

• Typowe testy:
  • Test Kołmogorowa-Smirnowa
  • Test Shapiro-Wilka
• Interpretacja:
  • Jeśli wartość p jest większa niż 0,05, nie ma istotnego odchylenia od rozkładu normalnego rozkładu reszt.
  • W takim przypadku nie ma podstaw do odrzucenia założenia o normalności reszt.
• Testy analityczne są jednak stosowane rzadziej, ponieważ:
  • Często wskazują rozkład normalny w małych próbach.
  • W dużych próbach bardzo szybko stają się istotne.
  • Może to prowadzić do odrzucenia hipotezy zerowej o rozkładzie normalnym nawet wtedy, gdy odchylenia są niewielkie.

Metody graficzne

• Typowe narzędzia graficzne:
  • Histogram
  • Wykres QQ (wykres kwantyl-kwantyl)
• Interpretacja wykresu QQ:
  • Im bliżej punkty danych leżą prostej, tym bardziej ich rozkład jest zbliżony do rozkładu normalnego.

Współliniowość

Współliniowość oznacza, że dwie lub więcej zmiennych niezależnych jest ze sobą silnie skorelowanych. Problem współliniowości polega na tym, że efektów poszczególnych zmiennych niezależnych nie można jednoznacznie od siebie oddzielić.

Jeśli na przykład istnieje silna korelacja między x₁ i x₂, trudno jest wyznaczyć b₁ oraz b₂. Jeśli obie zmienne są np. całkowicie identyczne, model regresji nie wie, jak duże powinny być b₁ i b₂, przez co staje się niestabilny.

Nie jest to krytyczne, jeśli model służy wyłącznie do predykcji, gdzie ważniejsza jest sama predykcja niż indywidualne efekty. Jeśli jednak model służy do pomiaru wpływu zmiennych niezależnych na zmienną zależną, współliniowość utrudnia interpretację współczynników.

Test istotności i regresja

Analizę regresji często przeprowadza się po to, aby formułować wnioski o populacji na podstawie próby. Dlatego współczynniki regresji oblicza się na podstawie danych z próby. Aby wykluczyć możliwość, że współczynniki regresji są jedynie przypadkowe i w innej próbie miałyby zupełnie inne wartości, wyniki testuje się statystycznie za pomocą testu istotności. Test ten odbywa się na dwóch poziomach:

• Test istotności dla całego modelu regresji
• Test istotności dla współczynników regresji

Należy jednak pamiętać, że muszą być spełnione założenia opisane w poprzedniej sekcji.

Sprawdza się tutaj, czy współczynnik determinacji R² w populacji różni się od zera. Hipoteza zerowa zakłada więc, że współczynnik determinacji R² w populacji wynosi zero. Aby potwierdzić lub odrzucić hipotezę zerową, oblicza się następujący test F:

Obliczoną wartość F należy teraz porównać z krytyczną wartością F. Jeśli obliczona wartość F jest większa niż krytyczna wartość F, hipoteza zerowa zostaje odrzucona, a R² różni się od zera w populacji. Krytyczną wartość F można odczytać z tabeli rozkładu F. Stopnie swobody w liczniku to k, a stopnie swobody w mianowniku to n-k-1.

Test istotności dla współczynników regresji

Następnie sprawdza się, które zmienne istotnie przyczyniają się do przewidywania zmiennej zależnej. Robi się to, testując, czy nachylenia (współczynniki regresji) różnią się od zera w populacji. Oblicza się następującą statystykę testową:

gdzie b_j jest j-tym współczynnikiem regresji, a s_{b_j} jest błędem standardowym b_j. Ta statystyka testowa ma rozkład t ze stopniami swobody n-k-1. Krytyczną wartość t można odczytać z tabeli rozkładu t.

Oblicz w numiqo

Jako przykład regresji liniowej tworzony jest model przewidujący masę ciała osoby. Zmienną zależną jest zatem masa ciała, natomiast wzrost, wiek i płeć wybrano jako zmienne niezależne. Dostępny jest następujący przykładowy zbiór danych:

Po skopiowaniu danych do kalkulatora statystycznego należy wybrać zmienne, które są dla Ciebie istotne. Następnie otrzymasz wyniki w formie tabeli.

Interpretacja wyników

Ta tabela pokazuje, że 75,4% zróżnicowania wagi można wyjaśnić wzrostem, wiekiem i płcią. Standardowy błąd oszacowania wynosi około 6,587 kg. Informuje on o typowej skali odchyleń wartości zaobserwowanych od wartości przewidywanych przez model.

Równanie regresji:

Waga = 47,379 · Wzrost + 0,297 · Wiek + 8,922 · czy_mężczyzna − 24,41

Interpretacja współczynników

• Jeśli wiek wzrośnie o jeden rok, zgodnie z modelem waga wzrośnie o 0,297 kg.
• Dla dychotomicznej zmiennej płeć:
  • Współczynnik oznacza różnicę.
  • Zgodnie z modelem mężczyzna waży 8,922 kg więcej niż kobieta.
• Jeśli wszystkie zmienne niezależne mają wartość zero, przewidywana waga wynosi −24,41.

Współczynniki standaryzowane (beta)

• Standaryzowane współczynniki beta nie mają jednostek, dlatego ułatwiają porównywanie predyktorów w tym samym modelu.
• Im większa wartość bezwzględna beta, tym silniejsza jest zależność danego predyktora ze zmienną zależną przy uwzględnieniu pozostałych predyktorów.
• W tej analizie regresji wiek ma najsilniejszy związek z wagą po uwzględnieniu pozostałych predyktorów.

Istotność współczynników

• Obliczone współczynniki odnoszą się do próby użytej w analizie regresji.
• Należy sprawdzić, czy wartości b różnią się od zera tylko przypadkowo, czy także w populacji.
• Hipoteza zerowa zakłada, że obliczona wartość b jest równa zero w populacji.
• Jeśli jest to prawdą, dane nie wskazują na istotną zależność liniową między daną zmienną niezależną a zmienną zależną po uwzględnieniu pozostałych predyktorów.

Wartości p

• Wartość p pozwala ocenić, czy współczynnik istotnie różni się od zera.
• Wartości p mniejsze niż 0,05 uznaje się za istotne.
• W tym przykładzie tylko wiek można uznać za istotny predyktor wagi osoby.

Regresja Lasso i Ridge

Lasso dodaje karę L₁, aby zmniejszyć część współczynników do zera. Stosuje się ją do automatycznego wyboru cech i zapobiegania nadmiernemu dopasowaniu. Możesz użyć kalkulatora regresji Lasso

Ridge stosuje karę L₂, aby równomiernie zmniejszyć współczynniki. Zachowuje wszystkie cechy, ale zmniejsza ich wpływ, poprawiając stabilność. Możesz użyć kalkulatora regresji Ridge