Regresja logistyczna

Czym jest analiza regresji logistycznej?

Regresja logistyczna jest szczególnym przypadkiem analizy regresji. Jej podstawową odmianę stosuje się, gdy zmienna zależna ma dwie kategorie. Tak jest na przykład w przypadku decyzji zakupowej, która ma dwie wartości: kupuje produkt oraz nie kupuje produktu.

Analiza regresji logistycznej jest odpowiednikiem regresji liniowej, w której zmienna zależna modelu regresji musi być mierzona co najmniej na skali przedziałowej.

Za pomocą regresji logistycznej można opisywać zależności oraz szacować prawdopodobieństwo kategorii zmiennej zależnej.

Jeśli musisz obliczyć regresję logistyczną, możesz łatwo skorzystać z kalkulatora analizy regresji tutaj, na numiqo.com.

Cele analizy regresji logistycznej

W podstawowej postaci regresji logistycznej przewidywane są zmienne dychotomiczne (0 lub 1). Model szacuje prawdopodobieństwo wartości 1 (występowanie cechy).

W medycynie częstym zastosowaniem jest na przykład ustalenie, które zmienne są związane z chorobą. W tym przypadku 0 mogłoby oznaczać brak choroby, a 1 - chorobę. Następnie można zbadać związek wieku, płci i statusu palenia (palacz lub osoba niepaląca) z tą konkretną chorobą.

Regresja logistyczna i prawdopodobieństwa

W regresji liniowej zmienne niezależne (np. wiek i płeć) są wykorzystywane do oszacowania konkretnej wartości zmiennej zależnej (np. masy ciała).

W regresji logistycznej natomiast zmienna zależna jest dychotomiczna (0 lub 1) i szacuje się prawdopodobieństwo wystąpienia wyniku 1. Wracając do powyższego przykładu, oznacza to: Jak prawdopodobna jest choroba przy danym wieku, płci i statusie palenia osoby?

Obliczanie regresji logistycznej

Aby zbudować model regresji logistycznej, jako punkt wyjścia wykorzystuje się równanie regresji liniowej.

Jeśli po prostu zastosujesz regresję liniową do problemu logistycznego, wynik wygląda następująco:

Jak widać na wykresie, predykcje mogą przyjmować wartości od minus do plus nieskończoności. Regresja logistyczna szacuje jednak prawdopodobieństwa, a nie surowe wartości. Dlatego równanie musi zostać przekształcone.

W tym celu trzeba ograniczyć przewidywane wartości do przedziału od 0 do 1. Aby zapewnić, że możliwe są tylko wartości od 0 do 1, stosuje się funkcję logistyczną f.

Funkcja logistyczna

Model logistyczny opiera się na funkcji logistycznej. Szczególna cecha funkcji logistycznej polega na tym, że dla argumentów od minus do plus nieskończoności zwraca wartości większe od 0 i mniejsze od 1.

Funkcja logistyczna dobrze nadaje się do opisu prawdopodobieństwa P(y=1). Zastosowanie funkcji logistycznej do predyktora liniowego daje:

Dzięki temu, niezależnie od tego, gdzie znajdują się wartości x, predykcje pozostają w przedziale od 0 do 1. Nowy wykres wygląda teraz tak:

Prawdopodobieństwo, że dychotomiczna zmienna zależna y jest równa 1 dla danych wartości predyktorów, jest dane wzorem:

Aby obliczyć prawdopodobieństwo choroby w powyższym przykładzie, należy najpierw wyznaczyć parametry modelu b₁, b₂, b₃ oraz a. Po ich wyznaczeniu równanie dla powyższego przykładu ma postać:

Metoda największej wiarygodności

Do wyznaczenia parametrów modelu dla równania regresji logistycznej stosuje się metodę największej wiarygodności. Metoda największej wiarygodności jest jedną z kilku metod stosowanych w statystyce do estymacji parametrów modelu matematycznego. Innym dobrze znanym estymatorem jest metoda najmniejszych kwadratów, stosowana w regresji liniowej.

Funkcja wiarygodności

Aby zrozumieć metodę największej wiarygodności, wprowadzamy funkcję wiarygodności L. L jest funkcją nieznanych parametrów w modelu; w przypadku regresji logistycznej są to b₁,... b_k, a. Dlatego możemy również zapisać L(b₁,... b_k, a) lub L(θ), jeśli parametry są zebrane w θ.

L(θ) wskazuje, jak prawdopodobne jest wystąpienie zaobserwowanych danych. Gdy zmienia się θ, zmienia się prawdopodobieństwo zaobserwowanych danych.

Estymator największej wiarygodności

Estymator największej wiarygodności może być stosowany do estymacji złożonych modeli nieliniowych oraz liniowych. W regresji logistycznej celem jest oszacowanie parametrów b₁,... b_n, a, które maksymalizują tak zwaną funkcję log-wiarygodności LL(θ). Funkcja log-wiarygodności jest po prostu logarytmem L(θ).

Dla tej nieliniowej optymalizacji przez lata opracowano różne algorytmy, takie jak na przykład stochastyczny spadek gradientowy.

Wielomianowa regresja logistyczna

Jeśli zmienna zależna ma dwie kategorie (np. mężczyzna, kobieta), czyli jest dychotomiczna, stosuje się binarną regresję logistyczną. Jeśli jednak zmienna zależna ma więcej niż dwie kategorie, np. która koncepcja mobilności opisuje drogę danej osoby do pracy (samochód, transport publiczny, rower), należy zastosować wielomianową regresję logistyczną.

W wielomianowej regresji logistycznej wybiera się kategorię referencyjną. Pozostałe kategorie porównuje się z nią za pomocą osobnych równań. Jeśli kategorią referencyjną jest samochód, model opisuje na przykład dwa porównania:

• transport publiczny zamiast samochodu
• rower zamiast samochodu

Dla zmiennej zależnej z trzema kategoriami potrzebne są zatem dwa równania. Każde z nich opisuje, jak predyktory zmieniają szanse wyboru danej kategorii względem kategorii referencyjnej.

Interpretacja wyników

Zależność między zmienną zależną i zmiennymi niezależnymi w regresji logistycznej nie jest liniowa, dlatego współczynników regresji nie można interpretować w taki sam sposób. Z tego powodu w regresji logistycznej interpretuje się ilorazy szans.

Ilorazy szans

Iloraz szans (OR) jest miarą statystyczną stosowaną do określania siły związku lub wielkości efektu między dwoma zdarzeniami albo grupami, często w badaniach kliniczno-kontrolnych. Porównuje szanse wystąpienia zdarzenia w jednej grupie z szansami jego wystąpienia w innej grupie. W regresji logistycznej iloraz szans informuje, jak zmieniają się szanse wyniku przy zmianie predyktora o jedną jednostkę, przy stałych wartościach pozostałych predyktorów.

Szanse oznaczają stosunek prawdopodobieństwa wystąpienia zdarzenia do prawdopodobieństwa jego niewystąpienia. Iloraz szans to stosunek tych szans między dwiema grupami.

Pseudowspółczynniki R²

• W regresji logistycznej zmienna zależna jest nominalna lub porządkowa, więc wariancja w zwykłym sensie nie jest zdefiniowana. Dlatego klasycznego R² nie można obliczyć.
• Do oceny dopasowania modelu regresji logistycznej stosuje się tak zwane pseudowspółczynniki determinacji (nazywane także pseudo R²).
• Miary pseudo R² interpretuje się inaczej niż klasyczne R². Nie oznaczają one bezpośrednio odsetka wyjaśnionej wariancji.
• Najbardziej znane miary pseudo R² to:
  • R² Coxa i Snella
  • R² Nagelkerkego

Model zerowy

Do obliczenia R² Coxa i Snella oraz R² Nagelkerkego potrzebna jest wiarygodność z tak zwanego modelu zerowego L₀ oraz wiarygodność L₁ z obliczonego modelu (modelu pełnego).

Model zerowy to model, w którym nie uwzględnia się zmiennych niezależnych; L₁ jest wiarygodnością modelu ze zmiennymi niezależnymi.

R² Coxa i Snella

We współczynniku R² Coxa i Snella porównuje się stosunek funkcji wiarygodności modelu zerowego L₀ i L₁. Im lepiej model pełny jest dopasowany w porównaniu z modelem zerowym, tym niższy jest stosunek między L₀ i L₁. R² Coxa i Snella otrzymuje się ze wzoru:

R² Nagelkerkego

Pseudomiara determinacji Coxa i Snella nie może osiągnąć wartości 1 nawet dla modelu z doskonałą predykcją; koryguje to R² Nagelkerkego. Pseudowspółczynnik determinacji Nagelkerkego osiąga wartość 1, jeśli dopasowywany model daje doskonałą predykcję z prawdopodobieństwem 1.

R² McFaddena

R² McFaddena również wykorzystuje model zerowy i dopasowywany model do obliczenia R².

Test chi-kwadrat i regresja logistyczna

W przypadku regresji logistycznej test chi-kwadrat informuje, czy model jako całość jest istotny.

Porównuje się tutaj dwa modele. W jednym modelu używane są wszystkie zmienne niezależne, a w drugim modelu zmienne niezależne nie są używane.

Test chi-kwadrat porównuje dopasowanie modelu ze zmiennymi niezależnymi z dopasowaniem modelu zerowego, który ich nie zawiera.

Test chi-kwadrat informuje, czy model zawierający predyktory jest istotnie lepiej dopasowany niż model zerowy. Jeśli wartość p jest mniejsza niż 0,05, hipoteza zerowa o braku poprawy dopasowania zostaje odrzucona.

Przykład regresji logistycznej

Jako przykład regresji logistycznej analizowane jest zachowanie zakupowe w sklepie internetowym. Celem jest określenie czynników wpływających na to, czy po odwiedzeniu strony internetowej osoba kupi w sklepie internetowym natychmiast, później czy wcale. Sklep internetowy udostępnia dane zebrane w tym celu. Zmienna zależna ma zatem następujące trzy kategorie:

• Kup teraz
• Kup później
• Nie kupuj

Płeć, wiek i czas spędzony w sklepie internetowym są dostępne jako zmienne niezależne.

Wyniki regresji logistycznej

Regresje logistyczne, podobnie jak modele regresji liniowej, można łatwo i szybko obliczyć za pomocą numiqo.

Aby ponownie obliczyć powyższy przykład:

• Skopiuj i wklej tabelę dotyczącą zachowań zakupowych w sklepie internetowym do kalkulatora statystycznego numiqo.
• Wybierz kartę Regresja.
• Kliknij wybrane zmienne.

Wyniki są wyświetlane bezpośrednio poniżej w formie tabeli.