Stopnie swobody (df) w statystyce

Ten samouczek wyjaśnia, jak obliczać, stosować i interpretować stopnie swobody w statystyce.

Czym ogólnie są stopnie swobody?

Stopnie swobody to liczba niezależnych elementów informacji, które mogą się jeszcze zmieniać podczas estymacji.

Aby przedstawić to intuicyjnie, najpierw przyjrzymy się przykładowi z mechaniki, a następnie zastosujemy tę samą logikę w statystyce.

Przykład stopni swobody w mechanice

W mechanice stopnie swobody mówią nam, na ile niezależnych sposobów coś może się poruszać.

Jeśli punkt może poruszać się w lewo i w prawo, mamy jeden stopień swobody. Jeśli może również poruszać się w górę i w dół, mamy drugi. Jeśli może poruszać się do przodu i do tyłu, mamy trzeci.

Łącznie mamy więc trzy stopnie swobody. Dlatego punkt w przestrzeni trójwymiarowej ma trzy stopnie swobody.

Na przykład helikopter poruszający się w przestrzeni ma trzy stopnie swobody translacji: lewo-prawo, góra-dół oraz przód-tył. Tak, może także się obracać, ale tutaj pominiemy obrót.

A co, jeśli spojrzymy na windę? Winda może poruszać się tylko w górę i w dół, ponieważ ogranicza ją szyb. Dlatego, ponieważ może poruszać się tylko w górę i w dół, ma tylko jeden stopień swobody.

Jeśli mamy dwie windy, każda z nich może poruszać się w górę lub w dół. Jeśli potraktujemy je jako jeden układ, łącznie mamy dwa stopnie swobody.

Jeśli mamy trzy windy, mamy trzy stopnie swobody: każda może poruszać się w górę lub w dół.

Zróbmy więc kolejny krok i rozważmy inny przykład, który przybliży nas do tego, czym są stopnie swobody w statystyce.

Przykład stopni swobody

Wyobraź sobie, że w mieście znajduje się niewielkie wzgórze z dwiema kolejkami linowymi poruszającymi się w górę i w dół. Wagoniki są połączone liną. Gdy jeden jedzie w górę, drugi musi jechać w dół.

Dwa niezależne wagoniki dawałyby układowi dwa stopnie swobody, tak jak dwie windy. Lina łącząca wagoniki jest ograniczeniem, więc układ traci jeden stopień swobody.

Wyobraź sobie trzy wagoniki połączone jedną liną. Ponieważ długość liny jest stała, jeśli pierwszy wagonik przesunie się w górę o pewną odległość, łączny ruch drugiego i trzeciego wagonika w dół musi być równy tej samej odległości.

Na przykład drugi wagonik mógłby przesunąć się w dół dokładnie o tę odległość, podczas gdy trzeci pozostałby nieruchomy, albo mogłyby podzielić tę odległość w dowolnej proporcji.

Możemy też zapisać to ograniczenie matematycznie. Jeśli mierzymy wysokość każdego wagonika od ziemi, suma ich wysokości jest stała. Na przykład h1 + h2 + h3 może zawsze wynosić łącznie 300 m.

Ponieważ jedno równanie wiąże ze sobą h1, h2 i h3, tracimy jeden stopień swobody. Przy trzech zmiennych i jednym ograniczeniu mamy 3 - 1 = 2 stopnie swobody.

W mechanice ograniczenie jest namacalne: to lina. Można je także zapisać jako równanie. W statystyce ograniczenia są mniej widoczne, ale idea jest taka sama.

Czym są ograniczenia w statystyce?

W statystyce, szczególnie przy testowaniu hipotez, używamy próby, aby wypowiedzieć się o populacji. Liczba stopni swobody zależy między innymi od liczby obserwacji i parametrów estymowanych na podstawie danych.

Gdy na podstawie próby estymujemy wielkość taką jak średnia, nakładamy na dane ograniczenie. To zmniejsza liczbę wartości, które mogą zmieniać się niezależnie.

Przejdźmy przez test t i zobaczmy, jak działają stopnie swobody.

Jakie są stopnie swobody w teście t?

Test t, a dokładniej test t dla prób niezależnych, sprawdza, czy dwie grupy, na przykład grupa A i grupa B, różnią się istotnie.

Najpierw potrzebujemy więc dwóch prób. Jeśli zbierzemy po 8 osób w każdej grupie, mamy po 8 niezależnych punktów danych w każdej grupie.

Aby sprawdzić, czy te dwie próby się różnią, używamy średniej każdej grupy. Do jej obliczenia używamy tych samych danych, które testujemy.

Te średnie są jak lina w przykładzie mechanicznym: wiążą punkty danych ze sobą i tworzą ograniczenie.

Jeśli mamy próbę siedmiu osób i obliczamy średnią na podstawie tych danych, tylko sześć wartości może zmieniać się swobodnie. Jeśli znamy średnią oraz pierwszych sześć wartości, automatycznie znamy wartość siódmej osoby.

Tak jak w przykładzie z mechaniki: jeśli wagoniki są połączone liną i znamy położenie pierwszych dwóch wagoników, automatycznie znamy położenie ostatniego.

Przy dwóch grupach obliczamy średnią obu prób. Mamy więc dwa ograniczenia i tracimy dwa stopnie swobody.

W klasycznym teście t dla prób niezależnych, zakładającym równość wariancji, stopnie swobody wynoszą n₁ + n₂ - 2, gdzie n₁ i n₂ to liczebności prób w dwóch grupach, a minus 2 wynika z dwóch średnich.

Jeśli mamy 9 punktów danych i chcemy dopasować prostą regresję liniową, estymujemy dwa parametry: nachylenie i wyraz wolny. To kosztuje 2 stopnie swobody. Dlatego w prostej regresji liniowej liczba stopni swobody to liczba punktów danych minus 2.

W statystyce stopnie swobody mówią, ile elementów informacji w danych może nadal swobodnie się zmieniać po tym, jak część z nich została wykorzystana do estymacji wielkości takich jak średnia.

Po co potrzebujemy stopni swobody?

W mechanice stopnie swobody są intuicyjne: wynikają z wymagań układu. W przypadku kolejek linowych, gdy jeden wagonik jedzie w dół, ciągnie drugi w górę. To ograniczenie zmniejsza zakres możliwego ruchu każdego wagonika.

W statystyce ograniczenia wprowadzają nasze metody. Estymacja parametrów, takich jak średnie, zmniejsza liczbę stopni swobody i ogranicza to, jak dane mogą zmieniać się niezależnie. Dokładna liczba stopni swobody zależy od zastosowanej metody i modelu.

W testowaniu hipotez obliczamy wartość p, używając rozkładu odniesienia, takiego jak rozkład t, rozkład chi-kwadrat lub rozkład F.

Te rozkłady zależą od stopni swobody. Na przykład tak wygląda rozkład t dla różnych stopni swobody:

Jeśli użyjesz niewłaściwej liczby stopni swobody, otrzymasz niewłaściwą krzywą, niewłaściwą wartość p i prawdopodobnie błędny wniosek.