Kappa Fleissa

Kappa Fleissa jest stosowana zawsze wtedy, gdy chcesz sprawdzić, czy pomiary więcej niż dwóch osób są zgodne. Osoby, które coś mierzą, nazywa się oceniającymi.

W przypadku kappy Fleissa zmienna mierzona przez trzech lub więcej oceniających jest zmienną nominalną. Dlatego, jeśli masz zmienną nominalną, stosujesz kappę Fleissa.

Jeśli masz zmienną porządkową i więcej niż dwóch oceniających, użyjesz współczynnika W Kendalla, a jeśli masz zmienną metryczną, użyjesz korelacji wewnątrzklasowej. Jeśli masz tylko dwóch oceniających i zmienną nominalną, użyjesz kappy Cohena.

Na razie wystarczy teorii, spójrzmy na przykład.

Przykład kappy Fleissa

Załóżmy, że opracowano narzędzie pomiarowe, na przykład kwestionariusz, którego lekarze mogą używać do określenia, czy dana osoba ma depresję, czy nie.

Teraz przekazujesz narzędzie pomiarowe lekarzom i prosisz ich o ocenę 50 osób. Główne pytanie brzmi: jak bardzo zgodne są pomiary lekarzy?

Jeśli oceny oceniających są bardzo zgodne, rzetelność międzyoceniających jest wysoka.

To właśnie ta rzetelność międzyoceniających jest mierzona za pomocą kappy Fleissa. Kappa Fleissa jest miarą rzetelności międzyoceniających.

Kappa Fleissa przy pomiarze powtarzanym

Dotychczas rozważaliśmy przypadek, w którym dwie lub więcej osób mierzy to samo. Kappa Fleissa może być jednak stosowana także wtedy, gdy ten sam oceniający wykonuje pomiar w więcej niż dwóch różnych momentach.

W tym przypadku kappa Fleissa wskazuje, jak dobrze zgadzają się pomiary tej samej osoby.

W tym przypadku interesująca nas zmienna ma dwie kategorie: depresja i brak depresji; oczywiście interesująca nas zmienna może składać się z więcej niż dwóch kategorii.

Rzetelność i trafność kappy Fleissa

Ważne jest, aby zauważyć, że kappa Fleissa może powiedzieć tylko, jak rzetelnie oceniający mierzą to samo. Nie może powiedzieć, czy to, co mierzą oceniający, jest właściwą rzeczą!

Jeśli więc wszyscy oceniający mierzą to samo, kappa Fleissa będzie bardzo wysoka. Kappa Fleissa nie mówi, czy ta zmierzona wartość odpowiada rzeczywistości, czyli czy zmierzono prawidłową wartość!

W pierwszym przypadku mówimy o rzetelności, w drugim o trafności.

Obliczanie kappy Fleissa

Za pomocą tego równania możemy obliczyć kappę Fleissa:

W tym równaniu p_o oznacza zaobserwowaną zgodność oceniających, a p_e oczekiwaną zgodność oceniających. Oczekiwana zgodność występuje wtedy, gdy oceny pokrywają się przypadkowo. Oblicza się ją na podstawie częstości wybierania poszczególnych kategorii.

Jak więc obliczyć p_o i p_e? Zacznijmy od p_e Załóżmy, że mamy 7 pacjentów i trzech oceniających. Każdy pacjent został oceniony przez każdego oceniającego.

W pierwszym kroku po prostu liczymy, ile razy pacjent został oceniony jako osoba z depresją i ile razy jako osoba bez depresji.

W przypadku pierwszego pacjenta 0 oceniających stwierdziło, że ta osoba nie ma depresji, a 3 oceniających stwierdziło, że ta osoba ma depresję. W przypadku drugiej osoby jeden oceniający stwierdził, że osoba nie ma depresji, a dwóch, że ma depresję.

Teraz robimy to samo dla wszystkich pozostałych pacjentów i możemy obliczyć sumę dla każdego z nich. Łącznie mamy 8 ocen „brak depresji” i 13 ocen „depresja”. W sumie było 21 ocen.

Pozwala nam to obliczyć, jak prawdopodobne jest, że dana osoba zostanie oceniona jako bez depresji lub z depresją. W tym celu dzielimy liczbę ocen „depresja” i „brak depresji” przez łączną liczbę 21.

Dzielimy więc 8 przez 21 i otrzymujemy 38% pacjentów ocenionych przez oceniających jako bez depresji, a następnie dzielimy 13 przez 21 i otrzymujemy 62% pacjentów ocenionych jako z depresją.

Aby obliczyć p_e, podnosimy teraz obie wartości do kwadratu i je sumujemy. Zatem 0,38² plus 0,62² daje 0,53.

Teraz musimy obliczyć p_o. p_o możemy obliczyć za pomocą tego wzoru; nie martw się, wygląda on na bardziej skomplikowany, niż jest w rzeczywistości.

Zacznijmy od pierwszej części. Wielka litera N oznacza liczbę pacjentów, czyli 7, a mała litera n oznacza liczbę oceniających, czyli 3. Daje to 0,024 dla pierwszej części.

W drugiej części wzoru po prostu podnosimy każdą wartość w tabeli do kwadratu i dodajemy je do siebie. Czyli 0² plus 3² aż do końcowego 1² plus 2². Daje to 47.

Trzecia część to 7 razy 3, czyli 21. Jeśli podstawimy wszystko do wzoru, otrzymamy 0,024 razy (47 - 21), co równa się 0,624.

Teraz mamy już p_o i p_e. Podstawiając je do równania na kappę, otrzymujemy kappę równą 0,19.

Interpretacja kappy Fleissa

Oczywiście współczynnik kappa Fleissa trzeba teraz zinterpretować. Możemy do tego użyć tabeli Landisa i Kocha (1977).

Dla wartości kappy Fleissa 0,19 otrzymujemy jedynie nieznaczną zgodność.

Obliczanie kappy Fleissa w numiqo

W numiqo możesz łatwo obliczyć kappę Fleissa online. Po prostu przejdź na numiqo.com i skopiuj własne dane do tabeli w kalkulatorze kappy Fleissa. Następnie kliknij kartę Rzetelność. W sekcji Rzetelność możesz obliczyć różne statystyki rzetelności; w zależności od tego, ile zmiennych klikniesz i jaki mają poziom pomiaru, otrzymasz odpowiednią sugestię.

Kappa Fleissa jest obliczana dla zmiennych nominalnych. Jeśli Twoje dane zostaną rozpoznane jako metryczne, zmień poziom pomiaru w widoku danych na nominalny.

Jeśli klikniesz teraz Oceniający 1 i Oceniający 2, zostanie obliczona kappa Cohena; jeśli następnie klikniesz Oceniający 3, zostanie obliczona kappa Fleissa. Poniżej możesz zobaczyć obliczoną kappę Fleissa.

Jeśli nie wiesz, jak zinterpretować wynik, po prostu kliknij „Podsumowanie słowne”.

Przeprowadzono analizę rzetelności międzyoceniających między zależnymi próbami Oceniający 1, Oceniający 2 i Oceniający 3. W tym celu obliczono kappę Fleissa, która jest miarą zgodności między więcej niż dwiema zależnymi próbami kategorialnymi.

Kappa Fleissa wykazała, że między próbami Oceniający 1, Oceniający 2 i Oceniający 3 występowała nieznaczna zgodność przy κ = 0,16.