Kappa Cohena

Kappa Cohena jest miarą zgodności między dwiema zależnymi próbami kategorialnymi. Stosuje się ją wtedy, gdy chcesz sprawdzić, czy pomiary dwóch oceniających są zgodne.

W przypadku kappy Cohena zmienna mierzona przez dwóch oceniających jest zmienną nominalną.

Jeśli więc masz zmienną nominalną i chcesz sprawdzić, jak duża jest zgodność między dwoma oceniającymi, użyjesz kappy Cohena. Jeśli masz zmienną porządkową i dwóch oceniających, użyjesz tau Kendalla albo ważonej kappy Cohena, a jeśli masz zmienną metryczną, zwykle użyjesz korelacji wewnątrzklasowej (ICC). Jeśli masz więcej niż dwie zależne próby nominalne, stosuje się kappę Fleissa.

Przykład kappy Cohena

Załóżmy, że opracowano narzędzie pomiarowe, na przykład kwestionariusz, którego lekarze mogą używać do określenia, czy dana osoba ma depresję. Następnie przekazujesz to narzędzie lekarce i prosisz ją o ocenę 50 osób.

Na przykład Twoja metoda wskazuje, że pierwsza osoba ma depresję, druga osoba ma depresję, a trzecia osoba jej nie ma. Kluczowe pytanie brzmi teraz: czy drugi lekarz dojdzie do tego samego wniosku?

W przypadku drugiego lekarza wynik mógłby wyglądać następująco: dla pierwszej osoby obaj lekarze dochodzą do tego samego wyniku, ale dla drugiej osoby wyniki się różnią. Interesuje Cię, jak duża jest zgodność ocen lekarzy, i właśnie tutaj stosuje się kappę Cohena.

Rzetelność między oceniającymi

Jeśli oceny dwóch lekarzy są bardzo zgodne, rzetelność między oceniającymi jest wysoka. To właśnie tę rzetelność między oceniającymi mierzy kappa Cohena.

Kappa Cohena jest zatem miarą tego, jak rzetelnie dwóch oceniających mierzy to samo.

Zastosowania kappy Cohena

Do tej pory rozważaliśmy przypadek, w którym dwie osoby mierzą to samo. Kappę Cohena można jednak stosować również wtedy, gdy ten sam oceniający dokonuje pomiaru w dwóch różnych momentach.

W tym przypadku wartość kappy Cohena wskazuje, jak dobrze zgadzają się ze sobą dwa pomiary wykonane przez tę samą osobę.

Kappa Cohena, rzetelność i trafność

Ważne jest, aby pamiętać, że współczynnik kappa Cohena mówi tylko, jak rzetelnie obaj oceniający mierzą to samo. Nie mówi natomiast, czy to, co mierzą dwaj oceniający, jest właściwą rzeczą!

W pierwszym przypadku mówimy o rzetelności (czy obaj mierzą to samo), a w drugim o trafności (czy obaj mierzą właściwą rzecz). Kappa Cohena może być używana wyłącznie do pomiaru rzetelności.

Obliczanie kappy Cohena

Pojawia się teraz pytanie: jak oblicza się kappę Cohena? Nie jest to trudne. Tworzymy tabelę z częstościami odpowiednich odpowiedzi.

W tym celu bierzemy dwóch oceniających, z których każdy ocenił, czy dana osoba ma depresję, czy nie. Następnie liczymy, jak często obaj ocenili tak samo, a jak często inaczej.

Tworzymy więc tabelę z Oceniającym 1 z kategoriami „brak depresji” i „depresja” oraz Oceniającym 2 z kategoriami „brak depresji” i „depresja”. Następnie prowadzimy zestawienie i liczymy, jak często występuje każda kombinacja.

Załóżmy, że ostateczny wynik jest następujący: 17 osób zostało ocenionych przez obu oceniających jako „brak depresji”. W przypadku 19 osób obaj wybrali ocenę „depresja”.

Jeśli więc obaj oceniający dokonali tej samej oceny, dana osoba znajduje się na przekątnej; jeśli ocenili ją inaczej, znajduje się poza przekątną. Teraz chcemy wiedzieć, jak często obaj oceniający są zgodni, a jak często nie.

Oceniający 1 i Oceniający 2 są zgodni, że 17 pacjentów nie ma depresji, a 19 ją ma. Obaj oceniający są więc zgodni w 36 przypadkach. Łącznie oceniono 50 osób.

Na podstawie tych liczb możemy obliczyć odsetek obserwowanej zgodności. Robimy to, dzieląc 36 przez 50. Otrzymujemy następujący wynik: w 72% przypadków obaj oceniający oceniają tak samo, a w 28% przypadków oceniają inaczej.

To daje nam pierwszą część potrzebną do obliczenia kappy Cohena. Kappa Cohena jest określona następującym wzorem:

Właśnie obliczyliśmy p_o, czym jest więc p_e?

Nawet bez rzeczywistej zgodności ocen część odpowiedzi może pokrywać się przypadkowo. Wartość oczekiwaną takiej zgodności oblicza się na podstawie częstości, z jakimi każdy oceniający wybiera poszczególne kategorie.

I dokładnie to oznacza p_e: hipotetyczne prawdopodobieństwo zgodności losowej. Jak jednak obliczyć p_e?

Aby obliczyć p_e, najpierw potrzebujemy sum wierszy i kolumn. Następnie możemy obliczyć p_e.

W pierwszym kroku obliczamy prawdopodobieństwo, że obaj oceniający losowo uzyskaliby ocenę „brak depresji”.

• Oceniający 1 ocenił 25 z 50 osób jako „brak depresji”, czyli 50%.
• Oceniający 2 ocenił 23 z 50 osób jako „brak depresji”, czyli 46%.

Łączne prawdopodobieństwo, że obaj oceniający przypadkowo powiedzieliby „brak depresji”, wynosi: 0,5 · 0,46 = 0,23.

W drugim kroku obliczamy prawdopodobieństwo, że obaj oceniający przypadkowo powiedzieliby „depresja”.

• Oceniający 1 wskazuje „depresja” u 25 z 50 osób, czyli 50%.
• Oceniający 2 wskazuje „depresja” u 27 z 50 osób, czyli 54%.

Łączne prawdopodobieństwo, że obaj oceniający przypadkowo powiedzą „depresja”, wynosi: 0,5 · 0,54 = 0,27. Teraz możemy obliczyć p_e.

Jeśli teraz dodamy obie wartości, otrzymamy prawdopodobieństwo przypadkowej zgodności dwóch oceniających. p_e wynosi zatem 0,23 + 0,27, czyli 0,50. Gdyby więc lekarze nie mieli żadnych wskazówek i po prostu losowali odpowiedź, prawdopodobieństwo takiej zgodności wynosiłoby 50%.

Teraz możemy obliczyć współczynnik kappa Cohena. Podstawiamy p_o i p_e, a w naszym przykładzie otrzymujemy wartość kappa równą 0,44.

Przy okazji: w p_o litera o oznacza wartość obserwowaną. W p_e litera e oznacza wartość oczekiwaną. Dlatego p_o to to, co faktycznie zaobserwowaliśmy, a p_e to to, czego oczekiwalibyśmy przy czysto losowej zgodności.

Interpretacja kappy Cohena

Teraz oczywiście chcemy zinterpretować obliczony współczynnik kappa Cohena. Jako wskazówkę można wykorzystać tabelę Landisa i Kocha (1977).

Dlatego obliczony współczynnik kappa Cohena równy 0,44 wskazuje na umiarkowaną rzetelność lub zgodność.

Błąd standardowy (SE) kappy Cohena

Błąd standardowy (SE) statystyki, takiej jak kappa Cohena, jest miarą precyzji oszacowanej wartości. Wskazuje, w jakim stopniu obliczona wartość zmieniałaby się, gdyby badanie powtarzano wielokrotnie na różnych próbach z tej samej populacji. Jest to więc miara zmienności lub niepewności wokół oszacowania statystyki kappa.

Obliczanie błędu standardowego kappy Cohena:

Obliczenie SE dla kappy Cohena obejmuje dość złożone wzory, które uwzględniają ogólne proporcje każdej ocenianej kategorii oraz rozkład ocen między oceniającymi. Ogólny wzór na SE kappy Cohena jest następujący:

Gdzie n oznacza całkowitą liczbę ocenianych obiektów.

Ważona kappa Cohena

Kappa Cohena uwzględnia zgodność między dwoma oceniającymi, ale istotne jest tylko to, czy obaj oceniający oceniają tak samo, czy nie. W przypadku zmiennej porządkowej, czyli zmiennej z rangami, takiej jak oceny szkolne, pożądane jest oczywiście uwzględnienie stopniowania. Różnica między oceną „bardzo dobra” a „dostateczna” jest większa niż między oceną „bardzo dobra” a „dobra”.

Aby to uwzględnić, można obliczyć ważoną kappę. W tym przypadku odchylenie jest włączane do obliczeń. Różnice można uwzględniać liniowo lub kwadratowo.

Obliczanie kappy Cohena w numiqo

Teraz omówimy, jak łatwo obliczyć kappę Cohena dla swoich danych online za pomocą numiqo. Po prostu przejdź do kalkulatora kappy Cohena i skopiuj własne dane do tabeli. Następnie kliknij kartę „Rzetelność”.

Wystarczy kliknąć zmienne, które chcesz przeanalizować, a kappa Cohena zostanie wyświetlona automatycznie. Najpierw zobaczysz tabelę krzyżową, a następnie możesz odczytać obliczony współczynnik kappa Cohena. Jeśli nie wiesz, jak zinterpretować wynik, kliknij „Podsumowanie słowne”.

Przeprowadzono analizę rzetelności między oceniającymi dla zależnych prób Oceniający 1 i Oceniający 2. W tym celu obliczono kappę Cohena, która jest miarą zgodności między dwiema powiązanymi próbami kategorialnymi. Kappa Cohena wykazała dostateczną zgodność między próbami Oceniający 1 i Oceniający 2 przy κ = 0,23.