Ważona kappa Cohena

Ważona kappa Cohena jest miarą zgodności między dwiema próbami mierzonymi na skali porządkowej i jest stosowana wtedy, gdy chcesz sprawdzić, czy pomiary dwóch osób są zgodne. Dwie osoby, które coś oceniają lub mierzą, nazywa się sędziami.

W przypadku „zwykłej” kappy Cohena zmienna oceniana przez dwóch sędziów jest zmienną nominalną. W przypadku zmiennej nominalnej kategorie można odróżnić, ale nie ma między nimi uporządkowania.

Kappa Cohena uwzględnia, czy dwaj sędziowie ocenili to samo w ten sam sposób, czy nie, ale nie uwzględnia stopnia niezgodności. Co w sytuacji, gdy nie masz zmiennej nominalnej, lecz zmienną porządkową?

Jeśli masz zmienną porządkową, czyli zmienną, której kategorie można uporządkować, to oczywiście chcesz uwzględnić ten porządek.

Załóżmy, że Twoje kategorie to „niezadowolony”, „neutralny” i „zadowolony”. Różnica między kategoriami niezadowolony i neutralny jest mniejsza niż między kategoriami niezadowolony i zadowolony. Jeśli chcesz uwzględnić wielkość tej różnicy, musisz użyć ważonej kappy Cohena.

Jeśli więc masz zmienną nominalną, używasz kappy Cohena. Jeśli masz zmienną porządkową, używasz ważonej kappy Cohena.

Rzetelność i trafność

Ważne jest, aby pamiętać, że ważona kappa Cohena może jedynie powiedzieć, jak rzetelnie obaj sędziowie mierzą tę samą rzecz. Nie mówi natomiast, czy to, co mierzą dwaj sędziowie, jest właściwą rzeczą!

Jeśli więc obaj sędziowie prawie zawsze mierzą to samo, otrzymasz bardzo wysoką ważoną kappę Cohena. Ważona kappa Cohena nie mówi jednak, czy ten pomiar odpowiada rzeczywistości, czyli czy sędziowie mierzą właściwą rzecz! W pierwszym przypadku mówimy o rzetelności. W drugim przypadku mówimy o trafności.

Obliczanie ważonej kappy Cohena

Jak oblicza się ważoną kappę Cohena? Załóżmy, że dwóch lekarzy oceniło, jak bardzo są zadowoleni z sukcesu terapeutycznego swoich pacjentów. Lekarze mogą odpowiedzieć: niezadowolony, neutralny albo zadowolony.

Teraz chcesz wiedzieć, jak duża jest zgodność między dwoma lekarzami. Ponieważ mamy zmienną porządkową z kolejnością rang: niezadowolony, neutralny i zadowolony, określamy zgodność za pomocą ważonej kappy Cohena.

Pierwszym krokiem jest utworzenie tabeli z liczebnościami poszczególnych odpowiedzi. Na każdej osi umieszczamy jednego sędziego. Tutaj mamy dwóch sędziów, z których każdy ocenił, czy był niezadowolony, neutralny czy zadowolony z sukcesu danej osoby.

Załóżmy, że oceniono łącznie 75 pacjentów. Teraz policzmy, jak często występuje każda kombinacja. Załóżmy, że 17 razy obaj sędziowie są niezadowoleni, 8 razy sędzia 1 jest niezadowolony, a sędzia 2 neutralny, 4 razy sędzia 1 jest niezadowolony, a sędzia 2 zadowolony i tak dalej. Dla ocen na przekątnej obaj sędziowie są zgodni.

Ważoną kappę Cohena można obliczyć za pomocą następującego wzoru:

Gdzie w oznacza wagi, fo to liczebności obserwowane, a fe to liczebności oczekiwane. Zamiast liczebności moglibyśmy również użyć obliczonych prawdopodobieństw, czyli prawdopodobieństw obserwowanych po i prawdopodobieństw oczekiwanych pe.

Gdybyśmy obliczali kappę Cohena za pomocą prawdopodobieństw zamiast liczebności, podzielilibyśmy po prostu każdą liczebność przez liczbę pacjentów, czyli 75, i otrzymalibyśmy prawdopodobieństwa obserwowane.

Nadal potrzebujemy jednak wag i liczebności oczekiwanych. Zacznijmy od liczebności oczekiwanych.

Obliczanie liczebności oczekiwanej

Aby obliczyć liczebność oczekiwaną, najpierw obliczamy sumy wierszy i kolumn. Po prostu sumujemy więc wszystkie wiersze i wszystkie kolumny.

Na przykład w pierwszym wierszu otrzymujemy sumę 29 z 17 + 8 + 4. Następnie dzielimy tę wartość przez 75, czyli całkowitą liczbę przypadków.

Możemy teraz obliczyć prawdopodobieństwo oczekiwane dla każdej komórki, mnożąc prawdopodobieństwo wiersza przez prawdopodobieństwo kolumny. Dla pierwszej komórki otrzymujemy więc 0,35 razy 0,39, czyli 0,13, a dla drugiej komórki 0,44 razy 0,39, czyli 0,17.

Jeśli teraz pomnożymy każde prawdopodobieństwo przez 75, otrzymamy liczebności oczekiwane.

Obliczanie macierzy wag

Gdybyśmy w ogóle nie używali ważenia, nasza macierz składałaby się tylko z jedynek i zer na przekątnej. Jeśli obaj sędziowie udzielili tej samej odpowiedzi, w komórce znajdowałoby się zero, w przeciwnym razie jedynka. Nie ma znaczenia, jak bardzo różnią się odpowiedzi sędziów; jeśli odpowiedzieli inaczej, niezgodność otrzymuje wagę 1.

Macierz wag liniowych można obliczyć za pomocą następującego wzoru. Niech i będzie indeksem wierszy, a j indeksem kolumn. k oznacza liczbę kategorii, w naszym przypadku 3.

Teraz więc oceny położone blisko siebie są ważone słabiej niż oceny położone daleko od siebie.

Ważenie liniowe i kwadratowe

A co z ważeniem kwadratowym? Jeśli zamiast ważenia liniowego użyjemy ważenia kwadratowego, odległości zostaną po prostu podniesione do kwadratu. W ten sposób oceny położone daleko od siebie są ważone jeszcze silniej względem ocen położonych blisko siebie niż w przypadku liniowym. Macierz wag otrzymuje się wtedy za pomocą następującej macierzy.

Możemy więc teraz zdecydować, czy nie stosować ważenia, czy użyć ważenia liniowego lub kwadratowego. Będziemy kontynuować z ważeniem liniowym.

Obliczanie ważonej kappy

Możemy teraz obliczyć ważoną kappę. Mamy macierz wag, liczebność obserwowaną i liczebność oczekiwaną. Zacznijmy od sumy na poniższym rysunku. Po prostu mnożymy każdą komórkę macierzy wag przez odpowiadającą jej komórkę liczebności obserwowanej i sumujemy wyniki. Czyli 0 razy 17 + 0,5 razy 8 aż do 0 razy 9.

Następnie robimy to samo z macierzą wag i liczebnością oczekiwaną. 0 razy 10,05 plus 0,5 razy 12,76 i na końcu 0 razy 3,84. Jeśli teraz wszystko obliczymy, otrzymamy ważoną kappę równą 0,396.

Obliczanie ważonej kappy Cohena w numiqo

Aby obliczyć ważoną kappę Cohena online, przejdź po prostu do Kalkulatora statystycznego, skopiuj własne dane do tej tabeli i kliknij kartę Rzetelność.

numiqo automatycznie próbuje przypisać danym odpowiedni poziom pomiaru; w tym przypadku numiqo zakłada, że dane są nominalne. Gdybyśmy kliknęli Sędzia 1 i Sędzia 2, numiqo obliczyłoby nieważoną, zwykłą kappę Cohena. W naszym przypadku są to jednak zmienne porządkowe. Dlatego po prostu zmieniamy poziom pomiaru na porządkowy.

Jeśli teraz klikniemy obu sędziów, zostanie obliczona ważona kappa Cohena. Możemy teraz wybrać, czy chcemy zastosować ważenie liniowe, czy kwadratowe. Tutaj widzimy tabelę krzyżową, która pokazuje, jak często występuje każda kombinacja. Następnie otrzymujemy wyniki dla kappy Cohena. Dla tych danych otrzymujemy ważoną kappę Cohena równą 0,50.

Jeśli nie masz pewności, jak interpretować wyniki, możesz kliknąć „Podsumowanie słowne”: Przeprowadzono analizę rzetelności między sędziami dla prób zależnych Sędzia 1 i Sędzia 2. Dokonano tego przez obliczenie ważonej kappy Cohena, która jest miarą zgodności między dwiema powiązanymi próbami kategorialnymi. Ważona kappa Cohena wykazała umiarkowaną zgodność między próbami Sędzia 1 i Sędzia 2 przy κ = 0,5.