Azərbaycanca
Беларускі
Dansk
Deutsch
Española
Français
Indonesia
Italiana
日本語
Қазақ
Lietuvos
Nederlands
Português
Русский
සිංහල
แบบไทย
Türkçe
Українська
中國人
United State
Afrikaans
Bu madde, uygun değildir. (Türkçe harf karakterleri girilmeli (Haziran 2018)) |
Değerleyici güvenebilirliği, değerleyiciler arasıda uyuşma veya konkordans değerleyiciler arasında bulunan uyuşma derecesini ölçmek amacı ile kullanılan istatistiksel yöntemleri kapsar.
Bu yöntemlerin amacı yargı mevkiinde olan kişilerin yaptığı sayısal veya sayısala dönüştürülebilir değerlendirmelerde ne kadar veya olduklarına bir sayısal değer bulmaktır. Özellikle aynı konuyu veya konumu değerlendiren insancıl değerleyicileri bu çeşit yargıya varma yeteneklerini geliştirmek ve değerlemelerinin daha da adilane olmasını sağlamak için bu yöntemler çok kullanışlıdır. Eğer belli bir değişkene göre yapılan değerlemelerde uyuşma yoksa ya kullanılan değişken veya seçim yapılabilecek kategoriler listesinde bazı eksiklikler veya hatalar vardır ya da değerleyicilerin yargılarında uyuşmayı iyileştirmek için yeniden veya daha fazla eğitim sağlamak gereği ortaya çıkar.
Değerleyiciler arasındaki uyuşmanın ölçülmesi için kullanılan birkaç istatistiksel yöntem bulunmaktadır. Değişik istatistiksel ölçüler değişik tipte ölçülme ölçeğindeki değiskenlerle ilişkilidir. Bazı seçilebilecek istatistiksel ölçüler şunlardır: uyuşma için ortak-olasılık, kappa katsayıları, değerleyiciler arası korelasyon katsayıları, konkordans korelasyon katsayısı ve sınıf içi korelasyon katsayısı.
Uyuşma için ortak olasılık
Uyuşma için ortak olasılık genellikle en basit ve bu nedenle güçlü ölçme sağlar. Bu ölçüyü hesaplamak için her sayısal değerleme kategorisi, yani değerleme puanı, için (örneğin 1, 2,.. 5) her değerleyicinin vermiş olduğu sayı o değerleme kategorisi için verilmiş olan toplam sayısı ile bölunüur. Bu ölçü verilerin tam olarak olduğunu varsaymaktadır. Değerleyiciler arası uyuşmanın yalnızca rastgeleliğe bağlı olma ihtimalini de hesaba katmamaktadır.
Kappa istatistikleri
İki değerleyici problemine için uygun olan Cohen'in kappa katsayısı ve bunun değişmiyen sabit çok sayıda değerleyici problemlerine adaptasyonu olan Fleiss'in kappa katsayısıuyuşma için ortak olasılık ölçüsünden daha uygun sonuç verdiği kabul edilir; çünkü değerleyici uyuşmasının sırf rastgelelik dolayısı ile ortaya çıkması da kappa ölçülerine içeriktir. Ancak kappa olçüleri de, yine uyuşma için ortak olasılık ölçüsü gibi verilerin yani kategori puanlarının arasında hiç doğal olarak sırasallık bulunmadığını varsaymaktadırlar. Hâlbuki pratikte birçok değerlendirme için kabul edilen kategoriler ve verilen puanlar .
Korelasyon katsayıları
(Pearson'un çarpım-moment korelasyon katsayısı) 
veya 
veya 
değerleyicileri ikişer ikişer alarak değerlendirme puanları arasındaki doğrusal ilişkiyi bir korelasyon katsayısı olarak bulurlar. Her üç korelasyon katsayısı da -1 ile +1 arasında değişmekte ve eğer iki değerleyici arasında uyuşma varsa +1 yakın olması gerekmektedir. Pearson'un 'si için elemanlar verilen puanların (veya seçilen kategori sayılarının) veya yani niceliksel olmaları gerekmektedir.
Pearson'un bu türlü ölçekli olduğu kabul edildiği gibi, genel olarak daha fazla kullanılacaksa (örneğin için bir guvenilme araligi kurulacaksa), bu verilerin bir normal dağılım gösteren bir anakütleden geldiği varsayımı olduğu da kabul edilir. Hâlbuki Spearman'ın 'su ve Kendall'ın 'sı içinse puanların (veya seçilen kategori sayılarının) olduğu varsayılır. Bu türlü korelasyon katsayıları parametrik olmayan istatistik veya dağılım gösteremeyen istatistik olarak kabul edilmektedir.
Dikkat edilirse bu üç değişik korelasyon katsayısı (, ve ) değerleyicileri çift çift karşılaştırmaktadır. Mümkün olan bütün çifter karşılaştırmalar hep birlikte bir halinde ifade edilebilir. Bu çapraza göre simetrik olduğundan yalnız bir üst üçgen veya alt üçgen şekilde gösterebilinir. Ama yine de çok sayıda değerleyici olduğu hallerde bu korelasyon matrisi tum uyuşmayı gösteremez.
Eğer ikiden daha çok sayıda değerleyici varsa ve bu çoklu sayıda değerleyici için tek bir konkordans katsayısı bulunmak istenirse bu halde 
bulunabilir. Kendall'in katsayısı için değişme aralığı 0 (hiç uyuşma olmaması) ile 1 (tam olarak uyuşma olması) olur. Kendall'in katsayısı parametrik olmayan istatistik olduğu için, özellikle verilerin normal dağılım gösterdiği varsayılan Pearson'un çarpım-momenti korelasyon katsayısı kiyasla, daha güçlü olduğu kabul edilir.
Sınıf-içi korelasyon katsayısı
Değerleyici güvenebilirliğinin sınanması için bir diğer yöntem de hesaplanmasıdır. Bu katsayı hesaplanması için birkaç değişik formül bulunmaktadır. Bir özel şekildeki formül
- bir gözlemin varyansı ile gerçek puanlamanın gözümlenen elamanlar arasındaki değişkenliği ile orantısı
olarak tanımlanmaktadır.
Bu şekil sınıf-içi korelasyon katsayısı 0.0 ve 1.0 değerleri arasında değişebilmektedir. (Daha önce popüler olarak kullanılan bir diğer şekilde hesaplanan katsayı için değişme aralığı -1 ile +1 olur). Her gözümlenen elamana değerleyiciler tarafından verilen değerleme puanları arasında çok az değişkenlik varsa (yani bütün değerleyiciler ya aynı ya da çok yakın değerleme puanı vermişlerse, sınıf-içi korelasyon katsayısı değeri yüksek (yani '+1'e yakın) olacaktır. Sınıf-içi korelasyon katsayısı hem değerleyiciler arasındaki korelasyonu ve hem de her bir eleman tabakasının değişik değerlendirilmesi ihtimalini de göz önüne aldığı için Pearson'un , Spearman'ın ve Kendall'ın korelasyon katsayılarından daha ayrıntılı ve uygun sonuç verdiği kabul edilebilir.
Uyuşma için limit
Sadece iki degerleyici bulunduğu hallerde bir diğer degerleyici uyusmasini analiz iki degerleyici arasında bulunan farkları bulup bu farkların ortalamasını almaktır. Bu degerleme farklarının standart sapmasi da bulunarak anakutle ortalama farkları için bir guven araligi kurmak da mumkun olur. Eger iki degerleyici genellikle uyusmakta iseler ortalama sifira yakın olacaktir. Eger bir degerleyici surekli olarak diğerinden degismeyen sekilde devamli fark gösteriyorsa, ortalama sifirdan uzak olacaktir ama guven araligi dar olacaktir. Eger iki degerleyici birbiri ile uyusamuyor ise ama bu uyusmama bir tutarli sekilde degil de gayet rastgele oluyorsa, o zaman ortalama sifir yakınında olabilir ama guven araligi genis olacaktir.
Bland ve Altman bu aciklamayi bir ozel gösterim ortaya cikarak daha da genisletmisler. Bu gösterimde her bir eleman için degerleme farkları gösterilmektedir. Yatay eksen her bir degerlenen eleman dikey eksende iki degerleyicinin arasındaki degerleme puan farki gösterilir; boylece gösterimin içinde her bir eleman için bir nokta bulkunacaktir. Farkların ortalaması bir yatay eksen paralel doğru ortaya cikartir ve bunun üstünde ust guven limiti ve altında alat guven limit cizilir.
bu grafik içinde gösterilen noktaların bu ortalama etrafında ve guven limitlerine gore nasil bir gorunum gösterdiğini incelemeye yardim eder. Anack bu arastirma cok defe subjektif goruse baglidir. Uyusma olmasi bu nokataların ortalama etrafında ve guven araligi içinde rastgele dagilmasi ile anlasilir. Aralik disina cikan dislak noktalar olup olmadığı, bir belli grup elaman için belli bir turlu fark olmamasi gibi olagandisi gorunuslerinde olup olmadığı arastirilabilir.
Kaynakça
- ^ Gwet,K. (2001) Handbook of Inter-Rater Reliability, (Gaithersburg : StatAxis Publishing)
- ^ Cohen, J. (1960) "A coefficient for agreement for nominal scales" in Education and Psychological Measurement. Cilt 20, say. 37-46
- ^ Fleiss, J. L. (1971) "Measuring nominal scale agreement among many raters" in Psychological Bulletin. Cilt 76, Sayı 5, say. 378-382
- ^ Kendall,M.G.; Babington Smith, B. (Sep 1939). "The Problem of m Rankings". The Annals of Mathematical Statistics Cilt 10 sayı 3) say. 275-287
- ^ Shrout,P. ve Fleiss,J.L. (1979) "Intraclass correlation: uses in assessing rater reliability" in Psychological Bulletin. Cilt 86, Sayı 2, say. 420-428
- ^ Everitt, B. (1996) Making Sense of Statistics in Psychology (Oxford : Oxford University Press)
- ^ Bland,J.M. ve Altman,D.G. (1986). Statistical methods for assessing agreement between two methods of clinical measurement. Lancet i, pp. 307--310.
Dışsal kaynaklar
wikipedia, wiki, viki, vikipedia, oku, kitap, kütüphane, kütübhane, ara, ara bul, bul, herşey, ne arasanız burada,hikayeler, makale, kitaplar, öğren, wiki, bilgi, tarih, yukle, izle, telefon için, turk, türk, türkçe, turkce, nasıl yapılır, ne demek, nasıl, yapmak, yapılır, indir, ücretsiz, ücretsiz indir, bedava, bedava indir, mp3, video, mp4, 3gp, jpg, jpeg, gif, png, resim, müzik, şarkı, film, film, oyun, oyunlar, mobil, cep telefonu, telefon, android, ios, apple, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, pc, web, computer, bilgisayar
Bu madde Vikipedi bicem el kitabina uygun degildir Maddeyi Vikipedi standartlarina uygun bicimde duzenleyerek Vikipedi ye katkida bulunabilirsiniz Gerekli duzenleme yapilmadan bu sablon kaldirilmamalidir Turkce harf karakterleri girilmeli Haziran 2018 Degerleyici guvenebilirligi degerleyiciler arasida uyusma veya konkordans degerleyiciler arasinda bulunan uyusma derecesini olcmek amaci ile kullanilan istatistiksel yontemleri kapsar Bu yontemlerin amaci yargi mevkiinde olan kisilerin yaptigi sayisal veya sayisala donusturulebilir degerlendirmelerde ne kadar veya olduklarina bir sayisal deger bulmaktir Ozellikle ayni konuyu veya konumu degerlendiren insancil degerleyicileri bu cesit yargiya varma yeteneklerini gelistirmek ve degerlemelerinin daha da adilane olmasini saglamak icin bu yontemler cok kullanislidir Eger belli bir degiskene gore yapilan degerlemelerde uyusma yoksa ya kullanilan degisken veya secim yapilabilecek kategoriler listesinde bazi eksiklikler veya hatalar vardir ya da degerleyicilerin yargilarinda uyusmayi iyilestirmek icin yeniden veya daha fazla egitim saglamak geregi ortaya cikar Degerleyiciler arasindaki uyusmanin olculmesi icin kullanilan birkac istatistiksel yontem bulunmaktadir Degisik istatistiksel olculer degisik tipte olculme olcegindeki degiskenlerle iliskilidir Bazi secilebilecek istatistiksel olculer sunlardir uyusma icin ortak olasilik kappa katsayilari degerleyiciler arasi korelasyon katsayilari konkordans korelasyon katsayisi ve sinif ici korelasyon katsayisi Uyusma icin ortak olasilikUyusma icin ortak olasilik genellikle en basit ve bu nedenle guclu olcme saglar Bu olcuyu hesaplamak icin her sayisal degerleme kategorisi yani degerleme puani icin ornegin 1 2 5 her degerleyicinin vermis oldugu sayi o degerleme kategorisi icin verilmis olan toplam sayisi ile bolunuur Bu olcu verilerin tam olarak oldugunu varsaymaktadir Degerleyiciler arasi uyusmanin yalnizca rastgelelige bagli olma ihtimalini de hesaba katmamaktadir Kappa istatistikleriIki degerleyici problemine icin uygun olan Cohen in kappa katsayisi ve bunun degismiyen sabit cok sayida degerleyici problemlerine adaptasyonu olan Fleiss in kappa katsayisiuyusma icin ortak olasilik olcusunden daha uygun sonuc verdigi kabul edilir cunku degerleyici uyusmasinin sirf rastgelelik dolayisi ile ortaya cikmasi da kappa olculerine iceriktir Ancak kappa olculeri de yine uyusma icin ortak olasilik olcusu gibi verilerin yani kategori puanlarinin arasinda hic dogal olarak sirasallik bulunmadigini varsaymaktadirlar Halbuki pratikte bircok degerlendirme icin kabul edilen kategoriler ve verilen puanlar Korelasyon katsayilariPearson un carpim moment korelasyon katsayisi r displaystyle r veya r displaystyle rho veya t displaystyle tau degerleyicileri ikiser ikiser alarak degerlendirme puanlari arasindaki dogrusal iliskiyi bir korelasyon katsayisi olarak bulurlar Her uc korelasyon katsayisi da 1 ile 1 arasinda degismekte ve eger iki degerleyici arasinda uyusma varsa 1 yakin olmasi gerekmektedir Pearson un r displaystyle r si icin elemanlar verilen puanlarin veya secilen kategori sayilarinin veya yani niceliksel olmalari gerekmektedir Pearson un r displaystyle r bu turlu olcekli oldugu kabul edildigi gibi genel olarak daha fazla kullanilacaksa ornegin r displaystyle r icin bir guvenilme araligi kurulacaksa bu verilerin bir normal dagilim gosteren bir anakutleden geldigi varsayimi oldugu da kabul edilir Halbuki Spearman in r displaystyle rho su ve Kendall in t displaystyle tau si icinse puanlarin veya secilen kategori sayilarinin oldugu varsayilir Bu turlu korelasyon katsayilari parametrik olmayan istatistik veya dagilim gosteremeyen istatistik olarak kabul edilmektedir Dikkat edilirse bu uc degisik korelasyon katsayisi r displaystyle r r displaystyle rho ve t displaystyle tau degerleyicileri cift cift karsilastirmaktadir Mumkun olan butun cifter karsilastirmalar hep birlikte bir halinde ifade edilebilir Bu capraza gore simetrik oldugundan yalniz bir ust ucgen veya alt ucgen sekilde gosterebilinir Ama yine de cok sayida degerleyici oldugu hallerde bu korelasyon matrisi tum uyusmayi gosteremez Eger ikiden daha cok sayida degerleyici varsa ve bu coklu sayida degerleyici icin tek bir konkordans katsayisi bulunmak istenirse bu halde W displaystyle W bulunabilir Kendall in W displaystyle W katsayisi icin degisme araligi 0 hic uyusma olmamasi ile 1 tam olarak uyusma olmasi olur Kendall in W displaystyle W katsayisi parametrik olmayan istatistik oldugu icin ozellikle verilerin normal dagilim gosterdigi varsayilan Pearson un carpim momenti korelasyon katsayisi r displaystyle r kiyasla daha guclu oldugu kabul edilir Sinif ici korelasyon katsayisiDegerleyici guvenebilirliginin sinanmasi icin bir diger yontem de hesaplanmasidir Bu katsayi hesaplanmasi icin birkac degisik formul bulunmaktadir Bir ozel sekildeki formul bir gozlemin varyansi ile gercek puanlamanin gozumlenen elamanlar arasindaki degiskenligi ile orantisi olarak tanimlanmaktadir Bu sekil sinif ici korelasyon katsayisi 0 0 ve 1 0 degerleri arasinda degisebilmektedir Daha once populer olarak kullanilan bir diger sekilde hesaplanan katsayi icin degisme araligi 1 ile 1 olur Her gozumlenen elamana degerleyiciler tarafindan verilen degerleme puanlari arasinda cok az degiskenlik varsa yani butun degerleyiciler ya ayni ya da cok yakin degerleme puani vermislerse sinif ici korelasyon katsayisi degeri yuksek yani 1 e yakin olacaktir Sinif ici korelasyon katsayisi hem degerleyiciler arasindaki korelasyonu ve hem de her bir eleman tabakasinin degisik degerlendirilmesi ihtimalini de goz onune aldigi icin Pearson un r displaystyle r Spearman in r displaystyle rho ve Kendall in t displaystyle tau korelasyon katsayilarindan daha ayrintili ve uygun sonuc verdigi kabul edilebilir Uyusma icin limitBland Altman gosterimi Sadece iki degerleyici bulundugu hallerde bir diger degerleyici uyusmasini analiz iki degerleyici arasinda bulunan farklari bulup bu farklarin ortalamasini almaktir Bu degerleme farklarinin standart sapmasi da bulunarak anakutle ortalama farklari icin bir guven araligi kurmak da mumkun olur Eger iki degerleyici genellikle uyusmakta iseler ortalama sifira yakin olacaktir Eger bir degerleyici surekli olarak digerinden degismeyen sekilde devamli fark gosteriyorsa ortalama sifirdan uzak olacaktir ama guven araligi dar olacaktir Eger iki degerleyici birbiri ile uyusamuyor ise ama bu uyusmama bir tutarli sekilde degil de gayet rastgele oluyorsa o zaman ortalama sifir yakininda olabilir ama guven araligi genis olacaktir Bland ve Altman bu aciklamayi bir ozel gosterim ortaya cikarak daha da genisletmisler Bu gosterimde her bir eleman icin degerleme farklari gosterilmektedir Yatay eksen her bir degerlenen eleman dikey eksende iki degerleyicinin arasindaki degerleme puan farki gosterilir boylece gosterimin icinde her bir eleman icin bir nokta bulkunacaktir Farklarin ortalamasi bir yatay eksen paralel dogru ortaya cikartir ve bunun ustunde ust guven limiti ve altinda alat guven limit cizilir bu grafik icinde gosterilen noktalarin bu ortalama etrafinda ve guven limitlerine gore nasil bir gorunum gosterdigini incelemeye yardim eder Anack bu arastirma cok defe subjektif goruse baglidir Uyusma olmasi bu nokatalarin ortalama etrafinda ve guven araligi icinde rastgele dagilmasi ile anlasilir Aralik disina cikan dislak noktalar olup olmadigi bir belli grup elaman icin belli bir turlu fark olmamasi gibi olagandisi gorunuslerinde olup olmadigi arastirilabilir Kaynakca Gwet K 2001 Handbook of Inter Rater Reliability Gaithersburg StatAxis Publishing ISBN 0 9708062 0 5 Cohen J 1960 A coefficient for agreement for nominal scales in Education and Psychological Measurement Cilt 20 say 37 46 Fleiss J L 1971 Measuring nominal scale agreement among many raters in Psychological Bulletin Cilt 76 Sayi 5 say 378 382 Kendall M G Babington Smith B Sep 1939 The Problem of m Rankings The Annals of Mathematical Statistics Cilt 10 sayi 3 say 275 287 Shrout P ve Fleiss J L 1979 Intraclass correlation uses in assessing rater reliability in Psychological Bulletin Cilt 86 Sayi 2 say 420 428 Everitt B 1996 Making Sense of Statistics in Psychology Oxford Oxford University Press ISBN 0 19 852366 1 Bland J M ve Altman D G 1986 Statistical methods for assessing agreement between two methods of clinical measurement Lancet i pp 307 310 Dissal kaynaklar