.: ORİJİNAL ARAŞTIRMA
İkili Veriler İçin Uyum Katsayılarının Değerlendirilmesi: Bir Benzetim Çalışması
Evaluation of Agreement Coefficients of Binary Data: A Simulation Study
Turkiye Klinikleri J Biostat. 2021;13(3):293-300
doi: 10.5336/biostatic.2021-85120
Makale Dili: TR
Tam Metin
ÖZET
Amaç: Bu çalışmanın amacı, türetilmiş veri setleri kullanarak, farklı n, a, b, c ve d değerleri için belirlenen 23 farklı ikili uyum katsayısını tanıtmak, özelliklerini ortaya koyarak değerlendirmektir. Gereç ve Yöntemler: Bu çalışmada, ikili veriler için ileri sürülen uyum katsayıları ele alınmıştır. Çalışmada, Pythonrandom kütüphanesi kullanılarak, 10≤n≤1.000 aralığında yer alan 35 farklı n değeri için veri türetilmiştir. Verilerin türetilmesinde, önce a, b, c ve d ile gösterilen gözelerden hangisine değer atanacağı, sonra da ilgili gözeye atanacak değer belirlenmiştir. n=10 için 286, n=15 için 815 ve için n≥20 1.000'er farklı veri seti çalışmada kullanılmıştır. Katsayıların alacağı değerlerin tahmininde pozitif ve negatif eşleşme frekansları ile örneklem büyüklüğünün etkisi belirlenmiştir. Ayrıca hiyerarşik kümeleme analizi ile tüm simülasyon sonuçları dikkate alınarak, katsayıların benzerlikleri ortaya konmuştur. Bulgular: İkili veriler için tüm uyum katsayılarının değer aralığının 0 (uyum yok)-1 (tam uyum) olması beklenmesine rağmen tüm katsayılar için bu aralık geçerli değildir. Dikkate alınan 23 farklı katsayı içerisinden 6 tanesi bu aralıkta değer almaktadır. Hiyerarşik kümeleme analizine göre uyum katsayılarının çoğu birbirine benzememekte ve hiçbiri n sayısından etkilenmemektedir. Sonuç: Genel olarak hemen tüm katsayılara ait değerler, örnekler daha benzer hâle geldikçe sabit bir minimumdan sabit bir maksimuma doğru artmaktadır. Ancak Andrés Marzo, Bennett, Brennan Prediger, Byrt ve ark., Gwet, Janson Vegelius, Osgood Holsti, Potter Levine-Donnerstein ve uyum yüzdesi katsayıları, tüm n değerleri için uyum ile doğrusal olarak sorunsuz bir şekilde artmaktadır. Değer aralığının 0-1 olması ve uyum artışı ile paralellik göstermesinden dolayı Osgood Holsti ve uyum yüzdesi katsayıları, tüm katsayılar içerisinde öne çıkmaktadır.
Anahtar Kelimeler: Uyum katsayısı; hiyerarşik kümeleme; ikili veri
Amaç: Bu çalışmanın amacı, türetilmiş veri setleri kullanarak, farklı n, a, b, c ve d değerleri için belirlenen 23 farklı ikili uyum katsayısını tanıtmak, özelliklerini ortaya koyarak değerlendirmektir. Gereç ve Yöntemler: Bu çalışmada, ikili veriler için ileri sürülen uyum katsayıları ele alınmıştır. Çalışmada, Pythonrandom kütüphanesi kullanılarak, 10≤n≤1.000 aralığında yer alan 35 farklı n değeri için veri türetilmiştir. Verilerin türetilmesinde, önce a, b, c ve d ile gösterilen gözelerden hangisine değer atanacağı, sonra da ilgili gözeye atanacak değer belirlenmiştir. n=10 için 286, n=15 için 815 ve için n≥20 1.000'er farklı veri seti çalışmada kullanılmıştır. Katsayıların alacağı değerlerin tahmininde pozitif ve negatif eşleşme frekansları ile örneklem büyüklüğünün etkisi belirlenmiştir. Ayrıca hiyerarşik kümeleme analizi ile tüm simülasyon sonuçları dikkate alınarak, katsayıların benzerlikleri ortaya konmuştur. Bulgular: İkili veriler için tüm uyum katsayılarının değer aralığının 0 (uyum yok)-1 (tam uyum) olması beklenmesine rağmen tüm katsayılar için bu aralık geçerli değildir. Dikkate alınan 23 farklı katsayı içerisinden 6 tanesi bu aralıkta değer almaktadır. Hiyerarşik kümeleme analizine göre uyum katsayılarının çoğu birbirine benzememekte ve hiçbiri n sayısından etkilenmemektedir. Sonuç: Genel olarak hemen tüm katsayılara ait değerler, örnekler daha benzer hâle geldikçe sabit bir minimumdan sabit bir maksimuma doğru artmaktadır. Ancak Andrés Marzo, Bennett, Brennan Prediger, Byrt ve ark., Gwet, Janson Vegelius, Osgood Holsti, Potter Levine-Donnerstein ve uyum yüzdesi katsayıları, tüm n değerleri için uyum ile doğrusal olarak sorunsuz bir şekilde artmaktadır. Değer aralığının 0-1 olması ve uyum artışı ile paralellik göstermesinden dolayı Osgood Holsti ve uyum yüzdesi katsayıları, tüm katsayılar içerisinde öne çıkmaktadır.
Anahtar Kelimeler: Uyum katsayısı; hiyerarşik kümeleme; ikili veri
ABSTRACT
Objective: The aim of this study is to introduce 23 different binary agreement coefficients determined for different n, a, b, c and d values by using derived data sets and to evaluate them by revealing their properties. Material and Methods: In this study, the agreement coefficients put forward for binary data are considered. In the study, data were derived for 35 different n values in the range of 10≤n≤1000 using the Python-random library. In the derivation of the data, firstly, which cell shown with a, b, c and d will be assigned value, then the value to be assigned to the relevant cell was determined. 286 for n=10 , 815 for n=15 and n≥20 1,000 different data sets for were used in the study. The effect of positive and negative matching frequencies and sample size on the estimation of the values of the coefficients was determined. In addition, the similarities of the coefficients were revealed by considering all the simulation results with hierarchical clustering analysis. Results: Although it is expected that the value range of all agreement coefficients for binary data is 0 (no agreement) to 1 (exact agreement), this range is not valid for all coefficients. Of the 23 different coefficients considered, 6 of them take values in this range. According to the hierarchical cluster analysis, most of the agreement coefficients are not similar to each other and none of them are affected by the number n . Conclusion: In general, the values for almost all coefficients increase from a constant minimum to a constant maximum as the samples become more similar. However, the coefficients of Andrés Marzo, Bennett, Brennan Prediger, Byrt et al, Gwet, Janson Vegelius, Osgood Holsti, Potter Levine-Donnerstein, and percent agreement increase linearly and smoothly with agreement for all n values. Osgood Holsti and percent agreement coefficients stand out among all coefficients, since the value range is 0-1 and is in parallel with the increase in agreement.
Keywords: Agreement coefficient; hierarchical clustering; binary data
Objective: The aim of this study is to introduce 23 different binary agreement coefficients determined for different n, a, b, c and d values by using derived data sets and to evaluate them by revealing their properties. Material and Methods: In this study, the agreement coefficients put forward for binary data are considered. In the study, data were derived for 35 different n values in the range of 10≤n≤1000 using the Python-random library. In the derivation of the data, firstly, which cell shown with a, b, c and d will be assigned value, then the value to be assigned to the relevant cell was determined. 286 for n=10 , 815 for n=15 and n≥20 1,000 different data sets for were used in the study. The effect of positive and negative matching frequencies and sample size on the estimation of the values of the coefficients was determined. In addition, the similarities of the coefficients were revealed by considering all the simulation results with hierarchical clustering analysis. Results: Although it is expected that the value range of all agreement coefficients for binary data is 0 (no agreement) to 1 (exact agreement), this range is not valid for all coefficients. Of the 23 different coefficients considered, 6 of them take values in this range. According to the hierarchical cluster analysis, most of the agreement coefficients are not similar to each other and none of them are affected by the number n . Conclusion: In general, the values for almost all coefficients increase from a constant minimum to a constant maximum as the samples become more similar. However, the coefficients of Andrés Marzo, Bennett, Brennan Prediger, Byrt et al, Gwet, Janson Vegelius, Osgood Holsti, Potter Levine-Donnerstein, and percent agreement increase linearly and smoothly with agreement for all n values. Osgood Holsti and percent agreement coefficients stand out among all coefficients, since the value range is 0-1 and is in parallel with the increase in agreement.
Keywords: Agreement coefficient; hierarchical clustering; binary data
REFERANSLAR:
- Costa-Santos C, Bernardes J, Ayres-de-Campos D, Costa A, Amorim-Costa C. The limits of agreement and the intraclass correlation coefficient may be inconsistent in the interpretation of agreement. J Clin Epidemiol. 2011;64(3):264-9. Erratum in: J Clin Epidemiol. 2011;64(6):703. Costa, Célia [corrected to Amorim-Costa, Célia]. Erratum in: J Clin Epidemiol. 2011;64(9):1049. [Crossref] [PubMed] ``
- Bloch DA, Kraemer HC. 2x2 kappa coefficients: measures of agreement or association. Biometrics. 1989;45(1):269-87. [Crossref] [PubMed]
- Teles J. Concordance coefficients to measure the agreement among several sets of ranks. J Appl Stat. 2012;39(8):1749-64. [Crossref]
- Liu J, Tang W, Chen G, Lu Y, Feng C, Tu XM. Correlation and agreement: overview and clarification of competing concepts and measures. Shanghai Arch Psychiatry. 2016;28(2):115-20. [PubMed] [PMC]
- Adejumo AO, Heumann C, Toutenburg H. A review of agreement measure as a subset of association measure between raters. Collaborative Research Center 386. 2004:Discussion Paper 385. [Link]
- Popping R. On agreement indices for nominal data. In: Saris WE, Gallhofer IN, eds. Sociometric Research: Vol.1: Data Collection and Scaling. 1st ed. London: The Macmillan Press Ltd.; 1988. p.90-105. [Link]
- Feng GC. Factors affecting intercoder reliability: a Monte Carlo experiment. Qual Quant. 2013;47:2959-82. [Crossref]
- Zapf A, Castell S, Morawietz L, Karch A. Measuring inter-rater reliability for nominal data - which coefficients and confidence intervals are appropriate? BMC Med Res Methodol. 2016;16:93. [Crossref] [PubMed] [PMC]
- Aickin M. Maximum likelihood estimation of agreement in the constant predictive probability model, and its relation to Cohen's kappa. Biometrics. 1990;46(2):293-302. [Crossref] [PubMed]
- Light RJ. Measures of response agreement for qualitative data: Some generalizations and alternatives. Psychol Bull. 1971;76(5):365-77. [Crossref]
- Andrés AM, Marzo PF. Delta: a new measure of agreement between two raters. Br J Math Stat Psychol. 2004;57(Pt 1):1-19. [Crossref] [PubMed]
- Bangdiwala S. A graphical test for observer agreement. In: Proceedings of the 45th International Statistical Institute Meeting. August 1985; Amsterdam; 1985. [Link]
- Benini R. Principii di demographia. Manuali Barbèra di scienze giuridiche, sociali e politiche. 1st ed. Serie teorica; 29. Firenze: G. Barbèra; 1901. [Link]
- Bennett EM, Alpert R, Goldstein AC. Communications through limited-response questioning. Publ Opin Q. 1954;18:303-8. [Crossref]
- Brennan RL, Prediger DJ. Coefficient kappa: some uses, misuses, and alternatives. Educ Psychol Meas. 1981;41(3):687-99. [Crossref]
- Byrt T, Bishop J, Carlin JB. Bias, prevalence and kappa. J Clin Epidemiol. 1993;46(5):423-9. [Crossref]
- Cohen J. A coefficient of agreement for nominal scales. Educ Psychol Meas. 1960;20:37-46. [Crossref]
- Gini C. Indici di omofilia e di rassomiglianza e loro relazioni col coefficiente di correlazione e con gli indici di attrazione. Atti del Reale Istituto Veneto di Scienze, Lettere ed Arti, Series 8. 1914-1915; 74: 583-610. [Link]
- Gini C. Nuovi contribute alla teoria delle relazioni statistiche. Attidel Reale Istituto Veneto di Scienze, Lettere ed Arti, Series 8. 1914-1915; 74: 1903-42. [Link]
- Goodman LA, Kruskal WH. Measures of association for cross classifications. J Am Stat Assoc. 1954;49(268):732-64. [Crossref]
- Gwet KL. Computing inter-rater reliability and its variance in the presence of high agreement. Br J Math Stat Psychol. 2008;61(Pt 1):29-48. [Crossref] [PubMed]
- Holley JW, Guilford JP. A note on the G index of agreement. Educ Psychol Meas. 1964;24(4):749-53. [Crossref]
- Janson S, Vegelius J. On generalizations of the G index and the phi coefficient to nominal scales. Multivariate Behav Res. 1979;14(2):255-69. [Crossref] [PubMed]
- Krippendorff K. Bivariate agreement coefficients for reliability data. In: Borgatta ER, Bohrnstedt GW, eds. Sociological Methodology. 1st ed. San Francisco: Jossey-Bass; 1970. p.139-50. [Crossref]
- Maxwell AE. Coefficients of agreement between observers and their interpretation. Br J Psychiatry. 1977;130:79-83. [Crossref] [PubMed]
- Osgood CE. The representational model and relevant research. In: de Sola Pool I, ed. Trends in Content Analysis. 1st ed. Urbana: University of Illinois Press; 1959. p.33-8.
- Holsti OR. Content Analysis for the Social Sciences and Humanities. 1st ed. Reading, Mass: Addison-Wesley; 1969.
- Perreault WD, Leigh LE. Reliability of nominal data based on qualitative judgments. J Mark Res. 1989;26(2):135-48. [Crossref]
- Potter WJ, Levine-Donnerstein D. Rethinking validity and reliability in content analysis. J Appl Commun Res. 1999;27(3):258-84. [Crossref]
- Rogot E, Goldberg ID. A proposed index for measuring agreement in test-retest studies. J Chronic Dis. 1966;19(9):991-1006. [Crossref] [PubMed]
- Scott WA. Reliability of content analysis: The case of nominal scale coding. Publ Opin Q. 1955;19(3):321-5. [Crossref]
- Zhao X, Liu JS, Deng K. Assumptions behind Intercoder Reliability Indices. In: Salmon CT, ed. Communication Yearbook 36. 1st ed. New York: Routledge; 2013. p.419-80. [Crossref]
.: İşlem Listesi