.: ORİJİNAL ARAŞTIRMA
Cronbach Alfa Katsayısının Hipotez Testinde Bayesci Metaanalizi: Metodolojik Araştırma
Bayesian Meta-Analysis of Cronbach's Alpha Coefficient in Hypothesis Testing: A Methodological Research
Turkiye Klinikleri J Biostat. 2022;14(3):180-9
doi: 10.5336/biostatic.2022-88576
Makale Dili: TR
Tam Metin
ÖZET
Amaç: Sağlık ve sosyal bilimlerde sıklıkla kullanılan ölçeklerin güvenirlilik testlerinde Cronbach alfa katsayısı en çok raporlanan güvenilirlik katsayısıdır. Aynı ölçeği ele alan birbirinden bağımsız çalışmaların Cronbach alfa katsayılarının istatistiksel bir yöntem olan metaanalizi ile birleştirilmesi, ölçeğin güvenirliliği hakkında tek bir çalışmanın sonucundan daha fazla güçlü sonuçlar vermesini sağlar. Güvenilirlik katsayısının metaanalizinde; tahmin değerinin yanı sıra ''Bir ölçeğin Cronbach alfa katsayısının belirli bir değerden büyüktür'' gibi hipotezler test edilmek istenebilir. Bu çalışmada, Bayesci metaanalizinden yararlanarak kurulan hipotezlerin doğrudan test edilmesi amaçlanmıştır. Gereç ve Yöntemler: Bu çalışmada, Cronbach alfa katsayısının Bayesci metaanalizinde kilit rol oynayan önsel dağılımlar seçilmiştir. Sırasıyla bilgilendirici olmayan ve daha önceki çalışmalardan elde edilen yüzdelikler yardımıyla bilgilendirici önsel dağılım tanımlanmış ve Bayesci metaanalizi uygulanmıştır. Cronbach alfa katsayısı için hipotezler Bayes faktöründen yararlanılarak test edilmiştir. Uygulamada obsesif kompulsif bozukluklar için 20 soru ve 4 alt bölümden oluşan ''Boyutsal Obsesif Kompulsif Bozukluk Ölçeği'' ölçeğini ele alan 72 çalışmadan derlenen veriler kullanılmış ve ''Bu ölçeğin Cronbach alfa katsayı değeri 0,9'dan büyüktür'' hipotezi test edilmiştir. Bulgular: Her iki önsel için Cronbach alfa katsayısının Bayesci metaanalizinden elde edilen tahmin değeri 0,92 ve %95 güvenirlik aralığı (0,91- 0,94) şeklinde elde edilmiştir. Bayes faktörünün bilgilendirici önsel için bilgilendirici olmayan önselden daha büyük olduğu ve her iki önsel için hipotezin çok güçlü bir şeklide kabul edildiği saptanmıştır. Sonuç: Cronbach alfa katsayısı için test edilen hipotezlerin, Bayesci metaanalizle elde edilen sonuçlarının en önemli avantajı, daha geniş hacimli örneklem ve daha önceki çalışmalardan elde edilen bilgilerin önsel dağılımla dâhil edilerek daha güçlü bir şekilde karara bağlandığının görülmesidir.
Anahtar Kelimeler: Cronbach alfa katsayısı; Bayes; metaanalizi; hipotez testi; Bayes faktörü
Amaç: Sağlık ve sosyal bilimlerde sıklıkla kullanılan ölçeklerin güvenirlilik testlerinde Cronbach alfa katsayısı en çok raporlanan güvenilirlik katsayısıdır. Aynı ölçeği ele alan birbirinden bağımsız çalışmaların Cronbach alfa katsayılarının istatistiksel bir yöntem olan metaanalizi ile birleştirilmesi, ölçeğin güvenirliliği hakkında tek bir çalışmanın sonucundan daha fazla güçlü sonuçlar vermesini sağlar. Güvenilirlik katsayısının metaanalizinde; tahmin değerinin yanı sıra ''Bir ölçeğin Cronbach alfa katsayısının belirli bir değerden büyüktür'' gibi hipotezler test edilmek istenebilir. Bu çalışmada, Bayesci metaanalizinden yararlanarak kurulan hipotezlerin doğrudan test edilmesi amaçlanmıştır. Gereç ve Yöntemler: Bu çalışmada, Cronbach alfa katsayısının Bayesci metaanalizinde kilit rol oynayan önsel dağılımlar seçilmiştir. Sırasıyla bilgilendirici olmayan ve daha önceki çalışmalardan elde edilen yüzdelikler yardımıyla bilgilendirici önsel dağılım tanımlanmış ve Bayesci metaanalizi uygulanmıştır. Cronbach alfa katsayısı için hipotezler Bayes faktöründen yararlanılarak test edilmiştir. Uygulamada obsesif kompulsif bozukluklar için 20 soru ve 4 alt bölümden oluşan ''Boyutsal Obsesif Kompulsif Bozukluk Ölçeği'' ölçeğini ele alan 72 çalışmadan derlenen veriler kullanılmış ve ''Bu ölçeğin Cronbach alfa katsayı değeri 0,9'dan büyüktür'' hipotezi test edilmiştir. Bulgular: Her iki önsel için Cronbach alfa katsayısının Bayesci metaanalizinden elde edilen tahmin değeri 0,92 ve %95 güvenirlik aralığı (0,91- 0,94) şeklinde elde edilmiştir. Bayes faktörünün bilgilendirici önsel için bilgilendirici olmayan önselden daha büyük olduğu ve her iki önsel için hipotezin çok güçlü bir şeklide kabul edildiği saptanmıştır. Sonuç: Cronbach alfa katsayısı için test edilen hipotezlerin, Bayesci metaanalizle elde edilen sonuçlarının en önemli avantajı, daha geniş hacimli örneklem ve daha önceki çalışmalardan elde edilen bilgilerin önsel dağılımla dâhil edilerek daha güçlü bir şekilde karara bağlandığının görülmesidir.
Anahtar Kelimeler: Cronbach alfa katsayısı; Bayes; metaanalizi; hipotez testi; Bayes faktörü
ABSTRACT
Objective: The Cronbach's alpha coefficient is the most reported reliability coefficient for scales that are frequently used in health and social sciences. Combining the Cronbach's alpha coefficients dealing with the same scale from the independent studies with a statistical method, meta-analysis provides stronger results about the reliability of the scale than the result of a single study. In the meta-analysis of the reliability coefficient, besides estimating the coefficient, it may be desirable to test hypotheses such as 'the Cronbach's alpha coefficient of a scale is greater than a certain value'. This study aimed to directly test the hypotheses by using Bayesian meta-analysis. Material and Methods: In this study, prior distributions that play a key role in the Bayesian meta-analysis of the Cronbach's alpha coefficient were selected. An informative prior distribution that was determined with the help of percentages obtained from previous studies and non-informative prior distribution is considered respectively and Bayesian meta-analysis was applied. The hypotheses for the Cronbach's alpha coefficient were tested using the Bayes factor. In application, data collected from 72 studies dealing with the 'Dimensional Obsessive Compulsive Disorder Scale' consisting of 20 questions and 4 subsections for obsessive-compulsive disorders were used and the hypothesis that 'The Cronbach's alpha coefficient of this scale is greater than 0.9' was tested. Results: For both priors, the estimated value of Cronbach's alpha coefficient obtained via the Bayesian meta-analysis was 0.92 and the 95% credible interval (0.91-0.94). It was found that the Bayes factor was greater for the informative prior than for the noninformative prior, and the hypothesis was strongly accepted for both priors. Conclusion: The most important advantage of the results obtained by Bayesian meta-analysis of the hypotheses tested for the Cronbach's alpha coefficient is that it appears to be more strongly decided by the larger sample size and the inclusion of information obtained from previous studies with a priori distribution.
Keywords: Cronbach's alpha coefficient; Bayes; meta-analysis; hypothesis testing; Bayes factor
Objective: The Cronbach's alpha coefficient is the most reported reliability coefficient for scales that are frequently used in health and social sciences. Combining the Cronbach's alpha coefficients dealing with the same scale from the independent studies with a statistical method, meta-analysis provides stronger results about the reliability of the scale than the result of a single study. In the meta-analysis of the reliability coefficient, besides estimating the coefficient, it may be desirable to test hypotheses such as 'the Cronbach's alpha coefficient of a scale is greater than a certain value'. This study aimed to directly test the hypotheses by using Bayesian meta-analysis. Material and Methods: In this study, prior distributions that play a key role in the Bayesian meta-analysis of the Cronbach's alpha coefficient were selected. An informative prior distribution that was determined with the help of percentages obtained from previous studies and non-informative prior distribution is considered respectively and Bayesian meta-analysis was applied. The hypotheses for the Cronbach's alpha coefficient were tested using the Bayes factor. In application, data collected from 72 studies dealing with the 'Dimensional Obsessive Compulsive Disorder Scale' consisting of 20 questions and 4 subsections for obsessive-compulsive disorders were used and the hypothesis that 'The Cronbach's alpha coefficient of this scale is greater than 0.9' was tested. Results: For both priors, the estimated value of Cronbach's alpha coefficient obtained via the Bayesian meta-analysis was 0.92 and the 95% credible interval (0.91-0.94). It was found that the Bayes factor was greater for the informative prior than for the noninformative prior, and the hypothesis was strongly accepted for both priors. Conclusion: The most important advantage of the results obtained by Bayesian meta-analysis of the hypotheses tested for the Cronbach's alpha coefficient is that it appears to be more strongly decided by the larger sample size and the inclusion of information obtained from previous studies with a priori distribution.
Keywords: Cronbach's alpha coefficient; Bayes; meta-analysis; hypothesis testing; Bayes factor
REFERANSLAR:
- Peter JP. Reliability: a review of psychometric basics and recent marketing practices. Journal of Marketing Research. 1979;16(1):6-17. [Crossref]
- Peterson RA. A meta-analysis of cronbach's coefficient alpha. Journal of Consumer Research. 1994;21(2):381-91. [Crossref]
- Davis FB. Educational Measurements and Their Interpretation. Belmont, CA: Wadsworth; 1964. p.24.
- Nunnally JC. Psychometric Theory [Uses of the reliability coeffiecient]. 2nd ed. New York: McGraw-Hill. 1978. p.245-6.
- Kaplan RW, Saccuzzo DP. Psychological Testing: Principles, Applications, and Issues: [Principles]. 1st ed. Monterey, CA: Brooks/Cole; 1982. p.106.
- Aldridge VK, Dovey TM, Wade A. Assessing test-retest reliability of psychological measures: Persistent methodological problems. European Psychologist. 2017;22(4):207-18. [Crossref]
- Corbetta P. Quantitative techniques. Social Research: Theory, Methods and Techniques. 1st ed. London: SAGE Publications; 2003. p.81-2. [Crossref] [PMC]
- Benedict RH. Effects of using same- versus alternate-form memory tests during short-interval repeated assessments in multiple sclerosis. J Int Neuropsychol Soc. 2005;11(6):727-36. [Crossref] [PubMed]
- Lord FM, Novick MR. Statistical Theories of Mental Test Scores. Reading, MA: Addison-Wesley; 1968.
- Cronbach LJ. Coefficient alpha and the internal structure of tests. Psychometrika. 1951;16:297-334. [Crossref]
- Sijtsma K. On the use, the misuse, and the very limited usefulness of Cronbach's alpha. Psychometrika. 2009;74(1):107-20. [Crossref] [PubMed] [PMC]
- Watson JD, Crick FH. Molecular structure of nucleic acids; a structure for deoxyribose nucleic acid. Nature. 1953;171(4356):737-8. [Crossref] [PubMed]
- Schmitt N. Uses and abuses of coefficient alpha. Psychological Assessment. 1996;8(4):350-53. [Crossref]
- Tavakol M, Dennick R. Making sense of Cronbach's alpha. Int J Med Educ. 2011;2:53-55. [Crossref] [PubMed] [PMC]
- Vacha-Haase T. Reliability generalization: Exploring variance in measurement error affecting score reliability across studies. Educational and Psychological Measurement. 1998;58(1):6-20. [Crossref]
- Sawilowsky SS. Psychometrics versus datametrics: Comment on Vacha-Haase's "reliability generalization" method and some EPM editorial policies. Educational and Psychological Measurement. 2000;60(2):157-73. [Crossref]
- Rodriguez MC, Maeda Y. Meta-analysis of coefficient alpha. Psychological Methods. 2006;11(3):306-22. [Crossref] [PubMed]
- Gelman A, Carlin JB, Stern HS, Rubin DB. Bayesian Data Analysis: [Single-parameter models]. 2nd ed. Boca Raton: Chapman & Hall/CRC; 2003. p.38-62. [Crossref]
- Brannick MT, Zhang N. Bayesian meta‐analysis of coefficient alpha. Research Synthesis Methods. 2013;4(2):198-207. [Crossref] [PubMed]
- Okada K. Bayesian meta-analysis of Cronbach's coefficient alpha to evaluate informative hypotheses. Res Synth Methods. 2015;6(4):333-46. [Crossref] [PubMed]
- Cortina JM. What is coefficient alpha? An examination of theory and application. Journal of Applied Psychology. 1993;78(1):98-104. [Crossref]
- Barry AE, Chaney B, Piazza-Gardner AK, Chavarria EA. Validity and reliability reporting practices in the field of health education and behavior: a review of seven journals. Health Educ Behav. 2014;41(1):12-8. [Crossref] [PubMed]
- Flake JK, Pek J, Hehman E. Construct validation in social and personality research: Current practice and recommendations. Social Psychological and Personality Science. 2017;8(4):370-8. [Crossref]
- George D, Mallery P. SPSS for Windows Step by Step, A Simple Guide and Reference, 11.0 Update [Reliability Analysis: Coefficient Alpha and split-half Reliability]. 4th ed. Boston, MA: Allyn & Bacon; 2003. p.231.
- Feldt LS. The approximate sampling distribution of Kuder-Richardson reliability coefficient twenty. Psychometrika. 1965;30(3):357-70. [Crossref] [PubMed]
- Kristof W. The statistical theory of stepped-up reliability coefficients when a test has been divided into several equivalent parts. Psychometrika. 1963;28(3):221-38. [Crossref]
- Hakstian AR, Whalen TE. A K-sample significance test for independent alpha coefficients. Psychometrika. 1976;41(2):219-31. [Crossref]
- Gelman A, Hill J. Data Analysis Using Regression and Multilevel/Hierarchical Models [Likelihood and Bayesian inference and computation]. 1st ed. Cambridge UK: Cambridge University Press; 2007. p.387-413.
- Daniels MJ. A prior for the variance in hierarchical models. Canadian Journal of Statistics. 1999;27(3):567-78. [Crossref]
- Gelman A. Prior distributions for variance parameters in hierarchical models. Bayesian Analysis. 2006;1(3):515-34. [Crossref]
- Polson NG, Scott JG. On the half-Cauchy prior for a global scale parameter. Bayesian Analysis. 2012;7(4):887-902. [Crossref]
- Lodewyckx T, Kim W, Lee MD, Tuerlinckx, Kuppens P, Wagenmakers EJ. A tutorial on Bayes factor estimation with the product space method. Journal of Mathematical Psychology. 2011;55(5):331-47. [Crossref]
- López-Nicolás R, Rubio-Aparicio M, López-Ibá-ez C, Sánchez-Meca J. A reliability generalization meta-analysis of the dimensional obsessive-compulsive scale. Psicothema. 2021;33(3):481-9. [PubMed]
- Bolstad WM. Introduction to Bayesian Statistics [Bayesian Inference for Difference Between Means]. 2nd ed. New Jersey: Wiley-Interscience; 2007. p.247.
.: İşlem Listesi