.: ORİJİNAL ARAŞTIRMA
Evaluating the Power of Meta-Analyses for Mean Differences: Methodological Research
Ortalama Farklar İçin Meta-Analizlerin Gücünün Değerlendirilmesi: Metodolojik Araştırma
Turkiye Klinikleri J Biostat. 2022;14(1):14-21
doi: 10.5336/biostatic.2022-88046
Makale Dili: EN
Tam Metin
ABSTRACT
Objective: Meta-analysis is a method that summarizes the results of various independent studies on the same subject and is used to obtain more reliable and accurate results. An important issue that is a sign of quality in metaanalyses, which is at the top of the evidence pyramid, is power, and the power of a meta-analysis can be evaluated under the two model approaches: fixed effect or random effect, with the existence of heterogeneity. Despite this importance, power details are not included in many meta-analysis studies. Whatever the model, power is influenced by effect size, the smallest sample size among studies, level of heterogeneity and the number of articles included in the meta-analysis. This study aims to determine the minimum sample size for a given number of articles in order to reach an acceptable power for a meta-analysis. Material and Methods: The power values for different numbers of articles (2, 5, 7, 10, 15, 18) and minimum of sample sizes in articles were determined, taking into consideration different effect sizes (0.1-0.2, 0.3-0.4, 0.5-0.7) under fixed and random effect models of low, medium and high heterogeneity. Results: In order for a meta-analysis study with a higher heterogeneity and/or a lower effect size to reach an acceptable power, the minimum sample size in the included articles should be high. Conclusion: This study, which considers the factors affecting power, can provide guidance to clinicians on how to calculate power according to heterogeneity and what is necessary or sufficient to achieve an acceptable quality in their studies.
Keywords: Meta-analysis; power analysis; effect size; fixed effect model; random effect model
Objective: Meta-analysis is a method that summarizes the results of various independent studies on the same subject and is used to obtain more reliable and accurate results. An important issue that is a sign of quality in metaanalyses, which is at the top of the evidence pyramid, is power, and the power of a meta-analysis can be evaluated under the two model approaches: fixed effect or random effect, with the existence of heterogeneity. Despite this importance, power details are not included in many meta-analysis studies. Whatever the model, power is influenced by effect size, the smallest sample size among studies, level of heterogeneity and the number of articles included in the meta-analysis. This study aims to determine the minimum sample size for a given number of articles in order to reach an acceptable power for a meta-analysis. Material and Methods: The power values for different numbers of articles (2, 5, 7, 10, 15, 18) and minimum of sample sizes in articles were determined, taking into consideration different effect sizes (0.1-0.2, 0.3-0.4, 0.5-0.7) under fixed and random effect models of low, medium and high heterogeneity. Results: In order for a meta-analysis study with a higher heterogeneity and/or a lower effect size to reach an acceptable power, the minimum sample size in the included articles should be high. Conclusion: This study, which considers the factors affecting power, can provide guidance to clinicians on how to calculate power according to heterogeneity and what is necessary or sufficient to achieve an acceptable quality in their studies.
Keywords: Meta-analysis; power analysis; effect size; fixed effect model; random effect model
ÖZET
Amaç: Meta-analiz, birbirinden bağımsız benzer konulardaki çalışmaları bir araya getirerek çalışmaların sonuçlarındaki çeşitliliği açıklamak, daha güvenilir ve doğru sonuçlara ulaşılmasını sağlamak amacıyla kullanılan bir yöntemdir. Kanıt değeri yüksek olan meta-analiz çalışmalarında, nitelik göstergesi olan en önemli husus güçtür ve bu güç, heterojenliğin varlığına göre sabit etki ya da rastgele etki modeli olmak üzere kullanılan iki yaklaşım altında değerlendirilir. Bu öneme rağmen birçok meta-analiz çalışmasında güç detaylarına yer verilmemektedir. Yapılan güç değerlendirmeleri etki büyüklüğü, makalelerdeki minimum örnek büyüklüğü ve çalışma sayıları faktörlerinden etkilenir. Bu çalışmada, belirli etki büyüklüğünde kabul edilebilir bir güce ulaşmak adına makalelerdeki minimum örnek büyüklüğünün ve makale sayısının belirlenmesi amaçlanmıştır. Gereç ve Yöntemler: Düşük, orta ve yüksek heterojenliğe sahip rastgele etki ve sabit etki modelleri altında farklı etki büyüklükleri (0,1-0,2, 0,3-0,4, 0,5-0,7) dikkate alınarak farklı makale sayıları (2, 5, 7, 10, 15, 18) ve makalelerdeki örnek büyüklüklerinin minimumu değerlendirilerek güç değerleri belirlenmiştir. Bulgular: Heterojenlik düzeyinin daha fazla olduğu ve/veya düşük etki büyüklüğüne sahip bir meta-analiz çalışmasına dâhil edilen makalelerdeki örnek büyüklüklerinin minimumunun yüksek olması ile ancak kabul edilebilir bir güce ulaşılabilmektedir. Sonuç: Gücü etkileyen faktörlerin göz önünde bulundurulduğu bu çalışma, heterojenlik durumuna göre nasıl güç hesabı yapılabileceği ve kabul edilebilir bir kaliteye ulaşmak adına nelerin gerekli veya yeterli olduğu konusunda klinisyenlere rehberlik sağlayabilir.
Anahtar Kelimeler: Metaanaliz; güç analizi; etki büyüklüğü; sabit etki modeli; rastgele etki modeli
Amaç: Meta-analiz, birbirinden bağımsız benzer konulardaki çalışmaları bir araya getirerek çalışmaların sonuçlarındaki çeşitliliği açıklamak, daha güvenilir ve doğru sonuçlara ulaşılmasını sağlamak amacıyla kullanılan bir yöntemdir. Kanıt değeri yüksek olan meta-analiz çalışmalarında, nitelik göstergesi olan en önemli husus güçtür ve bu güç, heterojenliğin varlığına göre sabit etki ya da rastgele etki modeli olmak üzere kullanılan iki yaklaşım altında değerlendirilir. Bu öneme rağmen birçok meta-analiz çalışmasında güç detaylarına yer verilmemektedir. Yapılan güç değerlendirmeleri etki büyüklüğü, makalelerdeki minimum örnek büyüklüğü ve çalışma sayıları faktörlerinden etkilenir. Bu çalışmada, belirli etki büyüklüğünde kabul edilebilir bir güce ulaşmak adına makalelerdeki minimum örnek büyüklüğünün ve makale sayısının belirlenmesi amaçlanmıştır. Gereç ve Yöntemler: Düşük, orta ve yüksek heterojenliğe sahip rastgele etki ve sabit etki modelleri altında farklı etki büyüklükleri (0,1-0,2, 0,3-0,4, 0,5-0,7) dikkate alınarak farklı makale sayıları (2, 5, 7, 10, 15, 18) ve makalelerdeki örnek büyüklüklerinin minimumu değerlendirilerek güç değerleri belirlenmiştir. Bulgular: Heterojenlik düzeyinin daha fazla olduğu ve/veya düşük etki büyüklüğüne sahip bir meta-analiz çalışmasına dâhil edilen makalelerdeki örnek büyüklüklerinin minimumunun yüksek olması ile ancak kabul edilebilir bir güce ulaşılabilmektedir. Sonuç: Gücü etkileyen faktörlerin göz önünde bulundurulduğu bu çalışma, heterojenlik durumuna göre nasıl güç hesabı yapılabileceği ve kabul edilebilir bir kaliteye ulaşmak adına nelerin gerekli veya yeterli olduğu konusunda klinisyenlere rehberlik sağlayabilir.
Anahtar Kelimeler: Metaanaliz; güç analizi; etki büyüklüğü; sabit etki modeli; rastgele etki modeli
REFERANSLAR:
- Hedges LV, Pigott TD. The power of statistical tests in meta-analysis. Psychol Methods. 2001;6(3):203-17. [Crossref] [PubMed]
- Jackson D, Turner R. Power analysis for random-effects meta-analysis. Res Synth Methods. 2017;8(3):290-302. [Crossref] [PubMed] [PMC]
- Borenstein M, Hedges LV, Higgins JPT, Rothstein HR. Introduction to Meta-Analysis. 1st ed. Chichester, England: Wiley; 2009. [Crossref]
- Cook DA, Hatala R. Got power? A systematic review of sample size adequacy in health professions education research. Adv Health Sci Educ Theory Pract. 2015;20(1):73-83. [Crossref] [PubMed]
- Ellis PD. The Essential Guide to Effect Sizes: Statistical Power, Meta-Analysis, and the Interpretation of Research Results. 1st ed. Cambridge: Cambridge University Press; 2010. [Crossref]
- Wolf FM. Meta-Analysis: Quantitative Methods for Research Synthesis. Vol.59. 1st ed. USA: Sage; 1986.
- Normand SL. Meta-analysis: formulating, evaluating, combining, and reporting. Stat Med. 1999;18(3):321-59. [Crossref] [PubMed]
- Hedges LV, Vevea JL. Fixed-and random-effects models in meta-analysis. Psychological Methods. 1998;3(4):486-504. [Crossref]
- Borenstein M, Hedges LV, Higgins JP, Rothstein HR. A basic introduction to fixed-effect and random-effects models for meta-analysis. Res Synth Methods. 2010;1(2):97-111. [Crossref] [PubMed]
- Gliner JA, Morgan GA, Harmon RJ. Meta-analysis: formulation and interpretation. J Am Acad Child Adolesc Psychiatry. 2003;42(11):1376-9. [Crossref] [PubMed]
- Hedges L, Olkin I. Statistical Methods for Meta-Analysis. 1st ed. Orlando, FL: Academic Press; 1985. [Crossref]
- Cohn LD, Becker BJ. How meta-analysis increases statistical power. Psychol Methods. 2003;8(3):243-53. [Crossref] [PubMed]
- Hedges LV, Pigott TD. The power of statistical tests for moderators in meta-analysis. Psychol Methods. 2004;9(4):426-45. [Crossref] [PubMed]
- Valentine JC, Pigott TD, Rothstein HR. How many studies do you need? A primer on statistical power for meta-analysis. Journal of Educational and Behavioral Statistics. 2010;35(2):215-47. [Crossref]
- Cohen J. Statistical power analysis. Current Directions in Psychological Science. 1992;1(3):98-101. [Crossref]
- Button KS, Ioannidis JP, Mokrysz C, Nosek BA, Flint J, Robinson ES, et al. Power failure: why small sample size undermines the reliability of neuroscience. Nat Rev Neurosci. 2013;14(5):365-76. Erratum in: Nat Rev Neurosci. 2013;14(6):451. [Crossref] [PubMed]
- Liu J. Statistical power in meta-analysis [Doctoral thesis]. Columbia: University of South Carolina; 2015. Erişim tarihi: 17 Aralık 2019. Erişim linki: [Link]
- Turner RM, Bird SM, Higgins JP. The impact of study size on meta-analyses: examination of underpowered studies in Cochrane reviews. PLoS One. 2013;8(3):e59202. [Crossref] [PubMed] [PMC]
.: İşlem Listesi