.: ORİJİNAL ARAŞTIRMA
Investigation of the Factors Affecting the Consistency Assumption of Network Meta-Analysis: A Simulation Study
Ağ Meta Analizinde Tutarlılık Varsayımını Etkileyen Faktörlerin Araştırılması: Bir Benzetim Çalışması
Turkiye Klinikleri J Biostat. 2022;14(2):110-7
doi: 10.5336/biostatic.2022-90130
Makale Dili: EN
Tam Metin
ABSTRACT
Objective: This study aimed to examine the factors affecting consistency assumption with simulated data for network meta-analyses. Network pattern, number of studies per comparison, individual study sample sizes, and probabilities of the event were investigated that may affect the consistency assumption. Material and Methods: Data were produced with R 4.1.0 for the combination of different sample sizes (N: 100, 150, 200), the different success probability of three treatments (p1, p2, p3 changes in interval 0.01-0.90), and the number of study per comparison (M=5, M=10, M=20, M=30). Then the mean and standard error of ratios of odds ratios (ROR) were calculated and this process was repeated 1,000 times. Results: We found that the success probability of treatments and the number of studies in the network affected the inconsistency assumption more than the study sample size for N=100 and N=150. Also, the results indicated that in sample size 200, the study sample size affected the ROR values in addition to the other factors. Conclusion: Network meta-analysis is wide-spreading in recent years. Therefore, it is important to obtain reliable results with the providing assumptions. Especially, consistency assumption must be considered and the researchers may realize the affecting factors of the consistency assumption with this study.
Keywords: Network meta-analysis; consistency assumption; indirect comparison
Objective: This study aimed to examine the factors affecting consistency assumption with simulated data for network meta-analyses. Network pattern, number of studies per comparison, individual study sample sizes, and probabilities of the event were investigated that may affect the consistency assumption. Material and Methods: Data were produced with R 4.1.0 for the combination of different sample sizes (N: 100, 150, 200), the different success probability of three treatments (p1, p2, p3 changes in interval 0.01-0.90), and the number of study per comparison (M=5, M=10, M=20, M=30). Then the mean and standard error of ratios of odds ratios (ROR) were calculated and this process was repeated 1,000 times. Results: We found that the success probability of treatments and the number of studies in the network affected the inconsistency assumption more than the study sample size for N=100 and N=150. Also, the results indicated that in sample size 200, the study sample size affected the ROR values in addition to the other factors. Conclusion: Network meta-analysis is wide-spreading in recent years. Therefore, it is important to obtain reliable results with the providing assumptions. Especially, consistency assumption must be considered and the researchers may realize the affecting factors of the consistency assumption with this study.
Keywords: Network meta-analysis; consistency assumption; indirect comparison
ÖZET
Amaç: Bu çalışma, ağ meta analizi için simüle edilmiş verilerle, tutarlılık varsayımını etkileyen faktörleri incelemeyi amaçlamıştır. Tutarlılık varsayımını etkileyebilecek; ağ modeli, karşılaştırma başına çalışma sayısı, bireysel çalışma örneklem büyüklükleri ve tedavilerin başarı olasılıkları dikkate alınmıştır. Gereç ve Yöntemler: Veriler farklı örneklem büyüklüklerinin kombinasyonu (N: 100, 150, 200), 3 tedavinin farklı başarı olasılığı (0,01-0,90 aralığında değişen p1, p2, p3) ve karşılaştırma başına çalışma sayısı (M=5, M=10, M=20, M=30) için R 4.1.0 yazılımı ile üretilerek, sonuçlar elde edilmiştir. Daha sonra göreceli olasılıklar oranı [ratios of odds ratios (ROR)] değerleri için ortalama ve standart hata hesaplanmış ve bu işlem 1.000 kez tekrar edilmiştir. Bulgular: N=100 ve N=150 için tedavilerin başarı olasılığının ve ağdaki çalışma sayısının tutarsızlık varsayımını, çalışma örneklem büyüklüğünden daha fazla etkilediği tespit edilmiştir. Ayrıca sonuçlar, örneklem büyüklüğü 200 olduğunda, diğer faktörlere ek olarak, örneklem büyüklüğünün de ROR değerlerini etkilediğini göstermiştir. Sonuç: Ağ meta analizi son yıllarda gittikçe yaygınlaşmaktadır. Bu nedenle sağlanan varsayımlarla güvenilir sonuçlar elde etmek önemlidir. Özellikle tutarlılık varsayımının incelenmesi gerekir ve araştırmacılar bu çalışma ile tutarlılık varsayımını etkileyen faktörleri dikkate alabilirler.
Anahtar Kelimeler: Ağ meta analizi; tutarlılık varsayımı; dolaylı karşılaştırma
Amaç: Bu çalışma, ağ meta analizi için simüle edilmiş verilerle, tutarlılık varsayımını etkileyen faktörleri incelemeyi amaçlamıştır. Tutarlılık varsayımını etkileyebilecek; ağ modeli, karşılaştırma başına çalışma sayısı, bireysel çalışma örneklem büyüklükleri ve tedavilerin başarı olasılıkları dikkate alınmıştır. Gereç ve Yöntemler: Veriler farklı örneklem büyüklüklerinin kombinasyonu (N: 100, 150, 200), 3 tedavinin farklı başarı olasılığı (0,01-0,90 aralığında değişen p1, p2, p3) ve karşılaştırma başına çalışma sayısı (M=5, M=10, M=20, M=30) için R 4.1.0 yazılımı ile üretilerek, sonuçlar elde edilmiştir. Daha sonra göreceli olasılıklar oranı [ratios of odds ratios (ROR)] değerleri için ortalama ve standart hata hesaplanmış ve bu işlem 1.000 kez tekrar edilmiştir. Bulgular: N=100 ve N=150 için tedavilerin başarı olasılığının ve ağdaki çalışma sayısının tutarsızlık varsayımını, çalışma örneklem büyüklüğünden daha fazla etkilediği tespit edilmiştir. Ayrıca sonuçlar, örneklem büyüklüğü 200 olduğunda, diğer faktörlere ek olarak, örneklem büyüklüğünün de ROR değerlerini etkilediğini göstermiştir. Sonuç: Ağ meta analizi son yıllarda gittikçe yaygınlaşmaktadır. Bu nedenle sağlanan varsayımlarla güvenilir sonuçlar elde etmek önemlidir. Özellikle tutarlılık varsayımının incelenmesi gerekir ve araştırmacılar bu çalışma ile tutarlılık varsayımını etkileyen faktörleri dikkate alabilirler.
Anahtar Kelimeler: Ağ meta analizi; tutarlılık varsayımı; dolaylı karşılaştırma
REFERANSLAR:
- Kibret T. A Bayesian network meta-analysis for binary outcome: a simulation study [Master thesis]. Canada: McMAster University; 2013. [Link]
- Kibret T, Richer D, Beyene J. Bias in identification of the best treatment in a Bayesian network meta-analysis for binary outcome: a simulation study. Clin Epidemiol. 2014;6:451-60. [Crossref] [PubMed] [PMC]
- Kiefer C, Sturtz S, Bender R. A simulation study to compare different estimation approaches for network meta-analysis and corresponding methods to evaluate the consistency assumption. BMC Med Res Methodol. 2020;20(1):36. [Crossref] [PubMed] [PMC]
- Karahalios AE, Salanti G, Turner SL, Herbison GP, White IR, Veroniki AA, et al. An investigation of the impact of using different methods for network meta-analysis: a protocol for an empirical evaluation. Syst Rev. 2017;6(1):119. [Crossref] [PubMed] [PMC]
- Lin L. Quantifying and presenting overall evidence in network meta-analysis. Stat Med. 2018;37(28):4114-25. [Crossref] [PubMed] [PMC]
- Madden LV, Piepho HP, Paul PA. Statistical models and methods for network meta-analysis. Phytopathology. 2016;106(8):792-806. [Crossref] [PubMed]
- Neupane B, Richer D, Bonner AJ, Kibret T, Beyene J. Network meta-analysis using R: a review of currently available automated packages. PLoS One. 2014;9(12):e115065. Erratum in: PLoS One. 2015;10(4):e0123364. [Crossref] [PubMed] [PMC]
- Tu YK, Faggion CM Jr. A primer on network meta-analysis for dental research. ISRN Dent. 2012;2012:276520. [Crossref] [PubMed] [PMC]
- Fau C, Nabzo S, Nasabun V. Network meta-analysis. Revista Mexicana de Oftalmologia. 2019;92(3):153-9. [Crossref]
- Higgins JP, Jackson D, Barrett JK, Lu G, Ades AE, White IR. Consistency and inconsistency in network meta-analysis: concepts and models for multi-arm studies. Res Synth Methods. 2012;3(2):98-110. [Crossref] [PubMed] [PMC]
- Lu G, Ades AE. Combination of direct and indirect evidence in mixed treatment comparisons. Stat Med. 2004;23(20):3105-24. [Crossref] [PubMed]
- Jansen JP, Naci H. Is network meta-analysis as valid as standard pairwise meta-analysis? It all depends on the distribution of effect modifiers. BMC Med. 2013;11:159. [Crossref] [PubMed] [PMC]
- Salanti G, Higgins JP, Ades AE, Ioannidis JP. Evaluation of networks of randomized trials. Stat Methods Med Res. 2008;17(3):279-301. [Crossref] [PubMed]
- Dias S, Welton NJ, Caldwell DM, Ades AE. Checking consistency in mixed treatment comparison meta-analysis. Stat Med. 2010;29(7-8):932-44. [Crossref] [PubMed]
- Cipriani A, Higgins JP, Geddes JR, Salanti G. Conceptual and technical challenges in network meta-analysis. Ann Intern Med. 2013;159(2):130-7. [Crossref] [PubMed]
- Zhou X, Keitner GI, Qin B, Ravindran AV, Bauer M, Del Giovane C, et al. Atypical antipsychotic augmentation for treatment-resistant depression: a systematic review and network meta-analysis. Int J Neuropsychopharmacol. 2015;18(11):pyv060. [Crossref] [PubMed] [PMC]
- Greco T, Landoni G, Biondi-Zoccai G, D'Ascenzo F, Zangrillo A. A Bayesian network meta-analysis for binary outcome: how to do it. Stat Methods Med Res. 2016;25(5):1757-73. [Crossref] [PubMed]
- Song F, Xiong T, Parekh-Bhurke S, Loke YK, Sutton AJ, Eastwood AJ, et al. Inconsistency between direct and indirect comparisons of competing interventions: meta-epidemiological study. BMJ. 2011;343:d4909. [Crossref] [PubMed] [PMC]
- Tonin FS, Rotta I, Mendes AM, Pontarolo R. Network meta-analysis: a technique to gather evidence from direct and indirect comparisons. Pharm Pract (Granada). 2017;15(1):943. [Crossref] [PubMed] [PMC]
- van Valkenhoef G, Dias S, Ades AE, Welton NJ. Automated generation of node-splitting models for assessment of inconsistency in network meta-analysis. Res Synth Methods. 2016;7(1):80-93. [Crossref] [PubMed] [PMC]
- Veroniki AA, Vasiliadis HS, Higgins JP, Salanti G. Evaluation of inconsistency in networks of interventions. Int J Epidemiol. 2013;42(1):332-45. Erratum in: Int J Epidemiol. 2013;42(3):919. [Crossref] [PubMed] [PMC]
- Kaya MO, Ercan I, Ocakoğlu G. Comparison of the mantel haenszel and peto methods used in meta-analysis. Turkiye Klinikleri J Biostat. 2021;13(3):252-65. [Crossref]
- Cooper NJ, Sutton AJ, Morris D, Ades AE, Welton NJ. Addressing between-study heterogeneity and inconsistency in mixed treatment comparisons: Application to stroke prevention treatments in individuals with non-rheumatic atrial fibrillation. Stat Med. 2009;28(14):1861-81. [Crossref] [PubMed]
- Law M, Jackson D, Turner R, Rhodes K, Viechtbauer W. Two new methods to fit models for network meta-analysis with random inconsistency effects. BMC Med Res Methodol. 2016;16:87. [Crossref] [PubMed] [PMC]
- Langan D, Higgins JPT, Jackson D, Bowden J, Veroniki AA, Kontopantelis E, et al. A comparison of heterogeneity variance estimators in simulated random-effects meta-analyses. Res Syn Meth. 2019;10:83-98. [Crossref] [PubMed]
.: İşlem Listesi