.: ORİJİNAL ARAŞTIRMA
A Comparison of Ensemble Learning Algorithms for Matching Weights Method: A Simulation Study
Eşleştirilmiş Ağırlıklandırılma Yöntem İçin Topluluk Öğrenme Algoritmalarının Karşılaştırması: Bir Simülasyon Çalışması
Turkiye Klinikleri J Biostat. 2023;15(1):30-41
doi: 10.5336/biostatic.2022-94304
Makale Dili: EN
Tam Metin
ABSTRACT
Objective: This paper conducts thorough simulation research to assess the effectiveness of ensemble learning techniques and logistics regression models for estimating propensity score values used at the matching weighting under different propensity score model scenarios and various treatment scenarios considered. Material and Methods: This study underlines the significance and challenges of frequently disregarded overlap assumption. Offered method also is examined and focuses on the difficulties that nonoverlap entails for inference. Monte Carlo simulations are used to generate data sets to analyze the causal effect of meeting in order that illustrates alternative strategies and pertaining aspects when highlighting positivity violations. Results: Here simulation results are illustrated to compare matching weight method under various machine learning methods in terms of root mean squared error (RMSE), SE of the treatment effects, and bias. Some ensemble learning algorithms for estimating propensity score (PS) values have rigorously outperformed than using the logistics regression method with or without existing a violation of the positivity the assumption under the different estimation PS models and various treatment models. The most complex treatment scenario tends to produce better results as measured by the SE, RMSE and bias than the less complex treatment scenarios. Conclusion: The findings summarize the conditions under which one technique may be anticipated to perform better than others without generalizing whether a method is always preferable to the other.
Keywords: Matching weighting; observational studies; ensemble learning models; propensity score; Monte Carlo simulation
Objective: This paper conducts thorough simulation research to assess the effectiveness of ensemble learning techniques and logistics regression models for estimating propensity score values used at the matching weighting under different propensity score model scenarios and various treatment scenarios considered. Material and Methods: This study underlines the significance and challenges of frequently disregarded overlap assumption. Offered method also is examined and focuses on the difficulties that nonoverlap entails for inference. Monte Carlo simulations are used to generate data sets to analyze the causal effect of meeting in order that illustrates alternative strategies and pertaining aspects when highlighting positivity violations. Results: Here simulation results are illustrated to compare matching weight method under various machine learning methods in terms of root mean squared error (RMSE), SE of the treatment effects, and bias. Some ensemble learning algorithms for estimating propensity score (PS) values have rigorously outperformed than using the logistics regression method with or without existing a violation of the positivity the assumption under the different estimation PS models and various treatment models. The most complex treatment scenario tends to produce better results as measured by the SE, RMSE and bias than the less complex treatment scenarios. Conclusion: The findings summarize the conditions under which one technique may be anticipated to perform better than others without generalizing whether a method is always preferable to the other.
Keywords: Matching weighting; observational studies; ensemble learning models; propensity score; Monte Carlo simulation
ÖZET
Amaç: Bu makalede dikkate alınan farklı eğilim puanı modeli senaryoları ve çeşitli tedavi senaryoları altında, eşleştirme ağırlıklandırılması metodunun kullanılan tahmini eğilim puan değerleri hesaplanması için topluluk öğrenme teknikleri ve lojistik regresyon modelinin etkinliğinin değerlendirmek için kapsamlı bir simülasyon çalışması yürütmektedir. Gereç ve Yöntemler: Bu çalışma, sıklıkla ihmal edilen örtüşme varsayımının önemini ve zorlukları vurgulamaktadır. Önerilen yöntemin de değerlendirilmesi ve nedensel çıkarımlarda örtüşmeme durumunun getirdiği zorluklara odaklanmıştır. Pozitiflik varsayımını vurgulanmasında alternatif stratejileri ve ilgili yönleri tanımlamak için nedensel etkiyi analiz etmek için Monte Carlo simülasyonundan elde edilen veri setleri kullanılır. Bulgular: Buradaki simülasyon çalışmasının sonuçları, farklı makine öğrenimi yöntemleri altında eşleştirme ağırlıklandırılması metodunun kök ortalama kare hatası [root mean squared error (RMSE)], tedavi etkilerinin SE ve göreceli ön yargı ölçülerine dayalı karşılaştırma yapmak için gösterilmektedir. Farklı tahmin eğilim skoru [propensity score (PS)] modelleri ve birçok tedavi modelleri altından pozitiflik varsayımının ihlali olsun veya olmasın PS değerlerinin tahmin etmek için kullanılan bazı topluluk öğrenme algoritmalarının, lojistik regresyon yönteminin kullanılmasından kesinlikle daha iyi performans göstermiştir. En karmaşık tedavi senaryosu, SE, RMSE ve yanlılıkla ölçüleri açısından daha az karmaşık tedavi senaryolarına göre daha iyi sonuçlar üretme eğilimindedir. Sonuç: Bulgular kısmıyla bir yöntemin diğerinden daha iyidir genelleştirmesini yapmadan, bir tekniğin diğerlerinden daha iyi bir performans göstermesinin beklenebileceğinin şartlarıyla özetlenmektedir.
Anahtar Kelimeler: Eşleştirme ağırlıklandırılması; gözlemsel çalışmalar; topluluk öğrenme modeller; eğilim skoru; Monte Carlo simülasyon
Amaç: Bu makalede dikkate alınan farklı eğilim puanı modeli senaryoları ve çeşitli tedavi senaryoları altında, eşleştirme ağırlıklandırılması metodunun kullanılan tahmini eğilim puan değerleri hesaplanması için topluluk öğrenme teknikleri ve lojistik regresyon modelinin etkinliğinin değerlendirmek için kapsamlı bir simülasyon çalışması yürütmektedir. Gereç ve Yöntemler: Bu çalışma, sıklıkla ihmal edilen örtüşme varsayımının önemini ve zorlukları vurgulamaktadır. Önerilen yöntemin de değerlendirilmesi ve nedensel çıkarımlarda örtüşmeme durumunun getirdiği zorluklara odaklanmıştır. Pozitiflik varsayımını vurgulanmasında alternatif stratejileri ve ilgili yönleri tanımlamak için nedensel etkiyi analiz etmek için Monte Carlo simülasyonundan elde edilen veri setleri kullanılır. Bulgular: Buradaki simülasyon çalışmasının sonuçları, farklı makine öğrenimi yöntemleri altında eşleştirme ağırlıklandırılması metodunun kök ortalama kare hatası [root mean squared error (RMSE)], tedavi etkilerinin SE ve göreceli ön yargı ölçülerine dayalı karşılaştırma yapmak için gösterilmektedir. Farklı tahmin eğilim skoru [propensity score (PS)] modelleri ve birçok tedavi modelleri altından pozitiflik varsayımının ihlali olsun veya olmasın PS değerlerinin tahmin etmek için kullanılan bazı topluluk öğrenme algoritmalarının, lojistik regresyon yönteminin kullanılmasından kesinlikle daha iyi performans göstermiştir. En karmaşık tedavi senaryosu, SE, RMSE ve yanlılıkla ölçüleri açısından daha az karmaşık tedavi senaryolarına göre daha iyi sonuçlar üretme eğilimindedir. Sonuç: Bulgular kısmıyla bir yöntemin diğerinden daha iyidir genelleştirmesini yapmadan, bir tekniğin diğerlerinden daha iyi bir performans göstermesinin beklenebileceğinin şartlarıyla özetlenmektedir.
Anahtar Kelimeler: Eşleştirme ağırlıklandırılması; gözlemsel çalışmalar; topluluk öğrenme modeller; eğilim skoru; Monte Carlo simülasyon
REFERANSLAR:
- Rosenbaum PR, Rubin DB. The central role of the propensity score in observational studies for causal effects. Biometrika. 1983;70(1):41-55. [Crossref]
- D'Agostino RB Jr. Propensity score methods for bias reduction in the comparison of a treatment to a non-randomized control group. Stat Med. 1998;17(19):2265-81. [Crossref] [PubMed]
- Stuart EA. Matching methods for causal inference: a review and a look forward. Stat Sci. 2010;25(1):1-21. [Crossref] [PubMed] [PMC]
- Lunceford JK, Davidian M. Stratification and weighting via the propensity score in estimation of causal treatment effects: a comparative study. Stat Med. 2004;23(19):2937-60. Erratum in: Stat Med. 2017;36(14 ):2320. [Crossref] [PubMed]
- Imbens GW. Nonparametric estimation of average treatment effects under exogeneity: a review. Review of Economics and Statistics. 2004;86(1):4-29. [Crossref]
- Tipton E. Improving generalizations from experiments using propensity score subclassification: assumptions, properties, and contexts. Journal of Educational and Behavioral Statistics. 2013;38(3):239-66. [Crossref]
- Austin PC, Stuart EA. Moving towards best practice when using inverse probability of treatment weighting (IPTW) using the propensity score to estimate causal treatment effects in observational studies. Statistics in Medicine. 2015;34(28):3661-79. [Crossref] [PubMed] [PMC]
- Ertefaie A, Stephens DA. Comparing approaches to causal inference for longitudinal data: inverse probability weighting versus propensity scores. Int J Biostat. 2010;6(2):Article 14. [Crossref] [PubMed]
- Sugihara M. Survival analysis using inverse probability of treatment weighted methods based on the generalized propensity score. Pharm Stat. 2010;9(1):21-34. [Crossref] [PubMed]
- Garrido MM. Covariate adjustment and propensity score. JAMA. 2016;315(14):1521-2. [Crossref] [PubMed] [PMC]
- Zou B, Zou F, Shuster JJ, Tighe PJ, Koch GG, Zhou H. On variance estimate for covariate adjustment by propensity score analysis. Stat Med. 2016;35(20):3537-48. [Crossref] [PubMed] [PMC]
- Imbens GW, Rubin DB. Causal Inference in Statistics, Social, and Biomedical Sciences. 1st ed. Cambridge: Cambridge University Press; 2015. [Crossref]
- Keele L, Lenard M, Page L. Overlap violations in clustered observational studies of educational interventions. Journal of Research on Educational Effectiveness. 2022:1-18. [Crossref]
- Zhu Y, Hubbard RA, Chubak J, Roy J, Mitra N. Core concepts in pharmacoepidemiology: violations of the positivity assumption in the causal analysis of observational data: Consequences and statistical approaches. Pharmacoepidemiol Drug Saf. 2021;30(11):1471-85. [Crossref] [PubMed] [PMC]
- Zhu Y, Mitra N, Roy J. Addressing positivity violations in causal effect estimation using gaussian process priors. arXiv. 2021. [Crossref] [PubMed]
- Crump RK, Hotz VJ, Imbens GW, Mitnik OA. Dealing with limited overlap in estimation of average treatment effects. Biometrika. 2009;96(1):187-99. [Crossref]
- Stürmer T, Rothman KJ, Avorn J, Glynn RJ. Treatment effects in the presence of unmeasured confounding: dealing with observations in the tails of the propensity score distribution--a simulation study. Am J Epidemiol. 2010;172(7):843-54. [Crossref] [PubMed] [PMC]
- Walker AM, Patrick AR, Lauer MS, Hornbrook MC, Marin MG, Platt R, et al. A tool for assessing the feasibility of comparative effectiveness research. Comp Eff Res. 2013;3:11-20. [Crossref]
- Li L, Greene T. A weighting analogue to pair matching in propensity score analysis. Int J Biostat. 2013;9(2):215-34. [Crossref] [PubMed]
- Austin PC. Bootstrap vs asymptotic variance estimation when using propensity score weighting with continuous and binary outcomes. Stat Med. 2022;41(22):4426-43. [Crossref] [PubMed] [PMC]
- Matsouaka RA, Zhou Y. A framework for causal inference in the presence of extreme inverse probability weights: the role of overlap weights. arXiv. 2020. [Link]
- Zhou Y, Matsouaka RA, Thomas L. Propensity score weighting under limited overlap and model misspecification. Stat Methods Med Res. 2020;29(12):3721-56. [Crossref] [PubMed]
- Yoshida K, Hernández-Díaz S, Solomon DH, Jackson JW, Gagne JJ, Glynn RJ, et al. Matching weights to simultaneously compare three treatment groups: comparison to three-way matching. Epidemiology. 2017;28(3):387-95. [Crossref] [PubMed] [PMC]
- Li F, Morgan KL, Zaslavsky AM. Balancing covariates via propensity score weighting. Journal of the American Statistical Association. 2018;113(521):390-400. [Crossref]
- Rubin DB. Using multivariate matched sampling and regression adjustment to control bias in observational studies. Journal of the American Statistical Association. 1979;74(366a):318-28. [Crossref]
- Rubin DB. Bias reduction using Mahalanobis-metric matching. Biometrics. 1980;36(2):293-8. [Crossref]
- Breiman L. Bagging predictors. Machine Learning. 1996;24(2):123-40. [Crossref]
- Schapire RE. A brief introduction to boosting. Proceedings of the Sixteenth International Joint Conference on Artificial Intelligence. 1999:1401-6. [Link]
- Freund Y, Schapire RE. Experiments with a new boosting algorithm. Machine Learning: Proceedings of the Thirteenth International Conference. 1996:148-56. [Link]
- Friedman JH. Greedy function approximation: a gradient boosting machine. Annals of Statistics. 2001;29(5):1189-232. [Crossref]
- Osman AIA, Ahmed AN, Chow MF, Huang YF, El-Shafie A. Extreme gradient boosting (Xgboost) model to predict the groundwater levels in Selangor Malaysia. Ain Shams Engineering Journal. 2021;12(2):1545-56. [Crossref]
- Setodji CM, McCaffrey DF, Burgette LF, Almirall D, Griffin BA. The right tool for the job: choosing between covariate-balancing and generalized boosted model propensity scores. Epidemiology. 2017;28(6):802-11. [Crossref] [PubMed] [PMC]
- Setoguchi S, Schneeweiss S, Brookhart MA, Glynn RJ, Cook EF. Evaluating uses of data mining techniques in propensity score estimation: a simulation study. Pharmacoepidemiol Drug Saf. 2008;17(6):546-55. [Crossref] [PubMed] [PMC]
- Zhou T, Tong G, Li F, Thomas LE, Li F. PSweight: an R package for propensity score weighting analysis. ArXiv. 2010. [Crossref]
- Mao H, Li L, Greene T. Propensity score weighting analysis and treatment effect discovery. Stat Methods Med Res. 2019;28(8):2439-54. [Crossref] [PubMed]
.: İşlem Listesi