.: ORİJİNAL ARAŞTIRMA
Evaluating the Performance of the Time Dependent Net Reclassification Improvement Under Different Settings
Farklı Düzenlerde Zamana Bağlı Net Yeniden Sınıflandırma İyileştirme Performansının Değerlendirilmesi
Turkiye Klinikleri J Biostat. 2020;12(1):27-37
doi: 10.5336/biostatic.2019-71294
Makale Dili: EN
Tam Metin
ABSTRACT
Objective: In recent years, new measures have been proposed to evaluate the improvement in classification performance by the addition of a new risk factor to a baseline risk model that includes a set of baseline risk factors. Therefore, net reclassification improvement (NRI) and integrated discrimination improvement (IDI) methods have been utilized in medicine and these metrics have been adapted to time-to-event data in recent years. The aim of this study is to evaluate the performance of the time dependent NRI (NRI(t)) under different scenarios. Material and Methods: Various datasets were composed according to the purpose of each different scenario which were censoring rates (20%, 40%, and 60%), sample sizes (30, 50, 250, 500, and 1000) and number of risk categories (2, 3, and 4). Also, follow-up time was generated from Weibull distribution. All analyses and data generation process were performed using R version 3.4.3. Results: When number of risk categories was specified as three or four, the performance of improved model was better than two-category version. As censoring rate increased, the performance of improved model was decreased. Also, as expected, the performance of the model improved as sample size increased. In general, NRI(t) values were stable for two-category version independently of sample size and censoring rate through follow-up times. But especially for large sample sizes, the performance was higher in early time for three or four risk categories. Conclusion: In this study, it was found that as censoring rate decreased and number of risk categories and sample size increased, the NRI(t) improved.
Keywords: Risk prediction models; net reclassification improvement; simulation; risk factor; reclassification
Objective: In recent years, new measures have been proposed to evaluate the improvement in classification performance by the addition of a new risk factor to a baseline risk model that includes a set of baseline risk factors. Therefore, net reclassification improvement (NRI) and integrated discrimination improvement (IDI) methods have been utilized in medicine and these metrics have been adapted to time-to-event data in recent years. The aim of this study is to evaluate the performance of the time dependent NRI (NRI(t)) under different scenarios. Material and Methods: Various datasets were composed according to the purpose of each different scenario which were censoring rates (20%, 40%, and 60%), sample sizes (30, 50, 250, 500, and 1000) and number of risk categories (2, 3, and 4). Also, follow-up time was generated from Weibull distribution. All analyses and data generation process were performed using R version 3.4.3. Results: When number of risk categories was specified as three or four, the performance of improved model was better than two-category version. As censoring rate increased, the performance of improved model was decreased. Also, as expected, the performance of the model improved as sample size increased. In general, NRI(t) values were stable for two-category version independently of sample size and censoring rate through follow-up times. But especially for large sample sizes, the performance was higher in early time for three or four risk categories. Conclusion: In this study, it was found that as censoring rate decreased and number of risk categories and sample size increased, the NRI(t) improved.
Keywords: Risk prediction models; net reclassification improvement; simulation; risk factor; reclassification
ÖZET
Amaç: Son yıllarda, çeşitli risk faktörlerini içeren temel risk modeline yeni bir risk faktörü eklendiğinde, sınıflandırma performansındaki iyileşmeyi değerlendirmek için yeni ölçüler önerilmiştir. Bu kapsamda, net yeniden sınıflandırma iyileştirmesi (NYSİ) ve birleştirilmiş ayrımsama iyileştirmesi (BAİ) yöntemleri tıpta kullanılmakta olup son yıllarda ilgili ölçüler sağkalım verisine de uyarlanmıştır. Bu çalışmanın amacı, zamana bağlı NRI'nın (NRI(t)) performansını farklı senaryolar altında değerlendirmektir. Gereç ve Yöntemler: Her bir senaryonun amacına yönelik olarak, farklı sansürleme oranlarında (% 20, % 40 ve % 60), farklı örneklem büyüklüklerinde (30, 50, 250, 500 ve 1000) ve farklı risk kategorilerinde (2, 3 ve 4) çeşitli veri setleri oluşturulmuştur. Ayrıca, takip süresi Weibull dağılımından üretilmiştir. Tüm analizler ve veri üretme süreci R programı 3.4.3 versiyonu kullanılarak yapılmıştır. Bulgular: Risk kategori sayısı üç veya dört olarak belirlendiğinde, iyileşmiş modelin performansı iki kategorili versiyondan daha iyidir. Sansür oranı arttıkça, iyileşmiş modelin performansı düşmüştür. Ayrıca, beklendiği gibi, örneklem büyüklüğü arttıkça iyileşmiş modelin performansı da artmıştır. Genel olarak, iki kategorili NRI(t) değerleri, örneklem büyüklüğünden ve sansürleme oranından bağımsız olarak izlem süresi boyunca değişmeyen bir performans göstermiştir. Fakat özellikle büyük örneklem büyüklüklerinde, risk kategori sayısı üç veya dört olarak alındığında, performans erken dönemde daha yüksektir. Sonuç: Bu çalışmada, sansürleme oranı azaldıkça ve risk kategori sayısı ve örneklem büyüklüğü arttıkça, NRI(t)'nin arttığı tespit edilmiştir.
Anahtar Kelimeler: Risk tahmin modelleri; net yeniden sınıflandırma iyileştirmesi; benzetim; risk faktörü; tekrar sınıflama
Amaç: Son yıllarda, çeşitli risk faktörlerini içeren temel risk modeline yeni bir risk faktörü eklendiğinde, sınıflandırma performansındaki iyileşmeyi değerlendirmek için yeni ölçüler önerilmiştir. Bu kapsamda, net yeniden sınıflandırma iyileştirmesi (NYSİ) ve birleştirilmiş ayrımsama iyileştirmesi (BAİ) yöntemleri tıpta kullanılmakta olup son yıllarda ilgili ölçüler sağkalım verisine de uyarlanmıştır. Bu çalışmanın amacı, zamana bağlı NRI'nın (NRI(t)) performansını farklı senaryolar altında değerlendirmektir. Gereç ve Yöntemler: Her bir senaryonun amacına yönelik olarak, farklı sansürleme oranlarında (% 20, % 40 ve % 60), farklı örneklem büyüklüklerinde (30, 50, 250, 500 ve 1000) ve farklı risk kategorilerinde (2, 3 ve 4) çeşitli veri setleri oluşturulmuştur. Ayrıca, takip süresi Weibull dağılımından üretilmiştir. Tüm analizler ve veri üretme süreci R programı 3.4.3 versiyonu kullanılarak yapılmıştır. Bulgular: Risk kategori sayısı üç veya dört olarak belirlendiğinde, iyileşmiş modelin performansı iki kategorili versiyondan daha iyidir. Sansür oranı arttıkça, iyileşmiş modelin performansı düşmüştür. Ayrıca, beklendiği gibi, örneklem büyüklüğü arttıkça iyileşmiş modelin performansı da artmıştır. Genel olarak, iki kategorili NRI(t) değerleri, örneklem büyüklüğünden ve sansürleme oranından bağımsız olarak izlem süresi boyunca değişmeyen bir performans göstermiştir. Fakat özellikle büyük örneklem büyüklüklerinde, risk kategori sayısı üç veya dört olarak alındığında, performans erken dönemde daha yüksektir. Sonuç: Bu çalışmada, sansürleme oranı azaldıkça ve risk kategori sayısı ve örneklem büyüklüğü arttıkça, NRI(t)'nin arttığı tespit edilmiştir.
Anahtar Kelimeler: Risk tahmin modelleri; net yeniden sınıflandırma iyileştirmesi; benzetim; risk faktörü; tekrar sınıflama
REFERANSLAR:
- DeLong ER, DeLong DM, Clarke-Pearson DL. Comparing the areas under two or more correlated receiver operating characteristic curves: a nonparametric approach. Biometrics. 1988;44(3):837-45. [Crossref] [PubMed]
- Pepe MS, Janes H, Longton G, Leisenring W, Newcomb P. Limitations of the odds ratio in gauging the performance of a diagnostic, prognostic, or screening marker. Am J Epidemiol. 2004;159(9):882-90. [Crossref] [PubMed]
- Wang TJ, Gona P, Larson MG, Tofler GH, Levy D, Newton-Cheh C, et al. Multiple biomarkers for the prediction of first major cardiovascular events and death. N Engl J Med. 2006;355(25):2631-9. [Crossref] [PubMed]
- Ware JH. The limitations of risk factors as prognostic tools. N Engl J Med. 2006;355(25):2615-7. [Crossref] [PubMed]
- Cook NR, Ridker PM. Advances in measuring the effect of individual predictors of cardiovascular risk: the role of reclassification measures. Ann Intern Med. 2009;150(11):795-802. [Crossref] [PubMed] [PMC]
- Pencina MJ, D'Agostino RB Sr, D'Agostino RB Jr, Vasan RS. Evaluating the added predictive ability of a new marker: from area under the ROC curve to reclassification and beyond. Stat Med. 2008;27(2):157-72. [Crossref] [PubMed]
- Perk J, De Backer G, Gohlke H, Graham I, Reiner Z, Verschuren M, et al; European Association for Cardiovascular Prevention & Rehabilitation (EACPR). European Guidelines on cardiovascular disease prevention in clinical practice (version 2012). The Fifth Joint Task Force of the European Society of Cardiology and Other Societies on Cardiovascular Disease Prevention in Clinical Practice (constituted by representatives of nine societies and by invited experts). Eur Heart J. 2012;33(13):1635-701.
- Greenland P, Alpert JS, Beller GA, Benjamin EJ, Budoff MJ, Fayad ZA, et al; American College of Cardiology Foundation/American Heart AssociationTask Force on Practice Guidelines. 2010 ACCF/AHA guideline for assessment of cardiovascular risk in asymptomatic adults: a report of the American College of Cardiology Foundation/American Heart Association Task Force on Practice Guidelines. Circulation. 2010;122(25):e584-636. [Crossref] [PubMed]
- Mosca L, Benjamin EJ, Berra K, Bezanson JL, Dolor RJ, Lloyd-Jones DM, et al. Effectiveness-based guidelines for the prevention of cardiovascular disease inwomen-2011 update: a guideline from the American Heart Association. Circulation.2011;123(11):1243-62. [Crossref] [PubMed] [PMC]
- Expert Panel on Detection, Evaluation, and Treatment of High Blood Cholesterol in Adults. Executive Summary of the Third Report of the National Cholesterol Education Program (NCEP) Expert Panel on Detection, Evaluation, and Treatment of High Blood Cholesterol In Adults (Adult Treatment Panel III). JAMA. 2001;285(19):2486-97. [Crossref] [PubMed]
- Pencina MJ, D'Agostino RB Sr, Steyerberg EW. Extensions of net reclassification improvement calculations to measure usefulness of new biomarkers. Stat Med. 2011;30(1):11-21. [Crossref] [PubMed] [PMC]
- Kerr KF, Wang Z, Janes H, McClelland RL, Psaty BM, Pepe MS. Net reclassification indices for evaluating risk prediction instruments: a critical review. Epidemiology. 2014;25(1):114-21. [Crossref] [PubMed] [PMC]
- Viallon V, Ragusa S, Clavel-Chapelon F, Bénichou J. How to evaluate the calibration of a disease risk prediction tool? Stat Med. 2009;28(6):901-16. [Crossref] [PubMed]
- Kaplan EL, Meier P. Nonparametric estimation from incomplete observations. J Am Stat Assoc. 1958;53:457-81. [Crossref]
- Zheng Y, Parast L, Cai T, Brown M. Evaluating incremental values from new predictors with net reclassification improvement in survival analysis. Lifetime Data Anal. 2013;19(3):350-70. [Crossref] [PubMed] [PMC]
- Liu M, Kapadia AS, Etzel CJ. Evaluating a new risk marker's predictive contribution in survival models. J Stat Theory Pract. 2010;4(4):845-55. [Crossref] [PubMed] [PMC]
- Chambless LE, Cummiskey CP, Cui G. Several methods to assess improvement in risk prediction models: extension to survival analysis. Stat Med. 2011;30(1):22-38. [Crossref] [PubMed]
- French B, Saha-Chaudhuri P, Ky B, Cappola TP, Heagerty PJ. Development and evaluation of multi-marker risk scores for clinical prognosis. Stat Methods Med Res. 2016;25(1):255-71. [Crossref] [PubMed] [PMC]
- Mühlenbruch K, Heraclides A, Steyerberg EW, Joost HG, Boeing H, Schulze MB. Assessing improvement in disease prediction using net reclassification improvement: impact of risk cut-offs and number of risk categories. Eur J Epidemiol. 2013;28(1):25-33. [Crossref] [PubMed]
- Pickering JW, Endre ZH. New metrics for assessing diagnostic potential of candidate biomarkers. Clin J Am Soc Nephrol. 2012;7(8):1355-64. [Crossref] [PubMed]
- Pencina MJ, Steyerberg EW, D'Agostino RB Sr. Net reclassification index at event rate: properties and relationships. Stat Med. 2017;36(28):4455-67. [Crossref] [PubMed]
.: İşlem Listesi