.: ORİJİNAL ARAŞTIRMA
Tedavi İçin Gerekli Sayı İçin Güven Aralıklarının Güvenirliklerinin İncelenmesi: Bir Simülasyon Çalışması
Examining the Reliability of Confidence Intervals for the Number Needed to Treat: A Simulation Study
Turkiye Klinikleri J Biostat. 2023;15(2):118-33
doi: 10.5336/biostatic.2022-94297
Makale Dili: TR
Tam Metin
ÖZET
Amaç: Literatürde, iki oran arasındaki fark için güven aralığının belirlenmesi amacıyla çok sayıda önerilmiş yöntem söz konusudur. Ancak spesifik olarak tedavi için gereken sayı [number needed to treat (NNT)] ile ilgili geliştirilmiş bir yöntem bulunmamaktadır. Dolayısıyla iki oran arasındaki fark için ileri sürülen yöntemlerden hangisinin NNT için kullanılabileceğinin belirlenmesi gerekmektedir. Bu çalışmanın amacı, Wald, Newcombe, AgrestiCaffo ve Anbar tarafından önerilen güven aralıklarının NNT için kullanılabilirliğini araştırmaktır. Gereç ve Yöntemler: Çalışmada, Phyton-random kütüphanesi kullanılarak 10 ≤ n ≤ 1000 aralığında yer alan 35 farklı n değeri için veri türetilmiştir. Verilerin türetilmesinde önce a, b, c ve d ile gösterilen gözelerden hangisine değer atanacağı, sonra da ilgili gözeye atanacak değer belirlenmiştir. n=10 için 286, n=15 için 815 ve n ≥ 20 için biner farklı veri seti çalışmada kullanılmıştır. Bulgular: Güven aralığının çarpıklığı ve güven aralığının NNT sayı değerini kapsaması kriterleri bakımından çalışmada dikkate alınan yöntemlerin iyiden kötüye doğru sıralaması Anbar, Wald, Agresti-Coffe ve Newcombe şeklindedir. Çalışmadan elde edilen bulgulara göre NNT ve NNT için önerilen güven aralığı örneklem büyüklüğünden etkilenmektedir. Sonuç: NNT ve NNT için önerilen güven aralığı hesaplama yöntemleri tatmin edici sonuçlar sunmamaktadır. Bu duruma, NNT sayı ve NNT için önerilen güven aralığı hesaplama yöntemlerinin sebep olduğu, dolayısıyla hesaplama ve yorumlamada mevcut zaafiyetleri giderecek yeni yöntemlerin ortaya konulması gerektiği söylenebilir. Bütün bu olumsuzluklara rağmen güven aralığının çarpıklığı ve NNT sayı değerini kapsaması kriterleri bakımından Anbar yönteminin çalışmada dikkate alınan diğer yöntemlere tercih edilmesi gerektiği sonucuna ulaşılmıştır.
Anahtar Kelimeler: Tedavi için gerekli sayı; güven aralığı; iki sonuçlu veri
Amaç: Literatürde, iki oran arasındaki fark için güven aralığının belirlenmesi amacıyla çok sayıda önerilmiş yöntem söz konusudur. Ancak spesifik olarak tedavi için gereken sayı [number needed to treat (NNT)] ile ilgili geliştirilmiş bir yöntem bulunmamaktadır. Dolayısıyla iki oran arasındaki fark için ileri sürülen yöntemlerden hangisinin NNT için kullanılabileceğinin belirlenmesi gerekmektedir. Bu çalışmanın amacı, Wald, Newcombe, AgrestiCaffo ve Anbar tarafından önerilen güven aralıklarının NNT için kullanılabilirliğini araştırmaktır. Gereç ve Yöntemler: Çalışmada, Phyton-random kütüphanesi kullanılarak 10 ≤ n ≤ 1000 aralığında yer alan 35 farklı n değeri için veri türetilmiştir. Verilerin türetilmesinde önce a, b, c ve d ile gösterilen gözelerden hangisine değer atanacağı, sonra da ilgili gözeye atanacak değer belirlenmiştir. n=10 için 286, n=15 için 815 ve n ≥ 20 için biner farklı veri seti çalışmada kullanılmıştır. Bulgular: Güven aralığının çarpıklığı ve güven aralığının NNT sayı değerini kapsaması kriterleri bakımından çalışmada dikkate alınan yöntemlerin iyiden kötüye doğru sıralaması Anbar, Wald, Agresti-Coffe ve Newcombe şeklindedir. Çalışmadan elde edilen bulgulara göre NNT ve NNT için önerilen güven aralığı örneklem büyüklüğünden etkilenmektedir. Sonuç: NNT ve NNT için önerilen güven aralığı hesaplama yöntemleri tatmin edici sonuçlar sunmamaktadır. Bu duruma, NNT sayı ve NNT için önerilen güven aralığı hesaplama yöntemlerinin sebep olduğu, dolayısıyla hesaplama ve yorumlamada mevcut zaafiyetleri giderecek yeni yöntemlerin ortaya konulması gerektiği söylenebilir. Bütün bu olumsuzluklara rağmen güven aralığının çarpıklığı ve NNT sayı değerini kapsaması kriterleri bakımından Anbar yönteminin çalışmada dikkate alınan diğer yöntemlere tercih edilmesi gerektiği sonucuna ulaşılmıştır.
Anahtar Kelimeler: Tedavi için gerekli sayı; güven aralığı; iki sonuçlu veri
ABSTRACT
Objective: In the literature, there are many proposed methods for determining the confidence interval of the difference between 2 ratios. However, there is no developed method specifically for the number needed to treat (NNT). Therefore, it is necessary to determine which of the proposed methods for the differences between 2 ratios can be used for the NNT. The aim of this study is to investigate the usability of the confidence intervals proposed by Wald, Newcombe, Agresti-Caffo, and Anbar for the NNT. Material and Methods: In the study, data were derived for 35 different n values in the range of 10 ≤ n ≤ 1000 using the Phytonrandom library. In the derivation of the data, firstly, which cell shown with a, b, c and d will be assigned value, then the value to be assigned to the relevant cell was determined. 286 for n=10, 815 for n=15 and 1,000 different data sets for n ≥ 20 were used in the study. Results: The order of the methods from best to worst is Anbar, Wald, Agresti-Coffe, and Newcombe. In ordering the methods, whether the confidence interval includes the NNT value and the skewness of the confidence interval were taken into account. According to the findings obtained from the study, the suggested confidence intervals for NNT and NNT are affected by the sample size. Conclusion: Calculation methods proposed for confidence interval NNT and NNT do not provide satisfactory results. It can be said that this situation is caused by the calculation methods suggested for the NNT confidence interval and NNT, so new methods should be introduced to eliminate existing weaknesses in calculation and interpretation. Despite all these negativities, it was concluded that the Anbar method should be preferred over the other methods considered in the study in terms of the skewness of the confidence interval and the criteria to include the NNT value.
Keywords: Number needed to treat; confidence interval; binary data
Objective: In the literature, there are many proposed methods for determining the confidence interval of the difference between 2 ratios. However, there is no developed method specifically for the number needed to treat (NNT). Therefore, it is necessary to determine which of the proposed methods for the differences between 2 ratios can be used for the NNT. The aim of this study is to investigate the usability of the confidence intervals proposed by Wald, Newcombe, Agresti-Caffo, and Anbar for the NNT. Material and Methods: In the study, data were derived for 35 different n values in the range of 10 ≤ n ≤ 1000 using the Phytonrandom library. In the derivation of the data, firstly, which cell shown with a, b, c and d will be assigned value, then the value to be assigned to the relevant cell was determined. 286 for n=10, 815 for n=15 and 1,000 different data sets for n ≥ 20 were used in the study. Results: The order of the methods from best to worst is Anbar, Wald, Agresti-Coffe, and Newcombe. In ordering the methods, whether the confidence interval includes the NNT value and the skewness of the confidence interval were taken into account. According to the findings obtained from the study, the suggested confidence intervals for NNT and NNT are affected by the sample size. Conclusion: Calculation methods proposed for confidence interval NNT and NNT do not provide satisfactory results. It can be said that this situation is caused by the calculation methods suggested for the NNT confidence interval and NNT, so new methods should be introduced to eliminate existing weaknesses in calculation and interpretation. Despite all these negativities, it was concluded that the Anbar method should be preferred over the other methods considered in the study in terms of the skewness of the confidence interval and the criteria to include the NNT value.
Keywords: Number needed to treat; confidence interval; binary data
REFERANSLAR:
- Laupacis A, Sackett DL, Roberts RS. An assessment of clinically useful measures of the consequences of treatment. N Engl J Med. 1988;318(26):1728-33. [Crossref] [PubMed]
- Perez-Padilla R, Patino CM, Ferreira JC. Number needed to treat: a useful statistic to evaluate the impact of an intervention. J Bras Pneumol. 2019;45(6):e20190371. [Crossref] [PubMed] [PMC]
- Stang A, Poole C, Bender R. Common problems related to the use of number needed to treat. J Clin Epidemiol. 2010;63(8):820-5. [Crossref] [PubMed]
- Westreich D, Mooney SJ. Number (of whom?) needed to treat (with what?): exposures, population interventions, and the number needed to treat. Epidemiology. 2019;30 Suppl 2:S55-9. [Crossref] [PubMed]
- Cook RJ, Sackett DL. The number needed to treat: a clinically useful measure of treatment effect. BMJ. 1995;310(6977):452-4. [Crossref] [PubMed] [PMC]
- Tschudy MM, Rowe PC. Research and statistics: number needed to treat and intention to treat analysis. Pediatr Rev. 2010;31(9):380-2. [Crossref] [PubMed]
- Elliott MH, Skydel JJ, Dhruva SS, Ross JS, Wallach JD. Characteristics and reporting of number needed to treat, number needed to harm, and absolute risk reduction in controlled clinical trials, 2001-2019. JAMA Intern Med. 2021;181(2):282-4. [Crossref] [PubMed] [PMC]
- Bowry SK, Schoder V, Apel C. An inadvertent but explicable error in calculating number needed to treat for reporting survival data. J Am Soc Nephrol. 2014;25(5):875-6. [Crossref] [PubMed] [PMC]
- Nguyen C, Naunton M, Thomas J, Todd L, McEwen J, Bushell M. Availability and use of number needed to treat (NNT) based decision aids for pharmaceutical interventions. Explor Res Clin Soc Pharm. 2021;2:100039. [Crossref] [PubMed] [PMC]
- Biswas A. Number needed to treat. J Pract Cardiovasc Sci. 2017;3(2):106-8. [Crossref]
- Altman DG. Confidence intervals for the number needed to treat. BMJ. 1998;317(7168):1309-12. [Crossref] [PubMed] [PMC]
- Veroniki AA, Bender R, Glasziou P, Straus SE, Tricco AC. The number needed to treat in pairwise and network meta-analysis and its graphical representation. J Clin Epidemiol. 2019;111:11-22. [Crossref] [PubMed]
- Saver JL, Lewis RJ. Number needed to treat: conveying the likelihood of a therapeutic effect. JAMA. 2019;321(8):798-9. [Crossref] [PubMed]
- Kraemer HC, Kupfer DJ. Size of treatment effects and their importance to clinical research and practice. Biol Psychiatry. 2006;59(11):990-6. [Crossref] [PubMed]
- Furukawa TA, Leucht S. How to obtain NNT from Cohen's d: comparison of two methods. PLoS One. 2011;6(4):e19070. [Crossref] [PubMed] [PMC]
- Vancak V, Goldberg Y, Levine SZ. Systematic analysis of the number needed to treat. Stat Methods Med Res. 2020;29(9):2393-410. [Crossref] [PubMed]
- Wald NJ, Morris JK. Two under-recognized limitations of number needed to treat. Int J Epidemiol. 2020;49(2):359-60. [Crossref] [PubMed]
- Weeks DL, Noteboom JT. Using the number needed to treat in clinical practice. Arch Phys Med Rehabil. 2004;85(10):1729-31. [Crossref] [PubMed]
- Bender R. Calculating confidence intervals for the number needed to treat. Control Clin Trials. 2001;22(2):102-10. [Crossref] [PubMed]
- Ludwig L, Darmon P, Guerci B. Computing and interpreting the Number Needed to Treat for Cardiovascular Outcomes Trials: perspective on GLP-1 RA and SGLT-2i therapies. Cardiovasc Diabetol. 2020;19(1):65. [Crossref] [PubMed] [PMC]
- Newcombe RG. Interval estimation for the difference between independent proportions: comparison of eleven methods. Stat Med. 1998;17(8):873-90. [Crossref] [PubMed]
- Fagerland MW, Lydersen S, Laake P. Recommended confidence intervals for two independent binomial proportions. Stat Methods Med Res. 2015;24(2):224-54. [Crossref] [PubMed]
- Anbar D. On estimating the difference between two probabilities, with special reference to clinical trials. Biometrics. 1983;39(1):257-62. [Crossref] [PubMed]
- Agresti A, Caffo B. Simple and effective confidence intervals for proportions and differences of proportions result from adding two successes and two failures. Am Stat. 2000;54(4):280-8. [Crossref]
- Ebrahim S, Smith GD. The 'number need to treat': does it help clinical decision making? J Hum Hypertens. 1999;13(11):721-4. [Crossref] [PubMed]
- Barratt A, Wyer PC, Hatala R, McGinn T, Dans AL, Keitz S, et al; Evidence-Based Medicine Teaching Tips Working Group. Tips for learners of evidence-based medicine: 1. Relative risk reduction, absolute risk reduction and number needed to treat. CMAJ. 2004;171(4):353-8. [Crossref] [PubMed] [PMC]
- San Laureano JA, Briganti EM, Colville DJ. Number needed to treat: a useful new method of assessing the magnitude of treatment effect and its application to the management of diabetic retinopathy. Aust N Z J Ophthalmol. 1999;27(2):137-42. [Crossref] [PubMed]
- Barrowman NJ. Missing the point (estimate)? Confidence intervals for the number needed to treat. CMAJ. 2002;166(13):1676-7. [PubMed] [PMC]
- Mendes D, Alves C, Batel-Marques F. Number needed to treat (NNT) in clinical literature: an appraisal. BMC Med. 2017;15(1):112. [Crossref] [PubMed] [PMC]
- Scott I. Interpreting risks and ratios in therapy trials. Aust Prescr. 2008;31(1):12-6. [Crossref]
- de Craen AJ, Vickers AJ, Tijssen JG, Kleijnen J. Number-needed-to-treat and placebo-controlled trials. Lancet. 1998;351(9099):310. [Crossref] [PubMed]
- Katz N, Paillard FC, Van Inwegen R. A review of the use of the number needed to treat to evaluate the efficacy of analgesics. J Pain. 2015;16(2):116-23. [Crossref] [PubMed]
- Hutton JL. Number needed to treat: properties and problems. J R Stat Soc Ser A Stat Soc. 2000;163(3):381-402. [Crossref]
- Raju GK, Khozin S, Gurumurthi K, Domike R, Woodcock J. Patient-centered approach to benefit-risk characterization using number needed to benefit and number needed to harm: advanced non-small-cell lung cancer. JCO Clin Cancer Inform. 2020;4:769-83. [Crossref] [PubMed] [PMC]
.: İşlem Listesi