.: ORİJİNAL ARAŞTIRMA
İki Oran Arasındaki Fark İçin Güven Aralıklarının Karşılaştırılması: Bir Simülasyon Çalışması
Comparison of Confidence Intervals for the Difference of Two Proportions: A Simulation Study
Turkiye Klinikleri J Biostat. 2023;15(2):102-17
doi: 10.5336/biostatic.2022-93454
Makale Dili: TR
Tam Metin
ÖZET
Amaç: Bu çalışmanın amacı, klinik araştırmaların değerlendirilmesinde kullanılan 2 oran arasındaki fark için literatürde mevcut 15 farklı yöntemin %95 güvenirlikle güven aralıklarını hesaplayarak karşılaştırmaktır. Gereç ve Yöntemler: Literatürde, 2 oran arasındaki farkın güven aralığının belirlenmesi amacıyla çok sayıda önerilmiş yöntem söz konusudur. Dolayısıyla hangi durumda hangi yöntemin kullanılacağının belirlenmesi gerekmektedir. Çalışmada, Python-random kütüphanesi kullanılarak 10 ≤ n ≤ 1000 aralığında yer alan 35 farklı n değeri için veri türetilmiştir. Verilerin türetilmesinde önce a, b, c ve d ile gösterilen gözelerden hangisine değer atanacağı, sonra da ilgili gözeye atanacak değer belirlenmiştir. n=10 için 286, n=15 için 815 ve n≥20 için 1.000'er farklı veri seti çalışmada kullanılmıştır. Bulgular: Güven aralığının büyüklüğü bakımından yöntemler sıralanacak olursa en dar aralıktan en geniş aralığa doğru sıralama; Agresti-Caffo ≤ Wald = Basit Asimptotik ≤ Beal-Haldane ≤ Anbar ≤ Beal-Jeffreys-Perks ≤ Newcombe Hibrid Skor ≤ Brown-Li ≤ Mee ≤ Uyarlanmış Yule ≤ Miettinen-Nurminen ≤ Süreklilik Düzeltmeli Wald = Süreklilik Düzeltmeli Basit Asimptotik ≤ Yule ≤ Hauck-Anderson şeklindedir. Beal-Haldane yöntemine göre oranlar arası farkların %98,8'i, Beal-Jeffreys-Perks yöntemine göre %99,6'sı, diğer yöntemlerde ise oranlar arası farkların tamamı alt ve üst sınırlar arasında kalmaktadır. Tüm yöntemler için örnek büyüklüğü arttıkça güven aralıklarının daraldığı belirlenmiştir. Güven aralığının simetrikliği bakımından yöntemlere bakıldığında, hemen tüm yöntemlerden elde edilen güven aralıklarının simetrik olduğu ve bunun tüm örneklem büyüklükleri için geçerli olduğu söylenebilir. Sonuç: Güven aralıkları, klinik araştırma sonuçlarının yorumlanmasında son derece önemlidir. Çalışmadan elde edilen sonuçlar dikkate alındığında, n≤30 için Agresti-Caffo yönteminin, 30 ≤ n ≤ 90 için Anbar ya da Wald yönteminin, n≥95 için ise Anbar yönteminin en dar güven aralıklarına sahip olduğu belirlenmiştir.
Anahtar Kelimeler: Risk farkı; eşit etkinlik deneyleri; güven aralığı; iki sonuçlu veri
Amaç: Bu çalışmanın amacı, klinik araştırmaların değerlendirilmesinde kullanılan 2 oran arasındaki fark için literatürde mevcut 15 farklı yöntemin %95 güvenirlikle güven aralıklarını hesaplayarak karşılaştırmaktır. Gereç ve Yöntemler: Literatürde, 2 oran arasındaki farkın güven aralığının belirlenmesi amacıyla çok sayıda önerilmiş yöntem söz konusudur. Dolayısıyla hangi durumda hangi yöntemin kullanılacağının belirlenmesi gerekmektedir. Çalışmada, Python-random kütüphanesi kullanılarak 10 ≤ n ≤ 1000 aralığında yer alan 35 farklı n değeri için veri türetilmiştir. Verilerin türetilmesinde önce a, b, c ve d ile gösterilen gözelerden hangisine değer atanacağı, sonra da ilgili gözeye atanacak değer belirlenmiştir. n=10 için 286, n=15 için 815 ve n≥20 için 1.000'er farklı veri seti çalışmada kullanılmıştır. Bulgular: Güven aralığının büyüklüğü bakımından yöntemler sıralanacak olursa en dar aralıktan en geniş aralığa doğru sıralama; Agresti-Caffo ≤ Wald = Basit Asimptotik ≤ Beal-Haldane ≤ Anbar ≤ Beal-Jeffreys-Perks ≤ Newcombe Hibrid Skor ≤ Brown-Li ≤ Mee ≤ Uyarlanmış Yule ≤ Miettinen-Nurminen ≤ Süreklilik Düzeltmeli Wald = Süreklilik Düzeltmeli Basit Asimptotik ≤ Yule ≤ Hauck-Anderson şeklindedir. Beal-Haldane yöntemine göre oranlar arası farkların %98,8'i, Beal-Jeffreys-Perks yöntemine göre %99,6'sı, diğer yöntemlerde ise oranlar arası farkların tamamı alt ve üst sınırlar arasında kalmaktadır. Tüm yöntemler için örnek büyüklüğü arttıkça güven aralıklarının daraldığı belirlenmiştir. Güven aralığının simetrikliği bakımından yöntemlere bakıldığında, hemen tüm yöntemlerden elde edilen güven aralıklarının simetrik olduğu ve bunun tüm örneklem büyüklükleri için geçerli olduğu söylenebilir. Sonuç: Güven aralıkları, klinik araştırma sonuçlarının yorumlanmasında son derece önemlidir. Çalışmadan elde edilen sonuçlar dikkate alındığında, n≤30 için Agresti-Caffo yönteminin, 30 ≤ n ≤ 90 için Anbar ya da Wald yönteminin, n≥95 için ise Anbar yönteminin en dar güven aralıklarına sahip olduğu belirlenmiştir.
Anahtar Kelimeler: Risk farkı; eşit etkinlik deneyleri; güven aralığı; iki sonuçlu veri
ABSTRACT
Objective: The aim of this article is to compare the 15 different methods available in the literature for the difference between the 2 ratios used in the evaluation of clinical studies, by calculating the confidence intervals with 95% confidence. Material and Methods: In the literature, there are many proposed methods for determining the confidence interval of the difference between 2 ratios. Therefore, it is necessary to determine which method will be used for which sample size. In the study, data were derived for 35 different n values in the range of 10 ≤ n ≤ 1000 using the Pythonrandom library. In the derivation of the data, firstly, which cell shown with a, b, c and d will be assigned value, then the value to be assigned to the relevant cell was determined. 286 for n=10, 815 for n=15 and 1,000 different data sets for n≥20 were used in the study. Results: If the methods are ranked in terms of the size of the confidence interval, the order from the narrowest to the widest range is Agresti-Caffo ≤ Wald = Simple asymptotic ≤ Beal-Haldane ≤ Anbar ≤ Beal-Jeffreys-Perks ≤ Newcombe Hybrid Score ≤ BrownLi ≤ Mee ≤ Adjusted Yule ≤ Miettinen-Nurminen ≤ Süreklilik Düzeltmeli Wald = Simple asymptotic with continuity correction ≤ Yule ≤ Hauck-Anderson. According to the Beal-Haldane method, 98.8% of the differences between the rates, 99.6% according to the Beal-Jeffreys-Perks method, and all the differences between the rates in other methods are between the lower and upper limits. For all methods, it was determined that the confidence intervals narrowed as the sample size increased. When we look at the methods in terms of the symmetry of the confidence interval, it can be said that the confidence intervals obtained from almost all methods are symmetrical and this is valid for all sample sizes. Conclusion: Confidence intervals are extremely important in interpreting clinical trial results. Considering the results obtained from the study, it was determined that Agresti-Caffo method for n≤30, Anbar or Wald method for 30 ≤ n ≤ 90, and Anbar method for n≥95 had the narrowest confidence intervals.
Keywords: Risk difference; non-inferiority trials; confidence interval; binary data
Objective: The aim of this article is to compare the 15 different methods available in the literature for the difference between the 2 ratios used in the evaluation of clinical studies, by calculating the confidence intervals with 95% confidence. Material and Methods: In the literature, there are many proposed methods for determining the confidence interval of the difference between 2 ratios. Therefore, it is necessary to determine which method will be used for which sample size. In the study, data were derived for 35 different n values in the range of 10 ≤ n ≤ 1000 using the Pythonrandom library. In the derivation of the data, firstly, which cell shown with a, b, c and d will be assigned value, then the value to be assigned to the relevant cell was determined. 286 for n=10, 815 for n=15 and 1,000 different data sets for n≥20 were used in the study. Results: If the methods are ranked in terms of the size of the confidence interval, the order from the narrowest to the widest range is Agresti-Caffo ≤ Wald = Simple asymptotic ≤ Beal-Haldane ≤ Anbar ≤ Beal-Jeffreys-Perks ≤ Newcombe Hybrid Score ≤ BrownLi ≤ Mee ≤ Adjusted Yule ≤ Miettinen-Nurminen ≤ Süreklilik Düzeltmeli Wald = Simple asymptotic with continuity correction ≤ Yule ≤ Hauck-Anderson. According to the Beal-Haldane method, 98.8% of the differences between the rates, 99.6% according to the Beal-Jeffreys-Perks method, and all the differences between the rates in other methods are between the lower and upper limits. For all methods, it was determined that the confidence intervals narrowed as the sample size increased. When we look at the methods in terms of the symmetry of the confidence interval, it can be said that the confidence intervals obtained from almost all methods are symmetrical and this is valid for all sample sizes. Conclusion: Confidence intervals are extremely important in interpreting clinical trial results. Considering the results obtained from the study, it was determined that Agresti-Caffo method for n≤30, Anbar or Wald method for 30 ≤ n ≤ 90, and Anbar method for n≥95 had the narrowest confidence intervals.
Keywords: Risk difference; non-inferiority trials; confidence interval; binary data
REFERANSLAR:
- Holmberg MJ, Andersen LW. Estimating risk ratios and risk differences: alternatives to odds ratios. JAMA. 2020;324(11):1098-9. [Crossref] [PubMed]
- Agresti A. Dealing with discreteness: making 'exact' confidence intervals for proportions, differences of proportions, and odds ratios more exact. Stat Methods Med Res. 2003;12(1):3-21. [Crossref] [PubMed]
- Zou G, Donner A. A simple alternative confidence interval for the difference between two proportions. Control Clin Trials. 2004;25(1):3-12. [Crossref] [PubMed]
- Ni S, Yu Q, Zhong Z, Yang M, Zhao Y, Wu J, et al. Risk difference, relative risk, and odds ratio for non-inferiority clinical trials with risk rate endpoint. J Biopharm Stat. 2022;1-16. [Crossref] [PubMed]
- Tunes da Silva G, Logan BR, Klein JP. Methods for equivalence and noninferiority testing. Biol Blood Marrow Transplant. 2009;15(1 Suppl):120-7. [Crossref] [PubMed] [PMC]
- Hahn S. Understanding noninferiority trials. Korean J Pediatr. 2012;55(11):403-7. [Crossref] [PubMed] [PMC]
- Dann RS, Koch GG. Methods for one-sided testing of the difference between proportions and sample size considerations related to non-inferiority clinical trials. Pharm Stat. 2008;7(2):130-41. [Crossref] [PubMed]
- Fagerland MW, Lydersen S, Laake P. Recommended confidence intervals for two independent binomial proportions. Stat Methods Med Res. 2015;24(2):224-54. [Crossref] [PubMed]
- Oczkowski SJ. A clinician's guide to the assessment and interpretation of noninferiority trials for novel therapies. Open Med. 2014;8(2):e67-72. [PubMed] [PMC]
- Bai AD, Komorowski AS, Lo CKL, Tandon P, Li XX, Mokashi V, et al; McMaster Infectious Diseases Fellow Research Group. Confidence interval of risk difference by different statistical methods and its impact on the study conclusion in antibiotic non-inferiority trials. Trials. 2021;22(1):708. [Crossref] [PubMed] [PMC]
- Newcombe RG. Interval estimation for the difference between independent proportions: comparison of eleven methods. Stat Med. 1998;17(8):873-90. [Crossref] [PubMed]
- Hauck WW, Anderson S. A comparison of large-sample confidence interval methods for the difference of two binomial probabilities. Am Stat. 1986;40:318-22. [Crossref]
- Agresti A, Caffo B. Simple and effective confidence intervals for proportions and differences of proportions result from adding two successes and two failures. Am Stat. 2000;54(4):280-8. [Crossref]
- Brown L, Li X. Confidence intervals for two sample binomial distribution. J Stat Plan Inference. 2005;130(1-2):359-75. [Crossref]
- Laud PJ, Dane A. Confidence intervals for the difference between independent binomial proportions: comparison using a graphical approach and moving averages. Pharm Stat. 2014;13(5):294-308. [Crossref] [PubMed]
- Anbar D. On estimating the difference between two probabilities, with special reference to clinical trials. Biometrics. 1983;39(1):257-62. [Crossref] [PubMed]
- Beal SL. Asymptotic confidence intervals for the difference between two binomial parameters for use with small samples. Biometrics. 1987;43(4):941-50. [Crossref] [PubMed]
- Mee RW. Confidence bounds for the difference between two probabilities. Biometrics. 1984;40(4):1175-6. [Link]
- Farrington CP, Manning G. Test statistics and sample size formulae for comparative binomial trials with null hypothesis of non-zero risk difference or non-unity relative risk. Stat Med. 1990;9(12):1447-54. [Crossref] [PubMed]
- Miettinen O, Nurminen M. Comparative analysis of two rates. Stat Med. 1985;4(2):213-26. [Crossref] [PubMed]
- Leung JT, Barnes SL, Lo ST, Leung DY. Non-inferiority trials in cardiology: what clinicians need to know. Heart. 2020;106(2):99-104. [Crossref] [PubMed] [PMC]
- Shan G, Wang W. ExactCIdiff: An R Package for computing exact confidence intervals for the difference of two proportions. The R Journal. 2013;5(2):62-70. [Crossref]
- Reed JF. Improved confidence intervals for the difference between two proportions. J Mod Appl Stat Methods. 2009;8(1):208-14. [Crossref]
.: İşlem Listesi