.: ORIGINAL RESEARCH
Tedavide Başarısızlık Olasılığı İçin Üst Sınır Belirleme Yöntemlerinin Karşılaştırılması: Metodolojik Bir Çalışma
Comparison of Methods for Setting Upper Limits for Probability of No Treatment Success: A Methodological Study
Turkiye Klinikleri J Biostat. 2024;16(3):150-6
doi: 10.5336/biostatic.2024-104312
Article Language: TR
Full Text
ÖZET
Bu çalışmanın amacı, belirli bir tıbbi prosedürün sonucunun olumsuz olma olasılığı p(x=0) için güven aralığının üst sınırının (PU) tahmin edilmesi ile ilgili önerilen farklı tahmin edicilerin kapsamlı bir karşılaştırmasını sağlamak, %90, %95 ve %99 güven düzeyleri için gereken örneklem büyüklüklerini belirlemektir. Gereç ve Yöntemler: n büyüklüğündeki bir örneklemde gözlemlenen başarı sayısı sıfır olduğunda (x=0), araştırmacının temel amacı genellikle gerçek başarı olasılığı için makul bir üst sınır elde etmektir. Bu çalışmada PU'nun tahmin edilmesinde Poisson, Clopper-Pearson, Üç Kuralı ve Bayesian Uniform Beta Dağılımı (Mid-p) yöntemlerine dayalı tahmin ediciler ele alınmış, küçük örneklem büyüklükleri (n≤50) için 4 farklı yöntem değerlendirilmiştir. Bulgular: değeri ve/veya örneklem büyüklüğü arttıkça PU değerleri küçülmektedir. n≥45 için tüm yöntemlerden elde edilen PU değerleri hemen hemen benzer hâle gelmektedir. Mid-p yönteminden elde edilen PU değerleri diğer yöntemlerden elde edilen PU değerlerinden tüm durumlar için daha küçüktür. Poisson yaklaşımı ve Üç Kuralı'ndan elde edilen PU değerleri birbirlerine oldukça yakındır ve bu yöntemlerden elde edilen PU değerleri tüm yöntemler içerisinde en büyüktür. Clopper-Pearson yönteminden elde edilen değerler ise arada kalmaktadır. 0,01≤PU≤0,10 için örneklem büyüklüğü %99 güvenirlikle 37≤n≤461 kişi, %95 güvenirlikle 22≤n≤300 kişi ve %90 güvenirlikle 15≤n≤230 kişi olmalıdır. Sonuç: Çalışmadan elde edilen sonuçlara göre x=0 olması durumunda, iyimser bir yaklaşım için Mid-p yönteminin, kötümser bir yaklaşım için ise Üç Kuralı'nın tercih edilmesi gerektiği sonucuna ulaşılmıştır.
Anahtar Kelimeler: Sıfır tedavi başarısı; Poisson yaklaşımı; Clopper-Pearson yöntemi; Üç Kuralı; Mid-p yöntemi
Bu çalışmanın amacı, belirli bir tıbbi prosedürün sonucunun olumsuz olma olasılığı p(x=0) için güven aralığının üst sınırının (PU) tahmin edilmesi ile ilgili önerilen farklı tahmin edicilerin kapsamlı bir karşılaştırmasını sağlamak, %90, %95 ve %99 güven düzeyleri için gereken örneklem büyüklüklerini belirlemektir. Gereç ve Yöntemler: n büyüklüğündeki bir örneklemde gözlemlenen başarı sayısı sıfır olduğunda (x=0), araştırmacının temel amacı genellikle gerçek başarı olasılığı için makul bir üst sınır elde etmektir. Bu çalışmada PU'nun tahmin edilmesinde Poisson, Clopper-Pearson, Üç Kuralı ve Bayesian Uniform Beta Dağılımı (Mid-p) yöntemlerine dayalı tahmin ediciler ele alınmış, küçük örneklem büyüklükleri (n≤50) için 4 farklı yöntem değerlendirilmiştir. Bulgular: değeri ve/veya örneklem büyüklüğü arttıkça PU değerleri küçülmektedir. n≥45 için tüm yöntemlerden elde edilen PU değerleri hemen hemen benzer hâle gelmektedir. Mid-p yönteminden elde edilen PU değerleri diğer yöntemlerden elde edilen PU değerlerinden tüm durumlar için daha küçüktür. Poisson yaklaşımı ve Üç Kuralı'ndan elde edilen PU değerleri birbirlerine oldukça yakındır ve bu yöntemlerden elde edilen PU değerleri tüm yöntemler içerisinde en büyüktür. Clopper-Pearson yönteminden elde edilen değerler ise arada kalmaktadır. 0,01≤PU≤0,10 için örneklem büyüklüğü %99 güvenirlikle 37≤n≤461 kişi, %95 güvenirlikle 22≤n≤300 kişi ve %90 güvenirlikle 15≤n≤230 kişi olmalıdır. Sonuç: Çalışmadan elde edilen sonuçlara göre x=0 olması durumunda, iyimser bir yaklaşım için Mid-p yönteminin, kötümser bir yaklaşım için ise Üç Kuralı'nın tercih edilmesi gerektiği sonucuna ulaşılmıştır.
Anahtar Kelimeler: Sıfır tedavi başarısı; Poisson yaklaşımı; Clopper-Pearson yöntemi; Üç Kuralı; Mid-p yöntemi
ABSTRACT
The aim of this study was to provide a comprehensive comparison of different proposed estimators for estimating the upper limit of the confidence interval (PU) for the probability p(x=0) of an unfavourable outcome of a given medical procedure, and to determine the sample sizes required for %90, %95 and %99 confidence levels. Material and Methods: When the number of observed successes in a sample of size n is zero x=0, the main goal of the researcher is usually to obtain a reasonable upper bound for the true probability of success. In this study, estimators based on Poisson, Clopper-Pearson, Rule of Three and Bayesian Uniform Beta Distribution (Mid-p) methods are considered to estimate PU and four different methods are evaluated for small sample sizes (n≤50). Results: PU values become smaller as value and/or sample size increases. For n≥45, PU values obtained from all methods become almost similar. The PU values obtained from the mid-p method are smaller than the PU values obtained from the other methods for all cases. The PU values obtained from Poisson approximation and Rule of Three are very close to each other and the PU values obtained from these methods are the largest among all methods. The values obtained from the Clopper-Pearson method are in between. For 0.01≤PU≤0.10, the sample size should be 37≤n≤461 people with 99% confidence, 22≤n≤300 people with 95% confidence and 15≤n≤230 people with 90% confidence. Conclusion: According to the results obtained from the study, in case x=0, it is concluded that the Mid-p method should be preferred for an optimistic approach and the Rule of Three method should be preferred for a pessimistic approach.
Keywords: Zero treatment success; Poisson approximation; Clopper-Pearson method; Rule of three; Mid-p method
The aim of this study was to provide a comprehensive comparison of different proposed estimators for estimating the upper limit of the confidence interval (PU) for the probability p(x=0) of an unfavourable outcome of a given medical procedure, and to determine the sample sizes required for %90, %95 and %99 confidence levels. Material and Methods: When the number of observed successes in a sample of size n is zero x=0, the main goal of the researcher is usually to obtain a reasonable upper bound for the true probability of success. In this study, estimators based on Poisson, Clopper-Pearson, Rule of Three and Bayesian Uniform Beta Distribution (Mid-p) methods are considered to estimate PU and four different methods are evaluated for small sample sizes (n≤50). Results: PU values become smaller as value and/or sample size increases. For n≥45, PU values obtained from all methods become almost similar. The PU values obtained from the mid-p method are smaller than the PU values obtained from the other methods for all cases. The PU values obtained from Poisson approximation and Rule of Three are very close to each other and the PU values obtained from these methods are the largest among all methods. The values obtained from the Clopper-Pearson method are in between. For 0.01≤PU≤0.10, the sample size should be 37≤n≤461 people with 99% confidence, 22≤n≤300 people with 95% confidence and 15≤n≤230 people with 90% confidence. Conclusion: According to the results obtained from the study, in case x=0, it is concluded that the Mid-p method should be preferred for an optimistic approach and the Rule of Three method should be preferred for a pessimistic approach.
Keywords: Zero treatment success; Poisson approximation; Clopper-Pearson method; Rule of three; Mid-p method
REFERENCES:
- Hanley JA, Lippman-Hand A. If nothing goes wrong, is everything all right? Interpreting zero numerators. JAMA. 1983;249(13):1743-5. [Crossref] [PubMed]
- Jäntschi L. Binomial distributed data confidence interval calculation: formulas, algorithms and examples. Symmetry. 2022;14:1104. [Crossref]
- Tollefsen YS. Different approaches for calculating the confidence intervals for the binomial proportion [Bachelor's thesis]. Trondheim: Norwegian University of Science and Technology; 2023. [Cited: May 23, 2024]. Available from: [Link]
- McCracken CE, Looney SW. On finding the upper confidence limit for a binomial proportion when zero successes are observed. J Biom Biostat. 2017;8(2):338. [Link]
- İnal C, Günay S. Olasılık ve Matematiksel İstatistik. 2. Baskı. Ankara: Hacettepe Üniversitesi Fen Fakültesi Basımevi; 1982. p.141-6.
- Vollset SE. Confidence intervals for a binomial proportion. Stat Med. 1993;12(9):809-24. Erratum in: Stat Med 1995;14(8):875. [Crossref] [PubMed]
- Razzaghi M. On the estimation of binomial success probability with zero occurrence in sample. JMASM. 2002;1(2):326-32. [Crossref]
- Brown LD, Cai TT, DasGupta A. Interval estimation for a binomial proportion. Stat Sci. 2001;16(2):101-17. [Crossref]
- Pires AM, Amado C. Interval estimators for a binomial proportion: comparison of twenty methods. REVSTAT. 2008;6(2):165-97. [Link]
- Jovanovic BD, Levy PS. A look at the rule of three. Am Stat. 1997;51(2):137-9. [Crossref]
- Ahlers Z. Estimating the necessary sample size for a binomial proportion confidence interval with low success probabilities [MSc thesis]. Manhattan, Kansas: Kansas State University; 2017. [Cited: May 27, 2024]. Available from: [Link]
- Clopper CJ, Pearson ES. The use of confidence or fiducial limits illustrated in the case of the binomial. Biometrika. 1934;26(4):404-13. [Crossref]
- Leemis LM, Trivedi KS. A comparison of approximate interval estimators for the Bernoulli parameter. Am Stat. 1996;50(1):63-8. [Crossref]
- Tuyl F, Gerlach R, Mengersen K. The rule of three, its variants and extensions. Int Stat Rev. 2009;77(2):266-75. [Crossref]
- Winkler RL, Smith JE, Fryback DG. The role of informative priors in zero-numerator problems: being conservative versus being candid. Am Stat. 2002;56(1):1-4. [Crossref]
- Louis TA. Confidence intervals for a binomial parameter after observing no successes. Am Stat. 1981;35(3):154. [Crossref]
- Reed JF III. Better binomial confidence intervals. J Mod Appl Stat Methods. 2007;6(1):153-61. [Crossref]
- Orawo LA. Confidence intervals for the binomial proportion: a comparison of four methods. Open J Stat. 2021;11(5):806-16. [Crossref]
- Agresti A, Gottard A. Comment: randomized confidence intervals and the Mid-P approach. Stat Sci. 2005;20(4):367-71. [Crossref]
- Cohen GR, Yang SY. Mid-P confidence intervals for the Poisson expectation. Stat Med. 1994;13(21):2189-203. [Crossref] [PubMed]
.: Process List