.: ORİJİNAL ARAŞTIRMA
A New Modification of Ridge Parameter for Regression Problems: A Monte Carlo Simulation Study
Regresyon Problemleri için Ridge Parametresinin Yeni Bir Uyarlaması: Monte Carlo Simülasyon Çalışması
Turkiye Klinikleri J Biostat. 2019;11(3):173-88
doi: 10.5336/biostatic.2019-66024
Makale Dili: EN
Tam Metin
ABSTRACT
Objective: In multiple linear regression, there should be no correlation between explanatory variables. When there is a high correlation between two or more explanatory variables, it is called a multicollinearity problem. In the case of multicollinearity, the effect of independent variables on the dependent variable is parsed. Ridge regression is one of the commonly used methods in the literature to overcome this problem. The most important issue in ridge regression analysis is the prediction of the ridge parameter. In this study, commonly used estimators in the literature have been investigated and a new estimator has been proposed to estimate the ridge parameter. Material and Methods: The performance of the proposed estimator was compared in a simulation study. The mean squares error (MSE) criterion was used to compare the performances of the estimators. Results: Under various conditions, the proposed estimator was found to perform better than the ordinary least squares estimator (OLS) and other predictors in the literature. For addition, a real data example has been performed by using prostate cancer data. For this data set, the MSE value of the proposed estimator was calculated as smaller than all the other estimators. Conclusion: It was found that using ridge regression which is widely used in case of multicollinearity, the proposed estimator for ridge parameter would increase the effectiveness of the potential studies.
Keywords: Linear model; multicollinearity; ordinary least squares estimator; ridge regression; simulation
Objective: In multiple linear regression, there should be no correlation between explanatory variables. When there is a high correlation between two or more explanatory variables, it is called a multicollinearity problem. In the case of multicollinearity, the effect of independent variables on the dependent variable is parsed. Ridge regression is one of the commonly used methods in the literature to overcome this problem. The most important issue in ridge regression analysis is the prediction of the ridge parameter. In this study, commonly used estimators in the literature have been investigated and a new estimator has been proposed to estimate the ridge parameter. Material and Methods: The performance of the proposed estimator was compared in a simulation study. The mean squares error (MSE) criterion was used to compare the performances of the estimators. Results: Under various conditions, the proposed estimator was found to perform better than the ordinary least squares estimator (OLS) and other predictors in the literature. For addition, a real data example has been performed by using prostate cancer data. For this data set, the MSE value of the proposed estimator was calculated as smaller than all the other estimators. Conclusion: It was found that using ridge regression which is widely used in case of multicollinearity, the proposed estimator for ridge parameter would increase the effectiveness of the potential studies.
Keywords: Linear model; multicollinearity; ordinary least squares estimator; ridge regression; simulation
ÖZET
Amaç: Çoklu doğrusal regresyonda açıklayıcı değişkenler arasında korelasyon olmaması gerekir. Eğer iki veya daha fazla açıklayıcı değişken arasında yüksek korelasyon varsa, bu durum çoklu iç ilişki problemi olarak adlandırılır. Çoklu iç ilişki durumunda, bağımsız değişkenlerin bağımlı değişken üzerindeki etkisi ayrıştırılamaktadır. Ridge regresyon, literatürde bu problemin üstesinden gelmek için yaygın olarak kullanılan yöntemlerden biridir. Ridge regresyon analizinde en önemli problem ridge parametresinin tahminidir. Bu çalışmada, ridge parametresini tahmin etmek için literatürde var olan ve yaygın olarak kullanılan tahmin edicileri araştırılmış ve yeni bir tahmin edici önerilmiştir. Gereç ve Yöntemler: Önerilen tahmin edicinin performansı bir simülasyon çalışması yapılarak karşılaştırılmıştır. Tahmin edicilerin performanslarını karşılaştırmak için Hata Kareler Ortalaması (MSE) kriteri kullanılmıştır. Bulgular: Çeşitli koşullar altında, önerilen tahmin edicinin, en küçük kareler tahmin edicisinden (OLS) ve literatürdeki diğer tahmin edicilerden daha iyi performans gösterdiği saptanmıştır. Ayrıca Prostat kanseri verisi kullanılarak gerçek veri uygulaması yapılmıştır. Bu veri seti için önerilen tahmin edicinin MSE değeri, diğer tüm tahmin edicilerden küçük olarak hesaplanmıştır. Sonuç: Çoklu iç ilişki durumunda yaygın kullanıma sahip ridge regresyonda, ridge parametresi için önerilen tahmin edicinin kullanılmasının yapılacak çalışmaların etkinliğini arttıracağı saptanmıştır.
Anahtar Kelimeler: Doğrusal model; çoklu iç ilişki; sıradan en küçük kareler tahmin edicisi; ridge regresyon; simülasyon
Amaç: Çoklu doğrusal regresyonda açıklayıcı değişkenler arasında korelasyon olmaması gerekir. Eğer iki veya daha fazla açıklayıcı değişken arasında yüksek korelasyon varsa, bu durum çoklu iç ilişki problemi olarak adlandırılır. Çoklu iç ilişki durumunda, bağımsız değişkenlerin bağımlı değişken üzerindeki etkisi ayrıştırılamaktadır. Ridge regresyon, literatürde bu problemin üstesinden gelmek için yaygın olarak kullanılan yöntemlerden biridir. Ridge regresyon analizinde en önemli problem ridge parametresinin tahminidir. Bu çalışmada, ridge parametresini tahmin etmek için literatürde var olan ve yaygın olarak kullanılan tahmin edicileri araştırılmış ve yeni bir tahmin edici önerilmiştir. Gereç ve Yöntemler: Önerilen tahmin edicinin performansı bir simülasyon çalışması yapılarak karşılaştırılmıştır. Tahmin edicilerin performanslarını karşılaştırmak için Hata Kareler Ortalaması (MSE) kriteri kullanılmıştır. Bulgular: Çeşitli koşullar altında, önerilen tahmin edicinin, en küçük kareler tahmin edicisinden (OLS) ve literatürdeki diğer tahmin edicilerden daha iyi performans gösterdiği saptanmıştır. Ayrıca Prostat kanseri verisi kullanılarak gerçek veri uygulaması yapılmıştır. Bu veri seti için önerilen tahmin edicinin MSE değeri, diğer tüm tahmin edicilerden küçük olarak hesaplanmıştır. Sonuç: Çoklu iç ilişki durumunda yaygın kullanıma sahip ridge regresyonda, ridge parametresi için önerilen tahmin edicinin kullanılmasının yapılacak çalışmaların etkinliğini arttıracağı saptanmıştır.
Anahtar Kelimeler: Doğrusal model; çoklu iç ilişki; sıradan en küçük kareler tahmin edicisi; ridge regresyon; simülasyon
REFERANSLAR:
- Hoerl AE, Kennard RW. Ridge regression: biased estimation for nonorthogonal problems. Technometrics. 1970;12(1)55-67. [Crossref]
- Hoerl AE, Kennard RW, Baldwin KF. Ridge regression: some simulation, Communications in Statistics. 1975;4(2):105-23. [Crossref]
- McDonald GC, Galarneau DI. A Monte Carlo evaluation of ridge-type estimators. J Am Stat Assoc. 1975;70(350):407-16. [Crossref]
- Dempster AP, Schatzoff M, Wermuth N. A simulation study of alternatives to ordinary least squares. J Am Stat Assoc. 1977;72(357):77-91. [Crossref]
- Gibbons DG. A simulation study of some ridge estimators. J Am Stat Assoc. 1981;76(373):131-9. [Crossref]
- Saleh AM, Kibria BMG. Performance of some new preliminary test ridge regression estimators and their properties. Commun Stat Theory Methods. 1993;22(10):2747-64. [Crossref]
- Pasha GR, Shah MA. Application of ridge regression to multicollinear data. Journal of Research (Science). 2004;15(1):97-106.
- Norliza A, Maizah HA, Robin A. A comparative study on some methods for handling multicollinearity problems. Mathematika. 2006;22(2):109-19.
- Theobald CM. Generalization of mean square error applied to ridge regression. J R Stat Soc Series B Appl Stat. 1974;36:103-6. [Crossref]
- Lawless JF, Wang PA. Simulation study of ridge and other regression estimators. Commun Stat Theory Methods. 1976;5(4):307-23. [Crossref]
- Hocking RR, Speed FM, Lynn MJ. A class of biased estimators in linear regression. Technometrics. 1976;18(4):425-38. [Crossref]
- Kibria BMG. Performance of some new ridge regression estimators. Commun Stat Theory Methods. 2003;32(2):419-35. [Crossref]
- Khalaf G, Shukur G. Choosing ridge parameters for regression problems. Commun Stat Theory Methods. 2005;34(5):1177-82. [Crossref]
- Alkhamisi M, Khalaf G, Shukur G. Some modifications for choosing ridge parameters. Commun Stat Theory Methods. 2006;35(11):2005-20. [Crossref]
- Alkhamisi MA, Shukur G. A Monte Carlo study of recent ridge parameters. Commun Stat Simul Comput. 2007;36(3):535-47. [Crossref]
- Muniz G, Kibria BMG. On some ridge regression estimators: an empirical comparisons. Commun Stat Simul Comput. 2009;38(3):621-30. [Crossref]
- Al-Hassan YM. Performance of a new ridge regression estimator. J Assoc Arab Univ Basic Appl Sci. 2010;9(1):23-6. [Crossref]
- Muniz G, Kibria BMG, Mansoon K, Shukur G. On developing ridge regression parameters: a graphical investigation. Sort Stat Oper Res Trans. 2012;36(2):115-38.
- Dorugade AV. New ridge parameters for ridge regression. J Assoc Arab Univ Basic Appl Sci. 2014;15:94-9. [Crossref]
- Karaibrahimoğlu A, Asar Y, Genç A. Some new modifications of Kibria's and Dorugade's methods: an application to Turkish GDP data. J Assoc Arab Univ Basic Appl Sci. 2014;20:89-99. [Crossref]
- Asar Y, Genç A. A note on some new modifications of ridge estimators. Kuwait J Sci. 2017;44(3):75-82.
- Newhouse JP, Oman SD. An evaluation of ridge estimators. Rand Report. 1971;R-716-Pr:1-28.
- Stamey TA, Kabalin JN, McNeal JE, Johnstone IM, Freiha F, Redwine EA, et al. Prostate specific antigen in the diagnosis and treatment of adenocarcinoma of the prostate: II. radical prostatectomy treated patients. J Urol. 1989;141(5):1076-83. [Crossref]
.: İşlem Listesi