.: ORİJİNAL ARAŞTIRMA
A Comparison of Penalized Regression Methods on Model Estimation and Variable Selection: A Simulation Study
Cezalı Regresyon Yöntemlerinin Model Tahmini ve Değişken Seçimindeki Etkisinin Karşılaştırılması: Simülasyon Çalışması
Turkiye Klinikleri J Biostat. 2025;17(1):
doi: 10.5336/biostatic.2024-106402
Makale Dili: EN
Tam Metin
ABSTRACT
Objective: The aim of this study is to determine which variables to include in the model and to examine how successful the model estimation is with the Least Angle Regression (LAR), Least Absolute Shrinkage Selection Operator (LASSO) and Elastic Net (EN) regression methods, which are alternatives to unbiased methods. Material and Methods: In the case of multicollinearity in multiple linear regression analysis, LAR, LASSO and EN Regression are the most commonly used biased estimator methods in the literature. In this study, the variables that LAR, LASSO and EN regression methods, which are among the biased methods, take in model selection and their model prediction success are compared. For this purpose, data sets were generated in different scenarios in R program. The results obtained after the data sets produced at the end of the simulation with standard normal distribution, sample sizes n=50, n=100, n=200, number of independent variables p=16, p=18, p=20 and correlation coefficients r=0.10; r=0.60; r=0.90 were recorded. Results: Model predictions of the methods were recorded in the study results. Which variables the biased estimator methods include in the model and their model prediction success are compared. While the model predictions of the LAR and LASSO methods were close to each other, the EN regression method differed in model prediction. When analyzed in terms of Mean Square Error (MSE) and Coefficients of Determination, close values were observed. Conclusion: While model prediction success is high in data sets with low sample size, model prediction success decreases and MSE values increase when the sample size increases gradually. For this reason, it has been observed that these methods are more useful and provide better model prediction in cases where there is a multicollinearity problem in the data sets and in scenarios where the sample size is small.
Keywords: Shrinkage regression; variable selection; least angle regression; least absolute shrinkage selection operator; elastic net regression
Objective: The aim of this study is to determine which variables to include in the model and to examine how successful the model estimation is with the Least Angle Regression (LAR), Least Absolute Shrinkage Selection Operator (LASSO) and Elastic Net (EN) regression methods, which are alternatives to unbiased methods. Material and Methods: In the case of multicollinearity in multiple linear regression analysis, LAR, LASSO and EN Regression are the most commonly used biased estimator methods in the literature. In this study, the variables that LAR, LASSO and EN regression methods, which are among the biased methods, take in model selection and their model prediction success are compared. For this purpose, data sets were generated in different scenarios in R program. The results obtained after the data sets produced at the end of the simulation with standard normal distribution, sample sizes n=50, n=100, n=200, number of independent variables p=16, p=18, p=20 and correlation coefficients r=0.10; r=0.60; r=0.90 were recorded. Results: Model predictions of the methods were recorded in the study results. Which variables the biased estimator methods include in the model and their model prediction success are compared. While the model predictions of the LAR and LASSO methods were close to each other, the EN regression method differed in model prediction. When analyzed in terms of Mean Square Error (MSE) and Coefficients of Determination, close values were observed. Conclusion: While model prediction success is high in data sets with low sample size, model prediction success decreases and MSE values increase when the sample size increases gradually. For this reason, it has been observed that these methods are more useful and provide better model prediction in cases where there is a multicollinearity problem in the data sets and in scenarios where the sample size is small.
Keywords: Shrinkage regression; variable selection; least angle regression; least absolute shrinkage selection operator; elastic net regression
ÖZET
Amaç: Bu çalışmanın amacı, hangi değişkenlerin modele dâhil edileceğini belirlemek ve yansız yöntemlere alternatif olan En Küçük Açı Regresyonu [Least Angle Regression (LAR)], En Küçük Mutlak Büzülme Seçim Operatörü [Least Absolute Shrinkage Selection Operator (LASSO)] ve Elastik Ağ [Elastic Net (EN)] regresyon yöntemleri ile model tahmininin ne kadar başarılı olduğunu incelemektir. Gereç ve Yöntemler: Çoklu doğrusal regresyon analizinde, çoklu bağlantı sorununun (Multicollinearity) ortaya çıkması durumunda bu yanlı tahmin edici yöntemlerden LAR, LASSO ve EN Regresyonu literatürde en çok kullanılan yöntemlerdir. Bu çalışmada, yanlı yöntemlerden olan LAR, LASSO ve EN regresyon yöntemlerinin model seçiminde hangi değişkenleri aldığı ve model tahmin başarıları karşılaştırılmıştır. Bu amaçla R programında farklı senaryolarda veri setleri üretilmiştir. Standart normal dağılıma sahip, örnek genişlikleri n=50, n=100, n=200, bağımsız değişken sayıları p=16, p=18, p=20 ve korelasyon katsayıları r =0,10; r=0,60; r=0,90 olacak biçimde yapılan simülasyon sonunda üretilen veri setlerinin ardından elde edilen sonuçlar kaydedilmiştir. Bulgular: Çalışma sonuçlarında yöntemlerin model tahminleri kaydedilmiştir. Yanlı tahmin edici yöntemlerin modele hangi değişkenleri aldığı ve model tahmin başarıları karşılaştırılmıştır. LAR ve LASSO yöntemlerinin model tahminleri birbirine yakınken, EN regresyon yöntemi, model tahmininde farklılık göstermiştir. Hata Kareler Ortalaması (HKO) ve Belirtme Katsayıları ile incelendiğinde ise birbirlerine yakın değerler gözlenmiştir. Sonuç: Örnek genişliği düşük olan veri setlerinde model tahmin başarısı yüksek iken, örnek genişliğinin giderek arttığı durumlarda model tahmin başarısı azalmakta, HKO değerleri artmaktadır. Bu sebeple veri setlerinde çoklu bağlantı sorunu olduğu durumda ve örnek genişliğinin küçük olduğu senaryolarda bu yöntemlerin daha kullanışlı olduğu ve daha iyi model tahmini yaptığı görülmüştür.
Anahtar Kelimeler: Cezalı regresyon; değişken seçimi; en küçük açı regresyonu; en küçük mutlak büzülme seçim operatörü; elastik ağ regresyon
Amaç: Bu çalışmanın amacı, hangi değişkenlerin modele dâhil edileceğini belirlemek ve yansız yöntemlere alternatif olan En Küçük Açı Regresyonu [Least Angle Regression (LAR)], En Küçük Mutlak Büzülme Seçim Operatörü [Least Absolute Shrinkage Selection Operator (LASSO)] ve Elastik Ağ [Elastic Net (EN)] regresyon yöntemleri ile model tahmininin ne kadar başarılı olduğunu incelemektir. Gereç ve Yöntemler: Çoklu doğrusal regresyon analizinde, çoklu bağlantı sorununun (Multicollinearity) ortaya çıkması durumunda bu yanlı tahmin edici yöntemlerden LAR, LASSO ve EN Regresyonu literatürde en çok kullanılan yöntemlerdir. Bu çalışmada, yanlı yöntemlerden olan LAR, LASSO ve EN regresyon yöntemlerinin model seçiminde hangi değişkenleri aldığı ve model tahmin başarıları karşılaştırılmıştır. Bu amaçla R programında farklı senaryolarda veri setleri üretilmiştir. Standart normal dağılıma sahip, örnek genişlikleri n=50, n=100, n=200, bağımsız değişken sayıları p=16, p=18, p=20 ve korelasyon katsayıları r =0,10; r=0,60; r=0,90 olacak biçimde yapılan simülasyon sonunda üretilen veri setlerinin ardından elde edilen sonuçlar kaydedilmiştir. Bulgular: Çalışma sonuçlarında yöntemlerin model tahminleri kaydedilmiştir. Yanlı tahmin edici yöntemlerin modele hangi değişkenleri aldığı ve model tahmin başarıları karşılaştırılmıştır. LAR ve LASSO yöntemlerinin model tahminleri birbirine yakınken, EN regresyon yöntemi, model tahmininde farklılık göstermiştir. Hata Kareler Ortalaması (HKO) ve Belirtme Katsayıları ile incelendiğinde ise birbirlerine yakın değerler gözlenmiştir. Sonuç: Örnek genişliği düşük olan veri setlerinde model tahmin başarısı yüksek iken, örnek genişliğinin giderek arttığı durumlarda model tahmin başarısı azalmakta, HKO değerleri artmaktadır. Bu sebeple veri setlerinde çoklu bağlantı sorunu olduğu durumda ve örnek genişliğinin küçük olduğu senaryolarda bu yöntemlerin daha kullanışlı olduğu ve daha iyi model tahmini yaptığı görülmüştür.
Anahtar Kelimeler: Cezalı regresyon; değişken seçimi; en küçük açı regresyonu; en küçük mutlak büzülme seçim operatörü; elastik ağ regresyon
.: İşlem Listesi