.: ORİJİNAL ARAŞTIRMA
A Comparison of Boosting Tree and Gradient Treeboost Methods for Carpal Tunnel Syndrome
Karpal Tunel Sendromu İçin Boosting Tree ve Gradient Treeboost Algoritmalarının Karşılaştırılması
Turkiye Klinikleri J Biostat. 2014;6(2):67-73
Makale Dili: EN
Tam Metin
ABSTRACT
Objective: Boosting is one of the most successful combining methods. The principal aim of these combining algorithms is to obtain a strong classifier with small estimation error from the combination of weak classifiers. Boosting based on combining tree has many advantages. Data sets can contain mixtures of nominal, ordinal and numerical variables. AdaBoost and Gradient TreeBoost are commonly used boosting procedure. Both methods are a stage wise additive model fitting procedure. Our goal in this study is to explain the both method and to compare the algorithm results on a neurology data set on the purpose of classification. Material and Methods: The data set consists of 4076 incidences in total. The condition of being a patient with Carpal Tunnel Syndrome (CTS) or not was considered as the dependent variable. Boosting Tree and Gradient TreeBoost applications were conducted in Statistica 7.0 and Salford Predictive Modeler: TreeNet (R) trial version 6.6.0.091. Results: In AdaBoost and Gradient TreeBoost algorithm, multiple trees are grown of the training data. 200 trees are produced for both models. 70 trees in the AdaBoost Algorithm and 196 trees in the Gradient TreeBoost algorithm are chosen as the optimal trees. Conclusion: The sensitivity or specify values in the test data of Gradient TreeBoost are high indicates that they can be used as a successful method in CTS diagnosis. . It is believed that the boosting methods will become very more and more popular in health science due to its easy implementation and high predictive performance.
Keywords: Boosting; AdaBoost; Gradient Boosting; Additive Models
Objective: Boosting is one of the most successful combining methods. The principal aim of these combining algorithms is to obtain a strong classifier with small estimation error from the combination of weak classifiers. Boosting based on combining tree has many advantages. Data sets can contain mixtures of nominal, ordinal and numerical variables. AdaBoost and Gradient TreeBoost are commonly used boosting procedure. Both methods are a stage wise additive model fitting procedure. Our goal in this study is to explain the both method and to compare the algorithm results on a neurology data set on the purpose of classification. Material and Methods: The data set consists of 4076 incidences in total. The condition of being a patient with Carpal Tunnel Syndrome (CTS) or not was considered as the dependent variable. Boosting Tree and Gradient TreeBoost applications were conducted in Statistica 7.0 and Salford Predictive Modeler: TreeNet (R) trial version 6.6.0.091. Results: In AdaBoost and Gradient TreeBoost algorithm, multiple trees are grown of the training data. 200 trees are produced for both models. 70 trees in the AdaBoost Algorithm and 196 trees in the Gradient TreeBoost algorithm are chosen as the optimal trees. Conclusion: The sensitivity or specify values in the test data of Gradient TreeBoost are high indicates that they can be used as a successful method in CTS diagnosis. . It is believed that the boosting methods will become very more and more popular in health science due to its easy implementation and high predictive performance.
Keywords: Boosting; AdaBoost; Gradient Boosting; Additive Models
ÖZET
Amaç: Boosting algoritması en başarılı birleştirme algoritmasıdır. Birleştirme algoritmalarının temel amacı, zayıf sınıflayıcıların birleşiminden, tahmin hatası daha düşük güçlü sınıflayıcılar elde etmektir. Boosting temelli oluşturulan birleştirilmiş ağaçların birçok avantajları vardır. Bu tür ağaç modelleri kategorik, sıralı ya da sürekli yapıda değişkenler için kullanılabildiği gibi bu değişkenlerin karma yapısında da boosting temelli algoritmalar kullanılabilir. AdaBoost ve Gradient TreeBoost boosting algoritmalarında en yaygın kullanılan algoritmalardır. Her iki metotta eklemeli model prensibini kullanır. Bizim bu çalışmadaki amacımız bu iki metodu açıklamak ve bir nöroloji veri seti üzerinde yöntemleri sınıflama amaçlı karşılaştırmaktır. Gereç ve Yöntemler: Veri setinde toplam 4076 vaka vardır. Bağımlı değişken olarak da vakaların Karpal Tunel Sendromu (KTS) olup olmama durumları alınmıştır. Boosting Tree algoritmasında Statistica 7.0 paket programı ve Gradient TreeBoost'ta ise Salford Predictive Modeler: TreeNet (R) deneme sürümü 6.6.0.091 kullanılmıştır. Bulgular: AdaBoost ve Gradient TreeBoost ile çok sayıda ağaç oluşturabilir. Her iki model için 200 ağaç oluşturulmuştur. AdaBoost algoritması için 70, Gradient TreeBoost algoritması için 196 ağaç en başarılı ağaç olarak seçilmiştir. Sonuç: KTS tanısını koymada kullanılan metotların her ikisi de başarılır. Gradient TreeBoost algoritmasının test verisinde de duyarlılık ve seçicilik değeri AdaBoost algoritmasına göre daha yüksektir. Boosting temelli modellerin tahmin başarısının yüksek olması ve yorumlanmasının kolaylığından kaynaklı olarak her geçen gün sağlık bilimlerinde daha popüler olacağı düşünülmektedir.
Anahtar Kelimeler: Boosting; AdaBoost; Gradient Boosting; Eklemeli modeller
Amaç: Boosting algoritması en başarılı birleştirme algoritmasıdır. Birleştirme algoritmalarının temel amacı, zayıf sınıflayıcıların birleşiminden, tahmin hatası daha düşük güçlü sınıflayıcılar elde etmektir. Boosting temelli oluşturulan birleştirilmiş ağaçların birçok avantajları vardır. Bu tür ağaç modelleri kategorik, sıralı ya da sürekli yapıda değişkenler için kullanılabildiği gibi bu değişkenlerin karma yapısında da boosting temelli algoritmalar kullanılabilir. AdaBoost ve Gradient TreeBoost boosting algoritmalarında en yaygın kullanılan algoritmalardır. Her iki metotta eklemeli model prensibini kullanır. Bizim bu çalışmadaki amacımız bu iki metodu açıklamak ve bir nöroloji veri seti üzerinde yöntemleri sınıflama amaçlı karşılaştırmaktır. Gereç ve Yöntemler: Veri setinde toplam 4076 vaka vardır. Bağımlı değişken olarak da vakaların Karpal Tunel Sendromu (KTS) olup olmama durumları alınmıştır. Boosting Tree algoritmasında Statistica 7.0 paket programı ve Gradient TreeBoost'ta ise Salford Predictive Modeler: TreeNet (R) deneme sürümü 6.6.0.091 kullanılmıştır. Bulgular: AdaBoost ve Gradient TreeBoost ile çok sayıda ağaç oluşturabilir. Her iki model için 200 ağaç oluşturulmuştur. AdaBoost algoritması için 70, Gradient TreeBoost algoritması için 196 ağaç en başarılı ağaç olarak seçilmiştir. Sonuç: KTS tanısını koymada kullanılan metotların her ikisi de başarılır. Gradient TreeBoost algoritmasının test verisinde de duyarlılık ve seçicilik değeri AdaBoost algoritmasına göre daha yüksektir. Boosting temelli modellerin tahmin başarısının yüksek olması ve yorumlanmasının kolaylığından kaynaklı olarak her geçen gün sağlık bilimlerinde daha popüler olacağı düşünülmektedir.
Anahtar Kelimeler: Boosting; AdaBoost; Gradient Boosting; Eklemeli modeller
.: İşlem Listesi