.: ORİJİNAL ARAŞTIRMA
Determination of Optimum Hyperparameters in Diagnosis of Strabismus Using Artificial Intelligence Model: Cross-Sectional Study
Yapay Zekâ Modeli ile Şaşılığın Saptanmasında Optimum Hiperparametrelerin Belirlenmesi: Kesitsel Araştırma
Turkiye Klinikleri J Ophthalmol. 2023;32(3):176-83
doi: 10.5336/ophthal.2023-96253
Makale Dili: EN
Tam Metin
ABSTRACT
Objective: This study aims to analyze the effectiveness of the internet-based, free Teachable Machine (TM) platform, which does not entail code knowledge, in detecting the presence and types of strabismus in the optimum hyperparameters. Material and Methods: The images obtained from the patients who presented to our clinic with the complaint of ocular deviation were analyzed, and 523 [176 esotropia (ET), 195 exotropia (XT), and 152 orthophoria (ORTHO)] images were included in this study. After the images were uploaded to the TM platform, 6 different batch sizes and 9 different learning rates were tested using the grid search method, with the number of epochs fixed at 4,000 to determine the optimum hyperparameter. Results: The highest overall test accuracy was 0.887, and the hyperparameters from which this accuracy was obtained were 200 for the number of epochs, 256 for the batch size, and 0.0005 for the learning rate. In the TM model trained with these parameters, accuracy values of ET: 0.96, ORTHO: 0.78 and XT: 0.9 were obtained in the subgroups, respectively. Conclusion: To achieve optimal accuracy at the stage of development of the artificial intelligence model, users should determine the appropriate hyperparameter values depending on the size of the available dataset and the complexity of the data. The results we obtained by determining the optimum hyperparameters have revealed that the presence of strabismus can be detected with high accuracy using TM, an internet-based, free deep learning platform that does not entail having code knowledge.
Keywords: Strabismus; artificial intelligence; deep learning; machine learning
Objective: This study aims to analyze the effectiveness of the internet-based, free Teachable Machine (TM) platform, which does not entail code knowledge, in detecting the presence and types of strabismus in the optimum hyperparameters. Material and Methods: The images obtained from the patients who presented to our clinic with the complaint of ocular deviation were analyzed, and 523 [176 esotropia (ET), 195 exotropia (XT), and 152 orthophoria (ORTHO)] images were included in this study. After the images were uploaded to the TM platform, 6 different batch sizes and 9 different learning rates were tested using the grid search method, with the number of epochs fixed at 4,000 to determine the optimum hyperparameter. Results: The highest overall test accuracy was 0.887, and the hyperparameters from which this accuracy was obtained were 200 for the number of epochs, 256 for the batch size, and 0.0005 for the learning rate. In the TM model trained with these parameters, accuracy values of ET: 0.96, ORTHO: 0.78 and XT: 0.9 were obtained in the subgroups, respectively. Conclusion: To achieve optimal accuracy at the stage of development of the artificial intelligence model, users should determine the appropriate hyperparameter values depending on the size of the available dataset and the complexity of the data. The results we obtained by determining the optimum hyperparameters have revealed that the presence of strabismus can be detected with high accuracy using TM, an internet-based, free deep learning platform that does not entail having code knowledge.
Keywords: Strabismus; artificial intelligence; deep learning; machine learning
ÖZET
Amaç: Bu çalışmada kod bilgisi gerektirmeyen, internet tabanlı, ücretsiz ''Teachable Machine'' (TM) platformunun optimum hiperparametrelerde şaşılık varlığı ve tiplerini saptamadaki etkinliğinin değerlendirilmesi amaçlanmaktadır. Gereç ve Yöntemler: Kliniğimize gözde kayma şikâyeti ile başvuran hastalardan elde edilen görüntüler analiz edilmiş olup, çalışma kriterlerine uygun olan 523 [176 ezotropya (ET), 195 ekzotropya (XT), 152 ortoforik (ORTO)] görüntü çalışmaya dâhil edilmiştir. Görüntüler TM platformuna yüklendikten sonra optimum hiperparametrelerin belirlenmesi için döngü sayısı 4.000'e sabitlenerek 6 farklı küme boyutu ve 9 farklı öğrenme oranı ızgara arama metodu ile test edildi. Test edilen hiperparametrelerde elde edilen doğruluk ve hata değerleri kaydedildi. Bulgular: En yüksek genel test doğruluğu 0,887 olarak saptanmış olup bu doğruluğun elde edildiği hiperparametreler döngü sayısı için 200, küme boyutu için 256 ve öğrenme oranı için 0,0005 olarak tespit edilmiştir. Bu parametrelerle eğitilen TM modelinde alt gruplarda sırasıyla ET: 0,96, ORTO: 0,78 ve XT: 0,9 doğruluk elde edilmiştir. Sonuç: Yapay zekâ modelinin geliştirilmesi aşamasında optimum doğruluğu elde edebilmek için mevcut veri setinin büyüklüğü ve verilerin karmaşıklığına bağlı olarak kullanıcılar uygun hiperparametre değerlerini belirlemelidir. Optimum hiperparametreler belirlenerek elde ettiğimiz sonuçlar şaşılık varlığının kod bilgisi gerektirmeyen, internet tabanlı, ücretsiz derin öğrenme platformu olan TM ile yüksek doğrulukta saptanabileceğini göstermektedir.
Anahtar Kelimeler: Şaşılık; yapay zekâ; derin öğrenme; makine öğrenmesi
Amaç: Bu çalışmada kod bilgisi gerektirmeyen, internet tabanlı, ücretsiz ''Teachable Machine'' (TM) platformunun optimum hiperparametrelerde şaşılık varlığı ve tiplerini saptamadaki etkinliğinin değerlendirilmesi amaçlanmaktadır. Gereç ve Yöntemler: Kliniğimize gözde kayma şikâyeti ile başvuran hastalardan elde edilen görüntüler analiz edilmiş olup, çalışma kriterlerine uygun olan 523 [176 ezotropya (ET), 195 ekzotropya (XT), 152 ortoforik (ORTO)] görüntü çalışmaya dâhil edilmiştir. Görüntüler TM platformuna yüklendikten sonra optimum hiperparametrelerin belirlenmesi için döngü sayısı 4.000'e sabitlenerek 6 farklı küme boyutu ve 9 farklı öğrenme oranı ızgara arama metodu ile test edildi. Test edilen hiperparametrelerde elde edilen doğruluk ve hata değerleri kaydedildi. Bulgular: En yüksek genel test doğruluğu 0,887 olarak saptanmış olup bu doğruluğun elde edildiği hiperparametreler döngü sayısı için 200, küme boyutu için 256 ve öğrenme oranı için 0,0005 olarak tespit edilmiştir. Bu parametrelerle eğitilen TM modelinde alt gruplarda sırasıyla ET: 0,96, ORTO: 0,78 ve XT: 0,9 doğruluk elde edilmiştir. Sonuç: Yapay zekâ modelinin geliştirilmesi aşamasında optimum doğruluğu elde edebilmek için mevcut veri setinin büyüklüğü ve verilerin karmaşıklığına bağlı olarak kullanıcılar uygun hiperparametre değerlerini belirlemelidir. Optimum hiperparametreler belirlenerek elde ettiğimiz sonuçlar şaşılık varlığının kod bilgisi gerektirmeyen, internet tabanlı, ücretsiz derin öğrenme platformu olan TM ile yüksek doğrulukta saptanabileceğini göstermektedir.
Anahtar Kelimeler: Şaşılık; yapay zekâ; derin öğrenme; makine öğrenmesi
REFERANSLAR:
- Hashemi H, Pakzad R, Heydarian S, Yekta A, Aghamirsalim M, Shokrollahzadeh F, et al. Global and regional prevalence of strabismus: a comprehensive systematic review and meta-analysis. Strabismus. 2019;27(2):54-65. [Crossref] [PubMed]
- Friedman DS, Repka MX, Katz J, Giordano L, Ibironke J, Hawse P, et al. Prevalence of amblyopia and strabismus in white and African American children aged 6 through 71 months the Baltimore Pediatric Eye Disease Study. Ophthalmology. 2009;116(11):2128-34.e1-2. [Crossref] [PubMed] [PMC]
- McKean-Cowdin R, Cotter SA, Tarczy-Hornoch K, Wen G, Kim J, Borchert M, et al; Multi-Ethnic Pediatric Eye Disease Study Group. Prevalence of amblyopia or strabismus in asian and non-Hispanic white preschool children: multi-ethnic pediatric eye disease study. Ophthalmology. 2013;120(10):2117-24. [Crossref] [PubMed] [PMC]
- Nelson BA, Gunton KB, Lasker JN, Nelson LB, Drohan LA. The psychosocial aspects of strabismus in teenagers and adults and the impact of surgical correction. J AAPOS. 2008;12(1):72-6.e1. [Crossref] [PubMed]
- Vaegan, Taylor D. Critical period for deprivation amblyopia in children. Trans Ophthalmol Soc U K (1962). 1979;99(3):432-9. [PubMed]
- Mruthyunjaya P, Simon JW, Pickering JD, Lininger LL. Subjective and objective outcomes of strabismus surgery in children. J Pediatr Ophthalmol Strabismus. 1996;33(3):167-70. [Crossref] [PubMed]
- Du XL, Li WB, Hu BJ. Application of artificial intelligence in ophthalmology. Int J Ophthalmol. 2018;11(9):1555-61. [PubMed] [PMC]
- Ong J, Hariprasad SM, Chhablani J. A guide to accessible artificial intelligence and machine learning for the 21st century retina specialist. Ophthalmic Surg Lasers Imaging Retina. 2021;52(7):361-5. [Crossref] [PubMed]
- Korot E, Guan Z, Ferraz D, Wagner SK, Zhang G, Liu X, et al. Code-free deep learning for multi-modality medical image classification. Nature Machine Intelligence. 2021;3(4):288-98. [Crossref]
- Carney M, Webster B, Alvarado I, Phillips K, Howell N, Griffith J, et al. Teachable Machine: Approachable Web-Based Tool for Exploring Machine Learning Classification. Extended Abstracts of the 2020 CHI Conference on Human Factors in Computing Systems; 2020; Honolulu, HI, USA. [Crossref]
- Jeong H. Feasibility study of Google's teachable machine in diagnosis of tooth-marked tongue. Journal of Dental Hygiene Science. 2020;20(4):206-12. [Crossref]
- Gülcü A, Zeki K. Konvolüsyonel sinir ağlarında hiper-parametre optimizasyonu yöntemlerinin incelenmesi [A survey of hyper-parameter optimization methods in convolutional neural networks]. Gazi Üniversitesi Fen Bilimleri Dergisi Part C: Tasarım ve Teknoloji. 2019;7(2):503-22. [Crossref]
- Howard A, Zhu M, Chen B, Kalenichenko D, Wang W, Weyand T, et al. MobileNets: efficient convolutional neural networks for mobile vision applications. arXiv. 2017. [Link]
- Abdelhafiz D, Bi J, Ammar R, Yang C, Nabavi S. Convolutional neural network for automated mass segmentation in mammography. BMC Bioinformatics. 2020;21(Suppl 1):192. [Crossref] [PubMed] [PMC]
- Jurczak M, Kołodziej M, Majkowski A. Implementation of a convolutional neural network for eye blink artifacts removal from the electroencephalography signal. Front Neurosci. 2022;16:782367. [Crossref] [PubMed] [PMC]
- Zhang YC, Kagen AC. Machine learning interface for medical image analysis. J Digit Imaging. 2017;30(5):615-21. [Crossref] [PubMed] [PMC]
- Eddelbuettel D. Parallel computing with R: a brief review. arXiv. 2021;13(2):e1515. [Link]
- Feurer M, Hutter F. Hyperparameter optimization. In: Hutter F, Kotthoff L, Vanschoren J, eds. Automated Machine Learning: Methods, Systems, Challenges. 1st ed. Cham: Springer International Publishing; 2019. p.3-33. [Crossref]
- Lawrence S, Giles CL. Overfitting and neural networks: conjugate gradient and backpropagation. Proceedings of the IEEE-INNS-ENNS International Joint Conference on Neural Networks. IJCNN 2000. Neural Computing: New Challenges and Perspectives for the New Millennium. 2000:1-6. [Crossref] [PubMed]
- Ying X. An overview of overfitting and its solutions. Journal of Physics: Conference Series. 2019;1168(2):022022. [Crossref]
- Chicco D. Ten quick tips for machine learning in computational biology. BioData Min. 2017;10:35. [Crossref] [PubMed] [PMC]
- Na GS. Efficient learning rate adaptation based on hierarchical optimization approach. Neural Netw. 2022;150:326-35. [Crossref] [PubMed]
- Doi K. Computer-aided diagnosis in medical imaging: historical review, current status and future potential. Comput Med Imaging Graph. 2007;31(4-5):198-211. [Crossref] [PubMed] [PMC]
- Mao K, Yang Y, Guo C, Zhu Y, Chen C, Chen J, et al. An artificial intelligence platform for the diagnosis and surgical planning of strabismus using corneal light-reflection photos. Ann Transl Med. 2021;9(5):374. [Crossref] [PubMed] [PMC]
- de Figueiredo LA, Dias JVP, Polati M, Carricondo PC, Debert I. Strabismus and artificial intelligence app: optimizing diagnostic and accuracy. Transl Vis Sci Technol. 2021;10(7):22. [Crossref] [PubMed] [PMC]
- Chen Z, Fu H, Lo WL, Chi Z. Strabismus recognition using eye-tracking data and convolutional neural networks. J Healthc Eng. 2018;2018:7692198. [Crossref] [PubMed] [PMC]
- Zheng C, Yao Q, Lu J, Xie X, Lin S, Wang Z, et al. Detection of referable horizontal strabismus in children's primary gaze photographs using deep learning. Transl Vis Sci Technol. 2021;10(1):33. [Crossref] [PubMed] [PMC]
- Zhang F, Petersen M, Johnson L, Hall J, O'Bryant SE. Accelerating hyperparameter tuning in machine learning for Alzheimer's disease with high performance computing. Front Artif Intell. 2021;4:798962. [Crossref] [PubMed] [PMC]
- Radzi SFM, Karim MKA, Saripan MI, Rahman MAA, Isa INC, Ibahim MJ. Hyperparameter Tuning and pipeline optimization via grid search method and tree-based AutoML in breast cancer prediction. J Pers Med. 2021;11(10):978. [Crossref] [PubMed] [PMC]
- Li X, Zhang Y, Cui Q, Yi X, Zhang Y. Tooth-marked tongue recognition using multiple instance learning and CNN features. IEEE Trans Cybern. 2019;49(2):380-7. [Crossref] [PubMed]
.: İşlem Listesi