.: ORİJİNAL ARAŞTIRMA
Diş Hekimliğinde Uzmanlık Eğitim Giriş Sınavında Sorulan Çocuk Diş Hekimliği Sorularına ChatGPT'nin Verdiği Cevapların Analizi: Kesitsel Araştırma
Analysis of ChatGPT's Answers to Pedodontics Questions Asked in the Dentistry Specialization Training Entrance Exam: Cross-Sectional Study
Turkiye Klinikleri J Dental Sci. 2025;31(3):401-6
doi: 10.5336/dentalsci.2024-107488
Makale Dili: TR
Tam Metin
ÖZET
Amaç: Diş hekimliğinde uzmanlık eğitim giriş sınavında (DUS) sorulan çocuk diş hekimliği sorularına Üretici Ön-Eğitimli Dönüştürücünün [Generative Pre-trained Transformer (ChatGPT)] verdiği yanıtların güvenirliliğini değerlendirmek ve başarı oranını tespit etmektir. Gereç ve Yöntemler: Çalışmada kullanılan yapay zekâ programı ve değerlendirilen DUS çocuk diş hekimliği soruları kamuya açık kaynaklardır ve bu sebeple çalışma için etik kurul onayı gerekmemektedir. Ölçme, Seçme ve Yerleştirme Merkezi'nin resmi internet sitesinde yayınlanmış 2012-2021 yılları arasında gerçekleştirilen 13 adet DUS'ta sorulan toplam 130 çocuk diş hekimliği sorusu (her sınavda 10 adet soru vardır, 3 adedi iptal edilmiştir) çalışmaya dâhil edilmiştir. Çalışmada yapay zekâ programı olarak ChatGPT 3.5 ücretsiz versiyonu kullanılmıştır. 127 adet çoktan seçmeli çocuk diş hekimliği sorusu sırasıyla ChatGPT'ye sorulmuş ve verilen cevaplar kaydedilmiştir. Verilen yanıtların güvenirliliği ve doğruluğu istatistiksel olarak analiz edilmiştir. Bulgular: ChatGPT toplam 127 sorunun 69'una doğru cevap vermiştir ve başarı oranı %54,3 olarak tespit edilmiştir. En yüksek başarı oranı %90 ile 2014 sonbahar sınavında iken, en düşük başarı oranı ise %10 ile 2019-2015 sınavlarında elde edilmiştir. Analizler sonucunda 2014 sonbahar dönemi ve 2020 yılı sorularına ChatGPT'nin istatistiksel olarak anlamlı derecede doğru cevap verdiği bulunmuştur (p<0,05). Farklı zamanlarda sorulan aynı sorulara ChatGPT aynı cevapları vermektedir. Sonuç: ChatGPT'nin DUS çocuk diş hekimliği sorularını yanıtlamada güvenilir bir kaynak olmadığı, başarı oranının beklenenden az ve yapay zekânın verdiği yanıtların tartışmalı olduğu sonucuna varılmıştır. DUS çocuk diş hekimliği soruların yanıtları için ChatGPT kullanan öğrencilerin verilen yanıtları gözden geçirmesi gerektiği ve yanıtlara şüphe ile yaklaşması gerektiği kanaatindeyiz. Yapay zekânın gelişmesi ve başarı oranının artması ile ChatGPT türevi programların diş hekimliği eğitiminde kullanılması daha etkin ve güvenilir olacaktır.
Anahtar Kelimeler: Çocuk diş hekimliği; dental uzmanlık alanları; yapay zekâ; uzmanlık sınavı
Amaç: Diş hekimliğinde uzmanlık eğitim giriş sınavında (DUS) sorulan çocuk diş hekimliği sorularına Üretici Ön-Eğitimli Dönüştürücünün [Generative Pre-trained Transformer (ChatGPT)] verdiği yanıtların güvenirliliğini değerlendirmek ve başarı oranını tespit etmektir. Gereç ve Yöntemler: Çalışmada kullanılan yapay zekâ programı ve değerlendirilen DUS çocuk diş hekimliği soruları kamuya açık kaynaklardır ve bu sebeple çalışma için etik kurul onayı gerekmemektedir. Ölçme, Seçme ve Yerleştirme Merkezi'nin resmi internet sitesinde yayınlanmış 2012-2021 yılları arasında gerçekleştirilen 13 adet DUS'ta sorulan toplam 130 çocuk diş hekimliği sorusu (her sınavda 10 adet soru vardır, 3 adedi iptal edilmiştir) çalışmaya dâhil edilmiştir. Çalışmada yapay zekâ programı olarak ChatGPT 3.5 ücretsiz versiyonu kullanılmıştır. 127 adet çoktan seçmeli çocuk diş hekimliği sorusu sırasıyla ChatGPT'ye sorulmuş ve verilen cevaplar kaydedilmiştir. Verilen yanıtların güvenirliliği ve doğruluğu istatistiksel olarak analiz edilmiştir. Bulgular: ChatGPT toplam 127 sorunun 69'una doğru cevap vermiştir ve başarı oranı %54,3 olarak tespit edilmiştir. En yüksek başarı oranı %90 ile 2014 sonbahar sınavında iken, en düşük başarı oranı ise %10 ile 2019-2015 sınavlarında elde edilmiştir. Analizler sonucunda 2014 sonbahar dönemi ve 2020 yılı sorularına ChatGPT'nin istatistiksel olarak anlamlı derecede doğru cevap verdiği bulunmuştur (p<0,05). Farklı zamanlarda sorulan aynı sorulara ChatGPT aynı cevapları vermektedir. Sonuç: ChatGPT'nin DUS çocuk diş hekimliği sorularını yanıtlamada güvenilir bir kaynak olmadığı, başarı oranının beklenenden az ve yapay zekânın verdiği yanıtların tartışmalı olduğu sonucuna varılmıştır. DUS çocuk diş hekimliği soruların yanıtları için ChatGPT kullanan öğrencilerin verilen yanıtları gözden geçirmesi gerektiği ve yanıtlara şüphe ile yaklaşması gerektiği kanaatindeyiz. Yapay zekânın gelişmesi ve başarı oranının artması ile ChatGPT türevi programların diş hekimliği eğitiminde kullanılması daha etkin ve güvenilir olacaktır.
Anahtar Kelimeler: Çocuk diş hekimliği; dental uzmanlık alanları; yapay zekâ; uzmanlık sınavı
ABSTRACT
Objective: The aim of the study was to evaluate the reliability of Generative Pre-trained Transformer (ChatGPT) answers to pedodontic questions asked in the dental specialization training entrance exam [diş hekimliğinde uzmanlık eğitim giriş sınavı (DUS)] and to determine the success rate. Material and Methods: The artificial intelligence program used and evaluated DUS pedodontic questions are publicly available resources, therefore; ethics committee approval is not required for this study. A total of 130 pedodontic questions (10 in each exam, 3 of them cancelled) asked in 13 DUS between 2012-2021, published on the official website of the Measuring, Selection and Placement Center (Ölçme, Seçme ve Yerleştirme Merkezi), were included in the study. ChatGPT 3.5 free version was used as an artificial intelligence program. When the 3 canceled questions were removed, a total of 127 multiple-choice pedodontic questions were asked to ChatGPT respectively and the answers were recorded. The reliability and accuracy of the answers were statistically analyzed. Results: ChatGPT answered 69 out of 127 questions correctly and the success rate was 54.3%. The highest success rate was 90% in the 2014 fall exam, while the lowest success rate was 10% in the 2019-2015 exams. As a result of the analysis, it was found that ChatGPT gave statistically significant correct answers to the questions of 2014- fall and 2020 exams (p<0.05). ChatGPT gives the same answers to the same questions asked at different times. Conclusion: ChatGPT is not a reliable source for answering DUS pedodontic questions, the success rate is lower than expected and the answers given by artificial intelligence are controversial. Students who use ChatGPT for DUS pedodontic questions should review the answers given and approach the answers with skepticism. With the development of artificial intelligence and the increase in the success rate, the use of ChatGPT-derived programs in dentistry education will be more effective and reliable.
Keywords: Pediatric dentistry; dental specialites; artificial intelligence; specialty boards
Objective: The aim of the study was to evaluate the reliability of Generative Pre-trained Transformer (ChatGPT) answers to pedodontic questions asked in the dental specialization training entrance exam [diş hekimliğinde uzmanlık eğitim giriş sınavı (DUS)] and to determine the success rate. Material and Methods: The artificial intelligence program used and evaluated DUS pedodontic questions are publicly available resources, therefore; ethics committee approval is not required for this study. A total of 130 pedodontic questions (10 in each exam, 3 of them cancelled) asked in 13 DUS between 2012-2021, published on the official website of the Measuring, Selection and Placement Center (Ölçme, Seçme ve Yerleştirme Merkezi), were included in the study. ChatGPT 3.5 free version was used as an artificial intelligence program. When the 3 canceled questions were removed, a total of 127 multiple-choice pedodontic questions were asked to ChatGPT respectively and the answers were recorded. The reliability and accuracy of the answers were statistically analyzed. Results: ChatGPT answered 69 out of 127 questions correctly and the success rate was 54.3%. The highest success rate was 90% in the 2014 fall exam, while the lowest success rate was 10% in the 2019-2015 exams. As a result of the analysis, it was found that ChatGPT gave statistically significant correct answers to the questions of 2014- fall and 2020 exams (p<0.05). ChatGPT gives the same answers to the same questions asked at different times. Conclusion: ChatGPT is not a reliable source for answering DUS pedodontic questions, the success rate is lower than expected and the answers given by artificial intelligence are controversial. Students who use ChatGPT for DUS pedodontic questions should review the answers given and approach the answers with skepticism. With the development of artificial intelligence and the increase in the success rate, the use of ChatGPT-derived programs in dentistry education will be more effective and reliable.
Keywords: Pediatric dentistry; dental specialites; artificial intelligence; specialty boards
REFERANSLAR:
- Reuters [Internet]. ChatGPT sets record for fastest-growing user base-analyst note. © 2025 Reuters [Cited: Dec 04, 2024] Available from: [Link]
- Brown TB, Mann B, Ryder N, Subbiah M, Kaplan J, Dhariwal P, et al. Language models are few-shot learners-special version. Conference on Neural Information Processing Systems (NeurIPS 2020); 2020 Dec 6-12; Vancouver, Canada: 2020.
- Akaltan KF. Diş Hekimliğinde preklinik ve klinik eğitim çeşitliliği [Preclinical and clinical education variety for dentistry]. Selcuk Dent J. 2019;6(5):37-51. [Crossref]
- ÖSYM [İnternet]. Diş Hekimliği Uzmanlık Eğitimi Giriş Sınavı. © T.C. ÖLÇME, SEÇME VE YERLEŞTİRME MERKEZİ BAŞKANLIĞI [Erişim tarihi: 04.12.2024]. Erişim linki: [Link]
- ÖSYM [İnternet]. DUS Çıkmış Sorular. © T.C. ÖLÇME, SEÇME VE YERLEŞTİRME MERKEZİ BAŞKANLIĞI [Erişim tarihi: 04.12.2024]. Erişim linki: [Link]
- Reddy S. Explainability and artificial intelligence in medicine. Lancet Digit Health. 2022;4(4):e214-e215. [Crossref] [PubMed]
- Büttner M, Leser U, Schneider L, Schwendicke F. Natural language processing: chances and challenges in dentistry. J Dent. 2024;141:104796. [Crossref] [PubMed]
- Fischer L, Ehrlinger L, Geist V, Ramler R, Sobiezky F, Zellinger W, et al. AI system engineering-key challenges and lessons learned. Mach Learn Knowl Extr. 2021;3(1):56-83. [Crossref]
- Zhai X, Chu X, Chai CS, Jong MSY, Istenic A, Spector M, et al. A review of artificial intelligence (AI) in education from 2010 to 2020. Complexity. 2021;2021(1):1-18. [Crossref] [PubMed]
- Taşsöker M, Çelik M. Diş hekimliği öğrencilerinde mezuniyet sonrası kariyer ve uzmanlık motivasyonu [Postgraduate career and dental specialty motivation in dental students]. Selcuk Dent J. 2019;6(4):108-111. [Link]
- Zheng S, Huang J, Chang KC-C. Why Does ChatGPT Fall Short in Providing Truthful Answers? 2023. [Link]
- Kung TH, Cheatham M, Medenilla A, Sillos C, De Leon L, Elepaño C, et al. Performance of ChatGPT on USMLE: potential for AI-assisted medical education using large language models. PLOS Digit Health. 2023;2(2):e0000198. [PubMed] [PMC]
- Singhal K, Azizi S, Tu T, Mahdavi SS, Wei J, Chung HW, et al. Large language models encode clinical knowledge. Nature. 2023;620(7972):172-80. Erratum in: Nature. 2023;620(7973):E19. [PubMed] [PMC]
- Wang J, Zhang G, Wang W, Zhang K, Sheng Y. Cloud-based intelligent self-diagnosis and department recommendation service using Chinese medical BERT. J Cloud Comput. 2021;10(4). [Crossref]
- Yang R, Tan TF, Lu W, Thirunavukarasu AJ, Ting DSW, Liu N. Large language models in health care: development, applications, and challenges. Health Care Sci. 2023;2(4):255-63. [Crossref] [PubMed] [PMC]
- Burk-Rafel J, Santen SA, Purkiss J. Study behaviors and USMLE step 1 performance: ımplications of a student self-directed parallel curriculum. Acad Med. 2017;92(11S Association of American Medical Colleges Learn Serve Lead: Proceedings of the 56th Annual Research in Medical Education Sessions):S67-S74. [Crossref] [PubMed]
- Abou-Hanna JJ, Owens ST, Kinnucan JA, Mian SI, Kolars JC. Resuscitating the socratic method: student and faculty perspectives on posing probing questions during clinical teaching. Acad Med. 2021;96(1):113-7. [Crossref] [PubMed]
- Gilson A, Safranek CW, Huang T, Socrates V, Chi L, Taylor RA, et al. How does ChatGPT perform on the United States medical licensing examination (USMLE)? The ımplications of large language models for medical education and knowledge assessment. JMIR Med Educ. 2023;9:e45312. Erratum in: JMIR Med Educ. 2024;10:e57594. [PubMed] [PMC]
- Thirunavukarasu AJ, Hassan R, Mahmood S, Sanghera R, Barzangi K, El Mukashfi M, et al. Trialling a large language model (ChatGPT) in general practice with the applied knowledge test: observational study demonstrating opportunities and limitations in primary care. JMIR Med Educ. 2023;9:e46599. [Crossref] [PubMed] [PMC]
.: İşlem Listesi