Diş Hekimliğinde Uzmanlık Sınavı’nda Çocuk Diş Hekimliği Sorularında ChatGPT ve Gemini’nin BaşarısıÇiğdem Güler, Emre Serhan AlperOrdu Üniversitesi, Diş Hekimliği Fakültesi, Pedodonti Anabilim Dalı, Ordu, Türkiye
GİRİŞ ve AMAÇ: Bu çalışmanın amacı, Diş Hekimliğinde Uzmanlık Sınavı’nda (DUS) Çocuk Diş Hekimliği alanındaki soruları ChatGPT 4.0 ve Gemini Advanced yapay zeka modellerinin cevaplama başarısını değerlendirmektir.
YÖNTEM ve GEREÇLER: Çalışmada, 2012-2021 yılları arasında yapılmış, soru ve cevap anahtarı kamuya açık olan 13 sınavdan seçilen toplam 127 çoktan seçmeli soru, ChatGPT 4.0 ve Gemini Advanced yapay zeka modellerine eş zamanlı olarak sorulmuş, yanıtlaması ve açıklama yapması istenmiştir. Yapay zeka modellerinin sorulara verdikleri cevaplar ve açıklamalar, bir pedodonti uzmanı tarafından kamuya açık olan cevap anahtarı kullanılarak 3 noktalı Likert ölçeği (LÖ) ile puanlandırılmıştır (0: cevap şıkkı ve açıklama hatalı, 1: cevap şıkkı doğru ancak açıklama hatalı, 2: cevap şıkkı ve açıklama doğru). Veriler istatistiksel olarak analiz edilmiştir.
BULGULAR: ChatGPT 4.0, 127 soruda maksimum 254 puan üzerinden toplam 211 puan alırken, Gemini Advanced 194 puan almıştır. LÖ dağılımları incelendiğinde, ChatGPT LÖ0: %16.6, LÖ1: %0.8, LÖ2: %82.7, Gemini LÖ0: %23.6, LÖ1: %0, LÖ2: %76.4’tür. Bununla birlikte yapay zeka modellerinin başarısı arasında istatistiksel olarak anlamlı bir farklılık bulunmamıştır (p>0.05).
TARTIŞMA ve SONUÇ: Çalışmamızın sınırlamaları dahilinde, ChatGPT 4.0 Çocuk Diş Hekimliği alanındaki DUS sorularını cevaplama konusunda Gemini Advanced’den daha yüksek bir başarı oranı sergilese bile bu fark istatistiksel olarak anlamlı değildir. Yapay zeka tabanlı bu modeller, sınav hazırlığı ve bilgiye erişim süreçlerinde potansiyel bir destek aracı olarak değerlendirilebilir.
Anahtar Kelimeler: Çocuk Diş Hekimliği, dental uzmanlıklar, uzmanlık kurulları, yapay zeka
Performance of ChatGPT and Gemini on Pediatric Dentistry Questions in the Dentistry Specialization ExamÇiğdem Güler, Emre Serhan AlperDepartment of Pediatric Dentistry, Faculty of Dentistry, Ordu University, Ordu, Turkey
INTRODUCTION: This study aimed to evaluate the performance of the ChatGPT 4.0 and Gemini Advanced artificial intelligence models in answering Pediatric Dentistry questions in the Dental Specialty Examination (DUS).
METHODS: In this study, a total of 127 multiple-choice questions selected from 13 publicly available exams conducted between 2012 and 2021 were asked simultaneously to the ChatGPT 4.0 and Gemini Advanced artificial intelligence models, and the models were requested to provide answers and explanations. The responses and explanations generated by the models were evaluated using a publicly available answer key and scored on a 3-point Likert scale (LS) by a pediatric dentist (0: incorrect answer and explanation, 1: correct answer but incorrect explanation, 2: correct answer and explanation). The data were statistically analysed.
RESULTS: ChatGPT 4.0 achieved a total score of 211 out of a maximum of 254 points across the 127 questions, whereas Gemini Advanced scored 194 points. The distribution of Likert scale scores was as follows: for ChatGPT 4.0, LS0: 16.6%, LS1: 0.8%, LS2: 82.7%; and for Gemini Advanced, LS0: 23.6%, LS1: 0%, LS2: 76.4%. However, no statistically significant difference was found between the performances of the artificial intelligence models (p > 0.05).
DISCUSSION AND CONCLUSION: Within the limitations of this study, although ChatGPT 4.0 demonstrated a higher success rate than Gemini Advanced in answering pediatric dentistry questions in the DUS, this difference was not statistically significant. These artificial intelligence models may have the potential to serve as supportive tools for exam preparation and access to knowledge.
Keywords: Pediatric Dentistry, dental specialties, specialty boards, artificial intelligence
Sorumlu Yazar: Emre Serhan Alper, Türkiye
|
|
Yazdır
Alıntıyı İndir
RIS
E-Postala
Paylaş
Yazara e-posta gönder
PubMed