ŞEFFAF PLAK SORULARININ YANITLANMASINDA YAPAY ZEKA SOHBET ROBOTLARININ PERFORMANSININ İNCELENMESİ


Cengiz S. M., Öztürk T.

XIX. Uluslararası Türk Ortodonti Derneği Kongresi, Antalya, Türkiye, 2 - 06 Kasım 2024, ss.193-194, (Özet Bildiri)

  • Yayın Türü: Bildiri / Özet Bildiri
  • Basıldığı Şehir: Antalya
  • Basıldığı Ülke: Türkiye
  • Sayfa Sayıları: ss.193-194
  • Erciyes Üniversitesi Adresli: Evet

Özet

Amaç: Bu çalışmanın amacı, şeffaf plaklarla yapılan ortodontik tedavilerle ilgili hastalar tarafından hekimlere yaygın olarak sorulan sorulara yapay zeka destekli 4 sohbet robotu tarafından verilen yanıtların performansının değerlendirilmesidir. Gereç ve yöntem: Sosyal medya forumlarında hastalar tarafından şeffaf plaklarla ilgili en sık sorulan 15 soru seçilerek, bu sorular Bing, ChatGPT4, Gemini ve Siri sohbet robotlarına Nisan 2024’te sorulmuştur. Sohbet robotları tarafından sorulara verilen yanıtlar 2 diş hekimi, 2 ortodonti araştırma görevlisi ve 2 ortodonti uzmanı tarafından 5 seçenekli modifiye Likert Skalası ölçeği kullanılarak değerlendirildi (1; sohbet robotu soruya doğru ve yeterli cevap vermiştir, 5; sohbet robotu soruya yanlış cevap vermiştir) ve verilen puanlar Microsoft Office Excel programına kaydedilmiştir. Bulgular: 2 diş hekiminin sohbet robotlarına verdikleri puanlar arasında istatistiksel olarak anlamlı bir fark bulunmamıştır (p>0,05) ve 2 ortodonti araştırma görevlisi Bing ve Siri sohbet robotlarına istatistiksel olarak anlamlı derecede daha yüksek puan vermiştir (p<0,05). 2 ortodonti uzmanı Gemini ve Bing’e diğer sohbet robotlarına göre istatistiksel olarak daha düşük puan vermiştir (p<0,05). ChatpGPT4 ortodonti uzmanları ve 1 diş hekimi tarafından, Siri ise 1 ortodonti uzmanı tarafından daha yüksek puan alarak 2 sohbet robotu da anlamlı bir şekilde başarısız bulunmuştur (p<0,05). Hekim gruplarına göre yapılan değerlendirmede, ChatGPT4 ve Siri ortodonti uzmanları tarafından daha yüksek puan verilerek istatistiksel olarak başarısız bulunmuştur (p<0,05). Yapay zeka sohbet robotlarının cevapları kendi aralarında karşılaştırıldığında, Gemini sohbet robotunun daha düşük puan alarak daha iyi bir performans gösterdiği tespit edilmiştir. Sonuç: Yapay zeka sohbet robotlarındaki teknolojik gelişmeler, dijital ortodontide giderek popüler bir tedavi alternatifi haline gelen şeffaf plak tedavisi hakkında bireylerin sorularını yanıtlayarak bilgi birikimlerine katkıda bulunabilmektedir. Çalışmamızdan elde ettiğimiz bulgulara göre 4 sohbet robotunun yanıtları arasında anlamlı farklılıklar olduğu görülerek, Gemini sohbet robotunun performansının daha iyi olduğu söylenebilir.

Aim: The aim of this study is to evaluate the performance of the answers given by 4 artificial intelligence-based chatbots to frequently asked patients questions to dentists about clear aligner treatment. Material methods: 15 most frequently asked questions about clear aligners by patients were selected in social media forums and these questions were asked to Bing, ChatGPT4, Gemini and Siri chatbots in April 2024. The answers given by the chatbots to the questions were evaluated by 2 dentists, 2 orthodontic residents and 2 orthodontists using a five-point modified Likert Scale (1; the chatbot answered the question correctly and adequately, 5; the chatbot answered the question incorrectly) and the scores were recorded on a Microsoft Office Excel program. Results: There was no significant difference between the scores given by 2 dentists to the chatbots (p>0.05), and 2 orthodontic residents gave statistically significantly higher scores to Bing and Siri (p<0.05). 2 orthodontist gave a statistically lower scores to Gemini and Bing than other chatbots (p<0.05). ChatGPT4 was scored higher by orthodontists and 1 dentist, and Siri was scored higher by 1 orthodontist, and both chatbots were found to be significantly unsuccessful (p<0.05). According to the evaluation of participant groups, ChatGPT4 and Siri were found to be statistically unsuccessful with higher scores given by orthodontists (p<0.05). When the answers of artificial intelligence-based chatbots were compared among themselves, it was determined that the Gemini chatbot performed better with a lower score. Conclusions: Technological developments in artificial intelligence-based chatbots can contribute to individuals’ knowledge by answering their questions about clear aligner treatment, which has become an increasingly popular treatment alternative in digital orthodontics. According to the findings of our study, there are significant differences between the answers of the 4 chatbots, and it can be said that the performance of the Gemini chatbot is better.