Türkçe sağlık sohbet botlarında sbert, claude ve gemini büyük dil modellerinin performans metrikleri üzerinden analitik karşılaştırılması

Bu çalışmada, büyük dil modellerinin (Large Language Models-LLM) Türkçe sağlık sohbet botlarında uygulanabilirliği incelenmiştir. SBERT, Claude ve Gemini modellerinin sağlık alanındaki chatbot uygulamaları için sunduğu performans karşılaştırmalı olarak değerlendirilmiştir. Türkçe dilinin kendine özgü morfolojik zorlukları dikkate alınarak, bu modellerin bağlam uyumlu yanıt üretme yetenekleri test edilmiştir. Çalışmada, modellerin doğruluk, kesinlik, duyarlılık ve F1 skoru gibi performans metrikleri karşılaştırılmış ve bu metrikler üzerinden çıkarımlar yapılmıştır. Bulgular, büyük dil modellerinin Türkçe sağlık chatbotlarında kullanıcı memnuniyeti ve bilgi doğruluğu açısından güçlü bir potansiyel sunduğunu göstermiştir. Ancak, dilin yapısal özellikleri nedeniyle optimizasyon ve özelleştirme süreçlerinin büyük bir öneme sahip olduğu görülmüştür. Bu doğrultuda, gelecekteki çalışmalar için performansı artıracak yöntemler önerilmiştir. Tez, Türkçe sağlık chatbotlarının geliştirilmesine katkı sağlamayı ve büyük dil modellerinin bu alandaki sınırlılıklarını belirlemeyi amaçlamaktadır.

In this study, the applicability of Large Language Models (LLM) in Turkish healthcare chatbots was investigated. The performance of SBERT, Claude and Gemini models for chatbot applications in the healthcare field was evaluated comparatively. Considering the unique morphological difficulties of the Turkish language, the ability of these models to produce context-adaptive responses was tested. In the study, performance metrics such as accuracy, precision, sensitivity and F1 score of the models were compared and inferences were made based on these metrics. The findings showed that large language models offer a strong potential in terms of user satisfaction and information accuracy in Turkish healthcare chatbots. However, due to the structural features of the language, optimization and customization processes were seen to be of great importance. In this direction, methods that will increase performance were proposed for future studies. The thesis aims to contribute to the development of Turkish healthcare chatbots and to determine the limitations of large language models in this area.