DİŞ YAPISININ VE ÖZELLİKLERİNİN BELİRLENMESİNDE PANORAMİK RADYOGRAFİ GÖRÜNTÜLERİNİN YAPAY ÖĞRENME YÖNTEMLERİ İLE ANALİZİ

Abstract

ÖZET

Bu çalışmada, derin öğrenme ve sezgisel bir yaklaşım kullanılarak panoramik radyografiler üzerinde dişlerin örnek segmentasyonu ve numaralandırılması, dolgu, implant, kanal tedavisi ve protez restorasyonlarının tespit edilmesi sağlanmıştır. Panoramik radyografiler rutin dental muayene sırasında teşhis, planlama ve tedavilerin değerlendirilmesinde sıkça tercih edilen ve uygulaması kolay, maliyeti düşük, ulaşılabilir, nispeten radyasyon dozu az olan görüntüleme yöntemidir. Tek bir radyografi ile hastanın maksillofasiyal bölgesindeki anatomik yapıları, protezleri, restorasyonları, diş eksiklikleri ve ortodontik tedavisi hakkında bilgiler edinilir. Muayene esnasındaki işlem ağız içi tekniklere göre daha kolay ve hasta için de daha konforludur. Muayene sonucunda elde edilen bilgiler hastaya ekran üzerinde daha kolay ve anlaşılır şekilde izah edilebilir. Bu sebeple, panoramik radyografilerin tanı ve tedavi süreçlerinde kullanmı önemli ve oldukça yaygındır. Radyografilerin incelenmesi manuel olarak uzman bir kişi tarafından yapıldığı için inceleme işlemi uzun zaman alabilmekte ve oldukça dikkat gerektirmektedir. İnceleme işlemine yorgunluk, yüksek stres düzeyi, ruh hali değişiklikleri, subjektif görüş, deneyimsizlik gibi kişisel durumların da eklenmesi görüntülerin hatalı yorumlanmasına neden olabilmektedir. Bu nedenle inceleme işleminin daha hızlı ve hatasız yapılabilmesi amacıyla derin öğrenme ve sezgisel yaklaşımlı bir yöntem geliştirilmiştir.

Çalışmada kullanılan panoramik radyografiler ile ilgili yasal izinler alınmıştır. Panoramik radyografiler, isim, yaş, cinsiyet gibi kişisel veriler olmayacak şekilde Karabük Ağız ve Diş Sağlığı Eğitim ve Araştırma Hastanesi arşivinden elde edilmiştir. Dişlerin örnek segmentasyonu, numaralandırılması ve restorasyonların sınıflandırılması için Bölgesel Tabanlı Evrişimli Sinir Ağı (R-CNN) türünden olan ve omurga ağı olarak Artık Ağ-101 (ResNet-101) kullanan Mask R-CNN algoritması kullanılmıştır. Dişlerin numaralandırılması için diş hekimleri tarafından evrensel olarak kullanılan Uluslararası Dişhekimliği Federasyonu (FDI) notasyonu kullanılmıştır. Panoramik radyografilerdeki dişlerin örnek segmentasyonu ve numaralandırılmasında kesinlik, duyarlılık ve F1-puanı sırasıyla %92,21, %91,94, %92,07 olarak hesaplanmıştır. Numaralandırma sonuçları geliştirilen sezgisel bir yaklaşım ile iyileştirilerek kesinlik, duyarlılık ve F1-puanı sırasıyla %92,21, %91,94, %92,07 olarak hesaplanmıştır. Bu sayede, klasik yöntemlerin sezgisel bir yaklaşım ile %4,00 daha başarılı bir performans elde etmesi sağlanmıştır. Dolgu, implant, kanal tedavisi ve protez restorasyonlarının tespitinde ise kesinlik, duyarlılık ve F1-puanı ortalamaları sırasıyla %90,63, %81,33, %85,73 olarak hesaplanmıştır. Deneysel çalışmalar sonucunda ise gerekli şekil, grafik ve çizelgeler ile daha detaylı analiz yapılmış ve elde edilen sonuçlar tartışılmıştır.

ABSTRACT

In this study, a deep learning and heuristic approach was used to perform instance segmentation and numbering of teeth on panoramic radiographs, and to detect filling, implant, root canal and prosthetic restorations. Panoramic radiographs are an easy-to-apply, low-cost, accessible, relatively low-radiation imaging method that is frequently preferred for diagnosis, planning and evaluation of treatments during routine dental examinations. With a single radiograph, information is obtained about the anatomical structures, prostheses, restorations, tooth deficiencies and orthodontic treatment in the patient’s maxillofacial region. The procedure during the examination is easier and more comfortable for the patient than the intraoral techniques. The information obtained as a result of the examination can be explained to the patient more easily and clearly on the screen. For this reason, the use of panoramic radiographs in the diagnosis and treatment processes is important and quite common. The addition of personal factors such as fatigue, high stress levels, mood swings, subjective opinion, inexperience, etc. to the review process can lead to misinterpretation of the images. For this reason, a deep learning and heuristic approach has been developed to make the review process faster and more accurate.

Legal permissions were obtained for the panoramic radiographs used in the study. Panoramic radiographs were obtained from the archive of Karabük Oral and Dental Health Training and Research Hospital without personal data such as name, age, and gender. Mask R-CNN algorithm, which is a Regional Based Convolutional Neural Network (R-CNN) type and uses Residual Network-101 (ResNet-101) as the backbone network, was used for tooth detection, segmentation, numbering and classification of restorations. The International Dental Federation (FDI) notation, which is universally used by dentists, was used for numbering teeth. The precision, sensitivity and F1-score for sample segmentation and numbering of teeth in panoramic radiographs were 92.21%, 91.94%, 92.07%, respectively. The numbering results were improved with a heuristic approach and the precision, sensitivity and F1-score were calculated as 92.21%, 91.94%, 92.07%, respectively. In this way, 4.00% better performance of the conventional methods is achieved with a heuristic approach. For the detection of filling, implant, root canal treatment and prosthetic restorations, the precision, recall and F1-score were 90.63%, 81.33%, 85.73%, respectively. As a result of the experimental studies, a more detailed analysis was made with the necessary figures, graphics and charts and the results were discussed.