MEDICAL IMAGE CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS

Abstract

ABSTRACT

The implementation of deep learning methods in medical image classification domain has yielded many progress in developing reliable systems for diagnosis of diseases. Researchers have conducted numerous studies to develop models with improved accuracy. Computed tomography (CT) scans served as an important imaging technique for quickly diagnosing lung diseases via deep learning techniques.

This doctoral dissertation presents a novel approach for diagnosing COVID-19 disease with enhanced accuracy, as well as an innovative method for detecting COVID-19 by integrating the U-Net model with a Graph Convolutional Network (GCN) to develop a feature-extracted GCN (FGCN). We use the U-Net model for image segmentation and feature extraction. We utilize the derived characteristics to construct an adjacency matrix that represents the underlying graph structure. We also feed the original image and the image graph with the greatest kernel to the GCN.

This technique involves employing graph convolutional networks (GCN) with different layer configurations and kernel sizes to extract important features from CT scan images. To generate integrated input graph data, we combine these graphs and feed them into a graph convolutional network (GCN), which also incorporates a dropout layer to minimize overfitting during the COVID-19 diagnosis.

Unlike previous studies that only took deep features from convolutional filters and pooling layers without considering the nodes' spatial connectivity, we use graph convolutional networks (GCNs) for categorization and prediction. The developed model stands out as it is the first to view CT scans of the lungs as a graph of characteristics, categorized by a graph neural network model. Furthermore, it outperforms the latest methods proposed for COVID-19 detection in the literature. This allows us to identify spatial connectivity patterns, resulting in a significant improvement in association. Our study shows that the suggested structure, called the feature-extracted graph convolutional network (FGCN), is better at finding lung diseases than other recently suggested deep learning structures that don't use graph visualizations. The suggested approach surpasses several transfer learning models frequently employed for medical image diagnosis, emphasizing the capacity of the graph representation to abstract information beyond what traditional methods can do. Furthermore, we contrast the proposed FGCN model with six widely used transfer learning models: DenseNet201, EfficientNetB0, InceptionV3, NasNet Mobile, ResNet50, and VGG16. We observe that the FGCN outperforms various transfer learning models. These results highlight the capacity of the graph-induced approach to represent abstract concepts, making it appropriate for similar medical diagnosis tasks.

ÖZET

Derin öğrenme yöntemlerinin tıbbi görüntü sınıflandırma alanında uygulanması, hastalıkların teşhisi için güvenilir sistemlerin geliştirilmesinde birçok ilerleme sağlamıştır. Araştırmacılar, yüksek doğruluğa sahip modeller geliştirmek için çok sayıda çalışma yürütmüştür. Bu çalışmalarda bilgisayarlı tomografi (BT) taramaları, derin öğrenme teknikleri aracılığıyla akciğer hastalıklarının hızlı bir şekilde teşhis edilmesi için önemli bir görüntüleme tekniği olarak öne çıkmıştır.

Bu doktora çalışmasında COVID-19 hastalığını yüksek hassasiyetle teşhis etmek için, U-Net modelini Graph Convolutional Network (GCN) ile entegre ederek, yeni bir yöntem sunulmuştur (FGCN). Resim segmentasyonu ve özellik çıkartımı için U-Net modeli kullanılmıştır. Çıkartılan özellikler, temel graf yapısını temsil eden bir matris oluşturmak için kullanılmıştır. Ayrıca GCN'ye orijinal görüntüyle birlikte en büyük çekirdeğe sahip graf temsili de eklenmiştir. Böylece önerilen teknik, farklı katman yapılandırmaları ve çekirdek boyutları ile GCN kullanılarak BT tarama resimlerinden önemli özellikler çıkarılmasını sağlar. Entegre giriş graf verileri oluşturmak için, bu graflar birleştirilmiş ve bir graf konvolüsiyonlu ağ (GCN) içine aktarılmıştır. Bu ağ ayrıca, COVID-19 teşhisi sırasında aşırı öğrenmeyi en aza indirmek için bir çıkış katmanı da içermektedir.

Sadece evrişimli filtrelerden ve havuzlama katmanlarından elde deilen derin özelliklerin kullanıldığı ve düğümler arası uzaysal bağlantıların dikkate alınmadığı eski çalışmaların aksine bu çalışmada uzaysal bağlılığın da önemli olduğu GCN ağları sınıflandırma ve tahminleme görevi için kullanılmıştır. Geliştirilen model, akciğerlerin CT taramalarını, bir graf sinir ağı modeliyle sınıflandırılabilir bir karakteristik graf olarak gören ilk model olarak öne çıkmaktadır. Ayrıca, literatürde COVID-19 tespiti için önerilen en son yöntemlerin performansını da geride bırakmıştır. Bu yaklaşım, uzaysal bağlantı biçimlerini tanımlamamıza olanak sağlamakta, bu da temsilde önemli bir iyileşmeyi beraberinde getirmeketdir. Çalışmamız, önerilen yapının (FGCN) akciğer hastalıklarını bulmada, son zamanlarda graf temsilleri kullanmayan derin öğrenme yapılarına kıyasla daha iyi olduğunu göstermektedir. Önerilen yaklaşım, tıbbi görüntüleme teşhisi için sık kullanılan transfer öğrenme modellerinin performansının ötesine geçerek, geleneksel yöntemlerin soyutlama kapasitesinin grafik temsilleri ile aşılabileceğini vurgulamaktadır. Önerilen FGCN modelinin karşılaştırıldığı altı yaygın transfer öğrenme modeli sırasıya DenseNet201, EfficientNetB0, InceptionV3, NasNet Mobile, ResNet50, ve VGG16’dir. FGCN'nin bu transfer öğrenme modellerinden üstün sınıflandırma sonuçları verdiği gözlemlenmiştir. Bu sonuçlar, graf temsilli yaklaşımın soyutlama kapasitesini vurgularken, benzer tıbbi teşhis görevleri için de kullanılabilirliğini göstermektedir.