Catalogue en ligne

University Sétif 1 FERHAT ABBAS Faculty of Sciences

Nouvelle recherche

Document: texte imprimé

Enhancing Medical Image Segmentation with FastAI and Vision Transformers: A Hybrid Approach / Rahma Hebbir

Public
ISBD

Titre :	Enhancing Medical Image Segmentation with FastAI and Vision Transformers: A Hybrid Approach
Type de document :	texte imprimé
Auteurs :	Rahma Hebbir, Auteur ; Nourhan Bettir ; Abdelouahab Moussaoui, Directeur de thèse
Editeur :	Setif:UFA
Année de publication :	2024
Importance :	1 vol (41 f .)
Format :	29 cm
Langues :	Anglais (eng)
Catégories :	Thèses & Mémoires:Informatique
Mots-clés :	Medical image segmentation Vision Transformers FastAI Convolutional Neural Networks, Self-attention mechanisms Global context
Index. décimale :	004 - Informatique
Résumé :	Medical image segmentation is a critical process in medical imaging that involves dividing an image into meaningful segments to facilitate analysis and diagnosis. This research explores the efficacy of Vision Transformers (ViTs) combined with the FastAI library for medical image segmentation tasks. Traditional Convolutional Neural Networks (CNNs) have been the cornerstone of image analysis, but they face limitations in capturing global context due to their local receptive fields. Vision Transformers, leveraging self-attention mechanisms, address this limitation by capturing long-range dependencies within images, which is particularly beneficial for complex segmentation tasks. This study includes a comprehensive evaluation of baseline CNN models and Vision Transformer models using various performance metrics, along with the application of extensive data augmentation techniques to improve model robustness and generalization. The findings highlight the superior performance of Vision Transformers in medical image segmentation, demonstrating their potential to enhance diagnostic accuracy and treatment planning in clinical practice. Future research directions include optimizing ViTs for real-time applications, expanding datasets, developing hybrid models, and improving model explainability.
Note de contenu :	Sommaire 1 General Introduction & Problematic 1 1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.3 Problem Statement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.4 Objectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.5 Significance of the Study . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.6 Overview of Medical Image Segmentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.6.1 Imaging Modalities in Medical Imaging . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.6.2 Clinical Applications of Medical Image Segmentation . . . . . . . . . . . . . . . . . . . . . 3 1.6.3 Medical Image Segmentation challenges . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.6.4 Traditional Approaches to Medical Image Segmentation . . . . . . . . . . . . . . . . . . . 5 1.6.5 Advancements in Medical Image Segmentation with Deep Learning . . . . . . . . . . . . . 5 1.7 Traditional Approaches: Convolutional Neural Networks . . . . . . . . . . . . . . . . . . . . . . . 6 1.7.1 Layers of CNNs: . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 1.7.2 Advantages of CNNs: . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 1.7.3 Challenges of CNNs: . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 1.8 ResNet Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 1.8.1 Architecture of ResNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 1.8.2 Advantages of ResNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 1.8.3 Challenges and Limitations of ResNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 1.8.4 ResNet-50 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 1.8.4.1 Architecture of ResNet-50 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 1.8.4.2 Applications of ResNet-50 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 1.8.4.3 Performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 1.8.5 ResNet-50 U-Net . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 1.9 Vision Transformers: Concepts and Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 1.9.1 key components in the Vision Transformer (ViT)architecture . . . . . . . . . . . . . . . . 10 1.9.2 Advantages of Vision Transformers (ViTs) . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 1.9.3 Swin Transformer Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 1.9.3.1 Architecture of Swin Transformer . . . . . . . . . . . . . . . . . . . . . . . . . . 11 1.9.3.2 Advantages of Swin Transformer . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 1.9.3.3 Challenges and Limitations of Swin Transformer . . . . . . . . . . . . . . . . . . 12 1.9.3.4 Applications of Swin Transformer . . . . . . . . . . . . . . . . . . . . . . . . . . 12 1.9.4 Swin-UNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 1.9.5 DeiT Transformer Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 1.9.5.1 Architecture of DeiT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 1.9.5.2 Advantages of DeiT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 1.9.5.3 Challenges and Limitations of DeiT . . . . . . . . . . . . . . . . . . . . . . . . . 13 1.9.5.4 Applications of DeiT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 1.9.6 DeiT-UNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 1.10 FastAI Library: Features and Advantages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 1.10.1 Architecture of FastAI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 1.10.2 Key Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 1.10.3 Advantages for Medical Image Segmentation . . . . . . . . . . . . . . . . . . . . . . . . . 15 1.11 Data Augmentation in Medical Image Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 1.12 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 2 implementation and Results 18 2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 2.2 Framework Setup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 2.3 Data Acquisition and Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 2.3.1 Sources of Medical Image Datasets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 2.4 Setting up the Computational Environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 2.4.1 Preprocessing Steps for Each Dataset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 2.4.1.1 Normalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 2.4.1.2 Resizing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 2.4.1.3 Data Augmentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 2.4.1.4 Segmentation Mask Preparation . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 2.5 Developing the Baseline CNN Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 2.6 Implementing the Vision Transformer Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 2.6.1 Swin U-Net with FastAI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 2.6.2 DeiT U-Net with FastAI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 2.7 Evaluation Metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 2.8 Experimental Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 2.8.1 Experiment 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 2.8.2 Experiment 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 2.8.3 Experiment 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 2.9 Visualization of Model Performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 2.9.1 Brain Tumor Segmentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 2.9.1.1 ResNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 2.9.1.2 Swin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 2.9.1.3 DeiT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 2.9.2 Breast Tumor Segmentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 2.9.2.1 ResNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 2.9.2.2 Swin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 2.9.2.3 DeiT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 2.9.3 Chest X-ray Segmentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 2.9.3.1 ResNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 2.9.3.2 Swin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 2.9.3.3 DeiT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 2.10 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 3 Evaluation and Discussion 34 3.1 Interpretation of Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 3.1.1 Brain Tumor Segmentation Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 3.1.2 Breast Tumor Segmentation Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 3.1.3 Chest X-ray Segmentation Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 3.2 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 3.3 Strengths and Limitations of the Study . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 3.3.1 Strengths . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 3.3.2 Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 3.4 Implications for Clinical Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 3.5 Perspectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 3.6 Summary of Key Findings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
Côte titre :	MAI/0921

Exemplaires (1)

Code-barres	Cote	Support	Localisation	Section	Disponibilité
MAI/0921	MAI/0921	Mémoire	Bibliothéque des sciences	Anglais	Disponible Disponible

A-
A
A+

Accueil

Se connecter

Mot de passe oublié ?

Adresse

Université Sétif -1- faculté des sciences el bez Sétif
19000 Sétif
Algérie

Horaires d'ouverture :

Dimanche:  8:00h-16h30
Lundi:         8:00h-16h30
Mardi:         8:00h-16h30
Mercredi:    8:00h-16h30
Jeudi:         8:00h-16h30