University Sétif 1 FERHAT ABBAS Faculty of Sciences
Détail de l'auteur
Auteur Chaima Khenouche |
Documents disponibles écrits par cet auteur
Ajouter le résultat dans votre panier Affiner la rechercheEXPLORING THE EFFECTIVENESS OF TRANSFORMER MODELS IN BREAST CANCER CLASSIFICATION TASKS / Chaima Khenouche
Titre : EXPLORING THE EFFECTIVENESS OF TRANSFORMER MODELS IN BREAST CANCER CLASSIFICATION TASKS Type de document : document électronique Auteurs : Chaima Khenouche, Auteur ; Belkhiat, Djamel Eddine Chouaib, Directeur de thèse Editeur : Setif:UFA Année de publication : 2024 Importance : 1 vol (50 f.) Format : 29 cm Langues : Anglais (eng) Catégories : Thèses & Mémoires:Physique Mots-clés : Breast cancer
CAD system
Transformer
VITIndex. décimale : 530 - Physique Résumé :
Early detection remains crucial for limiting breast cancer mortality in women. Screening programs
are considered as the best solution, but the growing volume of data and human limitations
have driven interest in AI-based support for medical professionals. Deep learning-based
Computer-Aided Diagnosis (CAD) systems have seen significant progress, leading to a variety
of architectures, such as the recent advancements in Visual Transformers (ViTs). While Convolutional
Neural Networks (CNNs) are well-established for medical image analysis, ViTs excel
in areas where CNNs struggle. This research investigates the potential of ViTs as a successor
to CNNs in breast cancer classification.
We achieve this by extensively evaluating the ViT performance to assess the validity of ViTs
as a viable tool for breast cancer diagnosis.Note de contenu : Sommaire
Abstract iii
Résumé iv
Table of Contents viii
List of Figures ix
List of Tables x
List of Acronyms xii
General Introduction 1
1 BREAST CANCER & COMPUTER AIDED DIAGNOSIS 3
1.1 BACKGROUND . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Breast Cancer: Traits, Challenges, and CAD in Diagnosis . . . . . . . . . . . . . 4
1.3 Computer-Aided Diagnosis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.3.1 The Evolution of CAD Systems in Medical Diagnosis . . . . . . . . . . . 6
1.3.2 Enhancing Breast Cancer Diagnosis with CAD Systems . . . . . . . . . . 6
1.3.2.1 Detection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3.2.2 Feature Extraction . . . . . . . . . . . . . . . . . . . . . . . . 8
1.3.2.3 Classification . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2 INTEGRATING ARTIFICIAL INTELLIGENCE IN CAD SYSTEMS FOR
BREAST CANCER DIAGNOSIS 10
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.2 Machine Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.3 Artificial Neural Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.3.1 Training an Artificial Neural Network . . . . . . . . . . . . . . . . . . . 14
2.4 Convolutional Neural Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.4.1 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.4.2 Basic Building Blocks of CNN . . . . . . . . . . . . . . . . . . . . . . . . 16
2.4.2.1 Convolutional Layer . . . . . . . . . . . . . . . . . . . . . . . . 16
2.4.2.2 Pooling Layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.4.2.3 Fully Connected Layer . . . . . . . . . . . . . . . . . . . . . . . 18
2.4.2.4 Activation Function and Loss function . . . . . . . . . . . . . . 19
2.5 Transformers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.5.1 BACKGROUND . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.5.2 Self-Attention in Transformers: A Mechanism for Long-Range Dependencies
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.5.3 Model Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.5.3.1 ENCODER . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.5.3.2 DECODER . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.5.3.3 EMBEDDING AND POSITIONAL EMBEDDING . . . . . . . 23
2.5.3.4 Feed Forward Network . . . . . . . . . . . . . . . . . . . . . . 23
2.5.3.5 SoftMax & output Probabilities . . . . . . . . . . . . . . . . . 24
2.6 TRANSFORMERS VS CNN in cancer detection . . . . . . . . . . . . . . . . . 24
2.7 conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3 ARCHITECTURE & SOFTWARE AND HARDWARE IMPEMENTATION
26
3.1 CONTEX . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.2 ARCHITECTURE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.2.1 Vision Transformer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.2.2 MODEL PARAMETHER . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.2.2.1 PATCHE SIZE . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.2.2.2 OPTIMIZER . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.3 SOFTEWARE AND HARDWARE IMPLEMENTATION . . . . . . . . . . . . 28
3.3.1 Hardware Specifications . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.3.2 Selection of Python . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.3.3 Pytorch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.3.4 DATASETS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.4 Evaluation Metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.5 Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
4 Results and Discussion 34
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
4.2 Qualitative Evaluation of ViT-64 Model on breakHis and BUSI Datasets . . . . 34
4.2.1 Analysis of the ViT-Transformer Models on the BreaKHis Dataset . . . 34
4.2.1.1 Evaluating Optimizers for BreakHis dataset Analysis . . . . . . 34
4.2.1.2 Evaluating vit-64 model on breakHis ful dataset . . . . . . . . . 36
4.2.1.3 Evaluating the ViT-64 model on BreaKHis on different magnifications
(x40, x100, x200, x400) . . . . . . . . . . . . . . . . . 37
4.2.2 Analysis of the ViT-Transformer Models on Breast ultrasound Images
dataset (BUSI) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
4.2.2.1 Evaluating Optimizers for ultrasound (BUSI) dataset Analysis . 38
4.2.2.2 Evaluating ViT-64 model on BUSI dataset . . . . . . . . . . . . 38
4.3 Quantitative Evaluation of ViT-64 Model on BreakHis and BUSI Datasets . . . 39
4.4 Impact of Patch Size on Model Performance . . . . . . . . . . . . . . . . . . . . 40
4.4.1 Qualitative Evaluation of Patch Size Impact on Model Performance . . . 40
4.4.2 Quantitative Evaluation of Patch Size Impact on Model Performance . . 44
4.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46Côte titre : MAPH/0632 EXPLORING THE EFFECTIVENESS OF TRANSFORMER MODELS IN BREAST CANCER CLASSIFICATION TASKS [document électronique] / Chaima Khenouche, Auteur ; Belkhiat, Djamel Eddine Chouaib, Directeur de thèse . - [S.l.] : Setif:UFA, 2024 . - 1 vol (50 f.) ; 29 cm.
Langues : Anglais (eng)
Catégories : Thèses & Mémoires:Physique Mots-clés : Breast cancer
CAD system
Transformer
VITIndex. décimale : 530 - Physique Résumé :
Early detection remains crucial for limiting breast cancer mortality in women. Screening programs
are considered as the best solution, but the growing volume of data and human limitations
have driven interest in AI-based support for medical professionals. Deep learning-based
Computer-Aided Diagnosis (CAD) systems have seen significant progress, leading to a variety
of architectures, such as the recent advancements in Visual Transformers (ViTs). While Convolutional
Neural Networks (CNNs) are well-established for medical image analysis, ViTs excel
in areas where CNNs struggle. This research investigates the potential of ViTs as a successor
to CNNs in breast cancer classification.
We achieve this by extensively evaluating the ViT performance to assess the validity of ViTs
as a viable tool for breast cancer diagnosis.Note de contenu : Sommaire
Abstract iii
Résumé iv
Table of Contents viii
List of Figures ix
List of Tables x
List of Acronyms xii
General Introduction 1
1 BREAST CANCER & COMPUTER AIDED DIAGNOSIS 3
1.1 BACKGROUND . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Breast Cancer: Traits, Challenges, and CAD in Diagnosis . . . . . . . . . . . . . 4
1.3 Computer-Aided Diagnosis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.3.1 The Evolution of CAD Systems in Medical Diagnosis . . . . . . . . . . . 6
1.3.2 Enhancing Breast Cancer Diagnosis with CAD Systems . . . . . . . . . . 6
1.3.2.1 Detection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3.2.2 Feature Extraction . . . . . . . . . . . . . . . . . . . . . . . . 8
1.3.2.3 Classification . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2 INTEGRATING ARTIFICIAL INTELLIGENCE IN CAD SYSTEMS FOR
BREAST CANCER DIAGNOSIS 10
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.2 Machine Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.3 Artificial Neural Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.3.1 Training an Artificial Neural Network . . . . . . . . . . . . . . . . . . . 14
2.4 Convolutional Neural Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.4.1 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.4.2 Basic Building Blocks of CNN . . . . . . . . . . . . . . . . . . . . . . . . 16
2.4.2.1 Convolutional Layer . . . . . . . . . . . . . . . . . . . . . . . . 16
2.4.2.2 Pooling Layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.4.2.3 Fully Connected Layer . . . . . . . . . . . . . . . . . . . . . . . 18
2.4.2.4 Activation Function and Loss function . . . . . . . . . . . . . . 19
2.5 Transformers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.5.1 BACKGROUND . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.5.2 Self-Attention in Transformers: A Mechanism for Long-Range Dependencies
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.5.3 Model Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.5.3.1 ENCODER . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.5.3.2 DECODER . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.5.3.3 EMBEDDING AND POSITIONAL EMBEDDING . . . . . . . 23
2.5.3.4 Feed Forward Network . . . . . . . . . . . . . . . . . . . . . . 23
2.5.3.5 SoftMax & output Probabilities . . . . . . . . . . . . . . . . . 24
2.6 TRANSFORMERS VS CNN in cancer detection . . . . . . . . . . . . . . . . . 24
2.7 conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3 ARCHITECTURE & SOFTWARE AND HARDWARE IMPEMENTATION
26
3.1 CONTEX . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.2 ARCHITECTURE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.2.1 Vision Transformer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.2.2 MODEL PARAMETHER . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.2.2.1 PATCHE SIZE . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.2.2.2 OPTIMIZER . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.3 SOFTEWARE AND HARDWARE IMPLEMENTATION . . . . . . . . . . . . 28
3.3.1 Hardware Specifications . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.3.2 Selection of Python . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.3.3 Pytorch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.3.4 DATASETS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.4 Evaluation Metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.5 Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
4 Results and Discussion 34
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
4.2 Qualitative Evaluation of ViT-64 Model on breakHis and BUSI Datasets . . . . 34
4.2.1 Analysis of the ViT-Transformer Models on the BreaKHis Dataset . . . 34
4.2.1.1 Evaluating Optimizers for BreakHis dataset Analysis . . . . . . 34
4.2.1.2 Evaluating vit-64 model on breakHis ful dataset . . . . . . . . . 36
4.2.1.3 Evaluating the ViT-64 model on BreaKHis on different magnifications
(x40, x100, x200, x400) . . . . . . . . . . . . . . . . . 37
4.2.2 Analysis of the ViT-Transformer Models on Breast ultrasound Images
dataset (BUSI) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
4.2.2.1 Evaluating Optimizers for ultrasound (BUSI) dataset Analysis . 38
4.2.2.2 Evaluating ViT-64 model on BUSI dataset . . . . . . . . . . . . 38
4.3 Quantitative Evaluation of ViT-64 Model on BreakHis and BUSI Datasets . . . 39
4.4 Impact of Patch Size on Model Performance . . . . . . . . . . . . . . . . . . . . 40
4.4.1 Qualitative Evaluation of Patch Size Impact on Model Performance . . . 40
4.4.2 Quantitative Evaluation of Patch Size Impact on Model Performance . . 44
4.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46Côte titre : MAPH/0632 Exemplaires (1)
Code-barres Cote Support Localisation Section Disponibilité MAPH/0632 MAPH/0632 Mémoire Bibliothéque des sciences Anglais Disponible
Disponible
