|
| Titre : |
Advancing Medical Image Classification with Generalized Zero Shot Learning |
| Type de document : |
texte imprimé |
| Auteurs : |
takoua el djalil Ben laribi, Auteur ; Rania Bentoumi ; Moussaoui ,Abdelouahab, Directeur de thèse |
| Editeur : |
Setif:UFA |
| Année de publication : |
2024 |
| Importance : |
1 vol (68 f .) |
| Format : |
29 cm |
| Langues : |
Anglais (eng) |
| Catégories : |
Thèses & Mémoires:Informatique
|
| Mots-clés : |
Chest diseases
Chest X-ray
Deep learning
Zero-Shot Learning
Convolutional Neural Networks
MED-CLIP
Medical imaging |
| Index. décimale : |
004 - Informatique |
| Résumé : |
Chest diseases, such as pneumonia, tuberculosis, and lung cancer, present significant
challenges in healthcare, necessitating accurate and timely diagnosis for effective management.
This study focuses on evaluating deep learning models for the classification of
chest X-ray images, which are pivotal in diagnosing these conditions.
We propose and assess three models: Zero-Shot Learning (ZSL), Convolutional Neural
Networks (CNN), and MED-CLIP. The ZSL model achieved an accuracy of 72%, closely
matching the CNN model’s accuracy of 75%. This close performance indicates that ZSL
is particularly promising for classifying rare diseases in the absence of extensive labeled
data, suggesting that it will improve in the future with more research and development.
The CNN model, renowned for its robustness in image recognition tasks, confirmed its
suitability for chest X-ray interpretation with a strong performance. Conversely, MEDCLIP,
a specialized adaptation of the CLIP model for medical applications, attained an
accuracy of 40%, highlighting the difficulties in adapting general vision-language models
to specific medical tasks.
This study underscores the potential of ZSL in medical imaging, especially in scenarios
with limited labeled data, and emphasizes the importance of exploring diverse models to
enhance diagnostic accuracy. |
| Note de contenu : |
Sommaire
General Introduction 1
1 AN OVERVIEW OF CHEST DISEASES and X-ray 3
1.1 OVERVIEW OF CHEST DISEASES . . . . . . . . . . . . . . . . . . . . . 3
1.2 Atelectasis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.1 Definition of Atelectasis . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.2 the symptoms of atelectasis . . . . . . . . . . . . . . . . . . . . . . 5
1.3 Consolidation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.3.1 Definition of Consolidation . . . . . . . . . . . . . . . . . . . . . . 6
1.3.2 the symptoms of Consolidation . . . . . . . . . . . . . . . . . . . . 6
1.4 Infiltration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.4.1 Definition of Infiltration . . . . . . . . . . . . . . . . . . . . . . . . 6
1.4.2 the symptoms of Infiltration . . . . . . . . . . . . . . . . . . . . . . 7
1.5 Coronavirus, COVID-19 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.5.1 Definition of Infiltration . . . . . . . . . . . . . . . . . . . . . . . . 7
1.5.2 the symptoms of Coronavirus, COVID-19 . . . . . . . . . . . . . . 7
1.6 Pleural effusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.6.1 Definition of Pleural effusion . . . . . . . . . . . . . . . . . . . . . 8
1.6.2 the symptoms of Pleural effusion . . . . . . . . . . . . . . . . . . . 8
1.7 pneumothorax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.7.1 Definition of pneumothorax . . . . . . . . . . . . . . . . . . . . . . 8
1.7.2 the symptoms of pneumothorax . . . . . . . . . . . . . . . . . . . . 9
1.8 Pleural thickening . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.8.1 Definition of Pleural thickening . . . . . . . . . . . . . . . . . . . . 9
1.8.2 the symptoms of Pleural thickening . . . . . . . . . . . . . . . . . 10
1.9 Pneumonia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.9.1 Definition of Pneumonia . . . . . . . . . . . . . . . . . . . . . . . . 10
1.9.2 the symptoms of pneumonia . . . . . . . . . . . . . . . . . . . . . 11
1.10 Emphysema . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.10.1 Definition of Emphysema . . . . . . . . . . . . . . . . . . . . . . . 11
1.10.2 the symptoms of Emphysema . . . . . . . . . . . . . . . . . . . . . 12
1.11 X-rays . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.11.1 Understanding the Mechanism of Medical X-rays . . . . . . . . . . 12
1.11.2 Applications of Medical X-rays . . . . . . . . . . . . . . . . . . . . 12
1.11.2.1 Diagnostic . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.11.2.2 Therapeutic . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.12 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2 STATE OF THE ART AND RELATED WORKS 15
2.1 Artificial Intelligence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.2 Machine Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.2.1 The Importance of Machine Learning . . . . . . . . . . . . . . . . 16
2.2.2 How Does Machine Learning Work? . . . . . . . . . . . . . . . . . . 16
2.2.2.1 Data collection . . . . . . . . . . . . . . . . . . . . . . . . 17
2.2.2.2 Data preprocessing . . . . . . . . . . . . . . . . . . . . . 17
2.2.2.3 Choosing the right model . . . . . . . . . . . . . . . . . . 17
2.2.2.4 Training the model . . . . . . . . . . . . . . . . . . . . . 18
2.2.2.5 Evaluating the model . . . . . . . . . . . . . . . . . . . . 18
2.2.2.6 Hyperparameter tuning and optimization . . . . . . . . . 18
2.2.2.7 Predictions and deployment . . . . . . . . . . . . . . . . . 18
2.2.3 Machine Learning Types . . . . . . . . . . . . . . . . . . . . . . . . 18
2.2.3.1 Supervised learning . . . . . . . . . . . . . . . . . . . . . . 18
2.2.3.2 Unsupervised Learning . . . . . . . . . . . . . . . . . . . . 19
2.3 Deep Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.3.1 Key Elements of Deep Learning . . . . . . . . . . . . . . . . . . . . 20
2.3.1.1 neural network . . . . . . . . . . . . . . . . . . . . . . . . 20
2.3.1.2 layers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.3.1.3 Optimization . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.3.1.4 Regularization . . . . . . . . . . . . . . . . . . . . . . . . 22
2.3.1.5 Model parameters . . . . . . . . . . . . . . . . . . . . . . 22
2.3.1.6 Activation Function . . . . . . . . . . . . . . . . . . . . . 23
2.3.1.7 Backpropagation . . . . . . . . . . . . . . . . . . . . . . 25
2.3.2 Convolutional Neural Network (CNN) . . . . . . . . . . . . . . . . 26
2.3.2.1 Convolutional Layer . . . . . . . . . . . . . . . . . . . . 27
2.3.2.2 Padding . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.3.2.3 Pooling Layer . . . . . . . . . . . . . . . . . . . . . . . . 29
2.3.2.4 Limitations of Convolutional neural networks (CNNs) . . 30
2.3.2.5 Related Works using cnn . . . . . . . . . . . . . . . . . . 31
2.3.3 Transfer Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.3.3.1 Understanding How Transfer Learning Works . . . . . . 32
2.3.3.2 The Benefits of Using Transfer Learning . . . . . . . . . 33
2.3.3.3 ResNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.4 Zero-Shot Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.4.1 Zero-Shot Learning (ZSL) Key Takeaways . . . . . . . . . . . . . . 36
2.4.2 Types of Zero-Shot Learning . . . . . . . . . . . . . . . . . . . . . . 36
2.4.3 Basic Architecture of Zero-Shot Learning . . . . . . . . . . . . . . . 38
2.4.4 How Does Zero-shot Learning Work? . . . . . . . . . . . . . . . . . 39
2.4.5 Evaluating Zero-Shot Learning (ZSL) models . . . . . . . . . . . . . 40
2.4.6 Challenges of Zero-Shot Learning (ZSL) models . . . . . . . . . . . 40
2.4.7 Applications of Zero-Shot Learning (ZSL) . . . . . . . . . . . . . . 42
2.5 CLIP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
2.5.1 How Does CLIP Work? . . . . . . . . . . . . . . . . . . . . . . . . . 42
2.5.2 CLIP Architecture explained . . . . . . . . . . . . . . . . . . . . . . 42
2.5.3 The CLIP training architecture . . . . . . . . . . . . . . . . . . . . 44
2.5.4 Integration Between Natural Language and Image Processing . . . 45
2.5.5 Zero-Shot Image Classification . . . . . . . . . . . . . . . . . . . . 46
2.5.6 CLIP Limitations and Challenges . . . . . . . . . . . . . . . . . . . 47
2.6 MED-CLIP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
2.6.1 Baselines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
2.6.2 Related Works using medclip . . . . . . . . . . . . . . . . . . . . . 49
2.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3 Dataset and Implementation Tools 50
3.1 Dataset Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.1.1 Dataset Grouping . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.2 Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.3 Data Augmentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.4 Implementation Frameworks and Tools . . . . . . . . . . . . . . . . . . . . 51
3.4.1 Python . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.4.2 Tensorflow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.4.3 Sickit-learn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.4.4 Matplotlib . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.4.5 NumPy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.4.6 Pandas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.4.7 PyTorch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.4.8 MedClip . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.4.9 Jupyter notebooks . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.4.10 Google Colab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.4.11 Kaggle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.5 Model Evaluation Metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.5.1 Accuracy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.5.2 Recall . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.5.3 Precision . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.5.4 F1-Score . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.6 Confusion Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
4 Experiments and Results 57
4.1 Chest Classification Approaches . . . . . . . . . . . . . . . . . . . . . . . . 57
4.2 Deep learning approaches . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
4.2.1 Convolution Neural Network (CNN) . . . . . . . . . . . . . . . . . 57
4.2.2 Zero Shot Learning Approachs . . . . . . . . . . . . . . . . . . . . 62
4.2.2.1 MedClip Model . . . . . . . . . . . . . . . . . . . . . . . 63
4.2.2.2 Our Model . . . . . . . . . . . . . . . . . . . . . . . . . . 63
4.3 Results comparisons and summary . . . . . . . . . . . . . . . . . . . . . . 64
4.3.1 Hyperparameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
4.3.2 Summarized Models . . . . . . . . . . . . . . . . . . . . . . . . . . 64 |
| Côte titre : |
MAI/0888 |
Advancing Medical Image Classification with Generalized Zero Shot Learning [texte imprimé] / takoua el djalil Ben laribi, Auteur ; Rania Bentoumi ; Moussaoui ,Abdelouahab, Directeur de thèse . - [S.l.] : Setif:UFA, 2024 . - 1 vol (68 f .) ; 29 cm. Langues : Anglais ( eng)
| Catégories : |
Thèses & Mémoires:Informatique
|
| Mots-clés : |
Chest diseases
Chest X-ray
Deep learning
Zero-Shot Learning
Convolutional Neural Networks
MED-CLIP
Medical imaging |
| Index. décimale : |
004 - Informatique |
| Résumé : |
Chest diseases, such as pneumonia, tuberculosis, and lung cancer, present significant
challenges in healthcare, necessitating accurate and timely diagnosis for effective management.
This study focuses on evaluating deep learning models for the classification of
chest X-ray images, which are pivotal in diagnosing these conditions.
We propose and assess three models: Zero-Shot Learning (ZSL), Convolutional Neural
Networks (CNN), and MED-CLIP. The ZSL model achieved an accuracy of 72%, closely
matching the CNN model’s accuracy of 75%. This close performance indicates that ZSL
is particularly promising for classifying rare diseases in the absence of extensive labeled
data, suggesting that it will improve in the future with more research and development.
The CNN model, renowned for its robustness in image recognition tasks, confirmed its
suitability for chest X-ray interpretation with a strong performance. Conversely, MEDCLIP,
a specialized adaptation of the CLIP model for medical applications, attained an
accuracy of 40%, highlighting the difficulties in adapting general vision-language models
to specific medical tasks.
This study underscores the potential of ZSL in medical imaging, especially in scenarios
with limited labeled data, and emphasizes the importance of exploring diverse models to
enhance diagnostic accuracy. |
| Note de contenu : |
Sommaire
General Introduction 1
1 AN OVERVIEW OF CHEST DISEASES and X-ray 3
1.1 OVERVIEW OF CHEST DISEASES . . . . . . . . . . . . . . . . . . . . . 3
1.2 Atelectasis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.1 Definition of Atelectasis . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.2 the symptoms of atelectasis . . . . . . . . . . . . . . . . . . . . . . 5
1.3 Consolidation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.3.1 Definition of Consolidation . . . . . . . . . . . . . . . . . . . . . . 6
1.3.2 the symptoms of Consolidation . . . . . . . . . . . . . . . . . . . . 6
1.4 Infiltration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.4.1 Definition of Infiltration . . . . . . . . . . . . . . . . . . . . . . . . 6
1.4.2 the symptoms of Infiltration . . . . . . . . . . . . . . . . . . . . . . 7
1.5 Coronavirus, COVID-19 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.5.1 Definition of Infiltration . . . . . . . . . . . . . . . . . . . . . . . . 7
1.5.2 the symptoms of Coronavirus, COVID-19 . . . . . . . . . . . . . . 7
1.6 Pleural effusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.6.1 Definition of Pleural effusion . . . . . . . . . . . . . . . . . . . . . 8
1.6.2 the symptoms of Pleural effusion . . . . . . . . . . . . . . . . . . . 8
1.7 pneumothorax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.7.1 Definition of pneumothorax . . . . . . . . . . . . . . . . . . . . . . 8
1.7.2 the symptoms of pneumothorax . . . . . . . . . . . . . . . . . . . . 9
1.8 Pleural thickening . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.8.1 Definition of Pleural thickening . . . . . . . . . . . . . . . . . . . . 9
1.8.2 the symptoms of Pleural thickening . . . . . . . . . . . . . . . . . 10
1.9 Pneumonia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.9.1 Definition of Pneumonia . . . . . . . . . . . . . . . . . . . . . . . . 10
1.9.2 the symptoms of pneumonia . . . . . . . . . . . . . . . . . . . . . 11
1.10 Emphysema . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.10.1 Definition of Emphysema . . . . . . . . . . . . . . . . . . . . . . . 11
1.10.2 the symptoms of Emphysema . . . . . . . . . . . . . . . . . . . . . 12
1.11 X-rays . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.11.1 Understanding the Mechanism of Medical X-rays . . . . . . . . . . 12
1.11.2 Applications of Medical X-rays . . . . . . . . . . . . . . . . . . . . 12
1.11.2.1 Diagnostic . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.11.2.2 Therapeutic . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.12 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2 STATE OF THE ART AND RELATED WORKS 15
2.1 Artificial Intelligence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.2 Machine Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.2.1 The Importance of Machine Learning . . . . . . . . . . . . . . . . 16
2.2.2 How Does Machine Learning Work? . . . . . . . . . . . . . . . . . . 16
2.2.2.1 Data collection . . . . . . . . . . . . . . . . . . . . . . . . 17
2.2.2.2 Data preprocessing . . . . . . . . . . . . . . . . . . . . . 17
2.2.2.3 Choosing the right model . . . . . . . . . . . . . . . . . . 17
2.2.2.4 Training the model . . . . . . . . . . . . . . . . . . . . . 18
2.2.2.5 Evaluating the model . . . . . . . . . . . . . . . . . . . . 18
2.2.2.6 Hyperparameter tuning and optimization . . . . . . . . . 18
2.2.2.7 Predictions and deployment . . . . . . . . . . . . . . . . . 18
2.2.3 Machine Learning Types . . . . . . . . . . . . . . . . . . . . . . . . 18
2.2.3.1 Supervised learning . . . . . . . . . . . . . . . . . . . . . . 18
2.2.3.2 Unsupervised Learning . . . . . . . . . . . . . . . . . . . . 19
2.3 Deep Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.3.1 Key Elements of Deep Learning . . . . . . . . . . . . . . . . . . . . 20
2.3.1.1 neural network . . . . . . . . . . . . . . . . . . . . . . . . 20
2.3.1.2 layers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.3.1.3 Optimization . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.3.1.4 Regularization . . . . . . . . . . . . . . . . . . . . . . . . 22
2.3.1.5 Model parameters . . . . . . . . . . . . . . . . . . . . . . 22
2.3.1.6 Activation Function . . . . . . . . . . . . . . . . . . . . . 23
2.3.1.7 Backpropagation . . . . . . . . . . . . . . . . . . . . . . 25
2.3.2 Convolutional Neural Network (CNN) . . . . . . . . . . . . . . . . 26
2.3.2.1 Convolutional Layer . . . . . . . . . . . . . . . . . . . . 27
2.3.2.2 Padding . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.3.2.3 Pooling Layer . . . . . . . . . . . . . . . . . . . . . . . . 29
2.3.2.4 Limitations of Convolutional neural networks (CNNs) . . 30
2.3.2.5 Related Works using cnn . . . . . . . . . . . . . . . . . . 31
2.3.3 Transfer Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.3.3.1 Understanding How Transfer Learning Works . . . . . . 32
2.3.3.2 The Benefits of Using Transfer Learning . . . . . . . . . 33
2.3.3.3 ResNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.4 Zero-Shot Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.4.1 Zero-Shot Learning (ZSL) Key Takeaways . . . . . . . . . . . . . . 36
2.4.2 Types of Zero-Shot Learning . . . . . . . . . . . . . . . . . . . . . . 36
2.4.3 Basic Architecture of Zero-Shot Learning . . . . . . . . . . . . . . . 38
2.4.4 How Does Zero-shot Learning Work? . . . . . . . . . . . . . . . . . 39
2.4.5 Evaluating Zero-Shot Learning (ZSL) models . . . . . . . . . . . . . 40
2.4.6 Challenges of Zero-Shot Learning (ZSL) models . . . . . . . . . . . 40
2.4.7 Applications of Zero-Shot Learning (ZSL) . . . . . . . . . . . . . . 42
2.5 CLIP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
2.5.1 How Does CLIP Work? . . . . . . . . . . . . . . . . . . . . . . . . . 42
2.5.2 CLIP Architecture explained . . . . . . . . . . . . . . . . . . . . . . 42
2.5.3 The CLIP training architecture . . . . . . . . . . . . . . . . . . . . 44
2.5.4 Integration Between Natural Language and Image Processing . . . 45
2.5.5 Zero-Shot Image Classification . . . . . . . . . . . . . . . . . . . . 46
2.5.6 CLIP Limitations and Challenges . . . . . . . . . . . . . . . . . . . 47
2.6 MED-CLIP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
2.6.1 Baselines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
2.6.2 Related Works using medclip . . . . . . . . . . . . . . . . . . . . . 49
2.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3 Dataset and Implementation Tools 50
3.1 Dataset Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.1.1 Dataset Grouping . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.2 Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.3 Data Augmentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.4 Implementation Frameworks and Tools . . . . . . . . . . . . . . . . . . . . 51
3.4.1 Python . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.4.2 Tensorflow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.4.3 Sickit-learn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.4.4 Matplotlib . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.4.5 NumPy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.4.6 Pandas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.4.7 PyTorch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.4.8 MedClip . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.4.9 Jupyter notebooks . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.4.10 Google Colab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.4.11 Kaggle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.5 Model Evaluation Metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.5.1 Accuracy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.5.2 Recall . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.5.3 Precision . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.5.4 F1-Score . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.6 Confusion Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
4 Experiments and Results 57
4.1 Chest Classification Approaches . . . . . . . . . . . . . . . . . . . . . . . . 57
4.2 Deep learning approaches . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
4.2.1 Convolution Neural Network (CNN) . . . . . . . . . . . . . . . . . 57
4.2.2 Zero Shot Learning Approachs . . . . . . . . . . . . . . . . . . . . 62
4.2.2.1 MedClip Model . . . . . . . . . . . . . . . . . . . . . . . 63
4.2.2.2 Our Model . . . . . . . . . . . . . . . . . . . . . . . . . . 63
4.3 Results comparisons and summary . . . . . . . . . . . . . . . . . . . . . . 64
4.3.1 Hyperparameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
4.3.2 Summarized Models . . . . . . . . . . . . . . . . . . . . . . . . . . 64 |
| Côte titre : |
MAI/0888 |
|
Ajouter le résultat dans votre panier Affiner la rechercheAdvancing Medical Image Classification with Generalized Zero Shot Learning / takoua el djalil Ben laribi
