|
| Titre : |
Hyper-parameter Tuning of the U-Net Architecture for Enhanced Detection of Small Organs in CT Images |
| Type de document : |
document électronique |
| Auteurs : |
Raned Chaaraoui, Auteur ; Kidar,Halima Saadia, Directeur de thèse |
| Editeur : |
Setif:UFA |
| Année de publication : |
2025 |
| Importance : |
1 vol (48 f.) |
| Format : |
29 cm |
| Langues : |
Anglais (eng) |
| Catégories : |
Thèses & Mémoires:Physique
|
| Mots-clés : |
Physique |
| Index. décimale : |
530 - Physique |
| Résumé : |
Accurate segmentation of small organs in medical imaging plays a critical role in
diagnosis, treatment planning, and clinical decision support. However, segmenting structures
such as the thyroid or optic nerve remains a significant challenge due to their small size, low
contrast, and anatomical variability.
Recent advances in deep learning (DL), particularly convolutional neural networks
(CNN) like U-Net, have opened new possibilities in biomedical image segmentation. These
models have demonstrated strong potential, but their success depends heavily on the careful
tuning of training parameters such as the learning rate, number of epochs, and batch settings.
In this work, a U-Net architecture was applied to segment small organs, with a focus
on optimizing performance through hyperparameter tuning and evaluating results using the
Dice coefficient. While encouraging results were obtained for the thyroid, highlighting the
model’s ability to perform precise segmentation, the optic nerve posed greater difficulties. Its
tiny size and weak visual boundaries made it harder for the model to generalize effectively.
These observations suggest that, beyond standard training adjustments, more advanced
methods, including custom loss functions, attention mechanisms, or multiscale feature
extraction, may be essential to improve segmentation of very small anatomical structures. |
| Note de contenu : |
Contents
Acknowledgments i
Summary i
List of figures vii
List of tables ix
List of abbreviations x
Introduction 1
1 Background on Small Organs Detection 3
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2 Small Organs Detection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.1 Role of Multi-Modality Imaging . . . . . . . . . . . . . . . . . . . . . 4
1.2.2 Challenges in Detecting Small Organs . . . . . . . . . . . . . . . . . . 5
1.2.3 Clinical Importance of Small Organ Detection . . . . . . . . . . . . . 6
1.3 Traditional Methods for Organs Detection . . . . . . . . . . . . . . . . . . . 6
1.4 Deep Learning for Organs Detection . . . . . . . . . . . . . . . . . . . . . . . 7
1.4.1 Overview of Deep Learning . . . . . . . . . . . . . . . . . . . . . . . 7
1.4.2 Used architectures . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.4.2.1 Convolutional Neural Networks (CNNs) . . . . . . . . . . . 7
1.4.2.2 U-Net architecture . . . . . . . . . . . . . . . . . . . . . . . 10
1.4.3 Challenges . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.4.3.1 Sensitivity to hyper-parameters . . . . . . . . . . . . . . . . 11
1.4.3.2 Sensitivity to class imbalance . . . . . . . . . . . . . . . . . 11
1.4.3.3 Sensitivity to limited data . . . . . . . . . . . . . . . . . . . 12
1.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2 Hyper-parameters in Deep Learning 13
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.2 U-Net Architecture and its Adaptations . . . . . . . . . . . . . . . . . . . . . 14
2.2.1 Resolution-Maintenance Deep Supervision (RM-DS) . . . . . . . . . . 14
2.2.2 Interactive-Cross Attention (IC-A) Module . . . . . . . . . . . . . . . 15
2.3 Hyper-parameters in Deep Learning . . . . . . . . . . . . . . . . . . . . . . . 15
2.3.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.3.2 Role of Hyper-Parameters in Model Performance . . . . . . . . . . . 15
2.3.3 Key hyper-parameters in U-Net . . . . . . . . . . . . . . . . . . . . . 16
2.4 Hyper-parameter Tuning Techniques . . . . . . . . . . . . . . . . . . . . . . 17
2.4.1 Grid Search Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.4.2 Bayesian Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.4.3 Genetic Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.5 Evaluation Metrics for Hyper-Parameter Tuning . . . . . . . . . . . . . . . . 18
2.5.1 Dice Similarity Coefficient (DSC) . . . . . . . . . . . . . . . . . . . . 18
2.5.2 Jaccard Index (Intersection over Union, IoU) . . . . . . . . . . . . . . 18
2.5.3 Hausdorff Distance (HD) . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
3 Materials and Methods 20
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
3.2 Dataset Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
3.3 Used materials . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.3.1 Preprocessing Tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.3.1.1 Slicer 3D . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.3.2 Implementation tools . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3.3.2.1 Paython . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3.3.2.2 kaggle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3.4 Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.4.1 Image Pre-Processing . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.4.1.1 Downloading Required Libraries on Kaggle : . . . . . . . . . 23
3.4.1.2 Importing Images into Kaggle : . . . . . . . . . . . . . . . . 23
3.4.1.3 Resizing and Normalization : . . . . . . . . . . . . . . . . . 24
3.4.1.4 Dataset Splitting Strategy : . . . . . . . . . . . . . . . . . . 24
3.4.2 Suggested Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . 24
3.4.3 Hyper-Parameter Tuning . . . . . . . . . . . . . . . . . . . . . . . . . 25
4 Results and Discussion 26
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
4.2 Segmentation of the Thyroid . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
4.2.1 Training Curve Analysis . . . . . . . . . . . . . . . . . . . . . . . . . 27
4.2.1.1 Effect of Learning Rate : . . . . . . . . . . . . . . . . . . . . 27
4.2.1.2 Effect of Number of Epochs : . . . . . . . . . . . . . . . . . 28
4.2.1.3 Effect of Steps per Epoch : . . . . . . . . . . . . . . . . . . 29
4.2.2 Qualitative Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . 30
4.2.2.1 Effect of Learning Rate : . . . . . . . . . . . . . . . . . . . . 30
4.2.2.2 Effect of Number of Epochs : . . . . . . . . . . . . . . . . . 32
4.2.2.3 Effect of Steps per Epoch : . . . . . . . . . . . . . . . . . . 33
4.2.3 Quantitative Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . 35
4.2.3.1 Effect of Learning Rate : . . . . . . . . . . . . . . . . . . . . 35
4.2.3.2 Effect of Number of Epochs : . . . . . . . . . . . . . . . . . 35
4.2.3.3 Effect of Steps per Epoch : . . . . . . . . . . . . . . . . . . 36
4.3 Segmentation of the Optic Nerve . . . . . . . . . . . . . . . . . . . . . . . . 36
4.3.1 Training Curve Analysis . . . . . . . . . . . . . . . . . . . . . . . . . 36
4.3.1.1 Effect of Learning Rate : . . . . . . . . . . . . . . . . . . . . 36
4.3.1.2 Effect of Number of Epochs : . . . . . . . . . . . . . . . . . 37
4.3.1.3 Effect of Steps per Epoch : . . . . . . . . . . . . . . . . . . 38
4.3.2 Qualitative Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . 39
4.3.2.1 Effect of Learning Rate : . . . . . . . . . . . . . . . . . . . . 39
4.3.2.2 Effect of Number of Epochs : . . . . . . . . . . . . . . . . . 41
4.3.2.3 Effect of Steps per Epoch : . . . . . . . . . . . . . . . . . . 42
4.3.3 Quantitative Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . 43
4.3.3.1 Effect of Learning Rate : . . . . . . . . . . . . . . . . . . . . 43
4.3.3.2 Effect of Number of Epochs : . . . . . . . . . . . . . . . . . 43
4.3.3.3 Effect of Steps per Epoch : . . . . . . . . . . . . . . . . . . 44
4.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
Bibliography 47 |
| Côte titre : |
MAPH/0669 |
Hyper-parameter Tuning of the U-Net Architecture for Enhanced Detection of Small Organs in CT Images [document électronique] / Raned Chaaraoui, Auteur ; Kidar,Halima Saadia, Directeur de thèse . - [S.l.] : Setif:UFA, 2025 . - 1 vol (48 f.) ; 29 cm. Langues : Anglais ( eng)
| Catégories : |
Thèses & Mémoires:Physique
|
| Mots-clés : |
Physique |
| Index. décimale : |
530 - Physique |
| Résumé : |
Accurate segmentation of small organs in medical imaging plays a critical role in
diagnosis, treatment planning, and clinical decision support. However, segmenting structures
such as the thyroid or optic nerve remains a significant challenge due to their small size, low
contrast, and anatomical variability.
Recent advances in deep learning (DL), particularly convolutional neural networks
(CNN) like U-Net, have opened new possibilities in biomedical image segmentation. These
models have demonstrated strong potential, but their success depends heavily on the careful
tuning of training parameters such as the learning rate, number of epochs, and batch settings.
In this work, a U-Net architecture was applied to segment small organs, with a focus
on optimizing performance through hyperparameter tuning and evaluating results using the
Dice coefficient. While encouraging results were obtained for the thyroid, highlighting the
model’s ability to perform precise segmentation, the optic nerve posed greater difficulties. Its
tiny size and weak visual boundaries made it harder for the model to generalize effectively.
These observations suggest that, beyond standard training adjustments, more advanced
methods, including custom loss functions, attention mechanisms, or multiscale feature
extraction, may be essential to improve segmentation of very small anatomical structures. |
| Note de contenu : |
Contents
Acknowledgments i
Summary i
List of figures vii
List of tables ix
List of abbreviations x
Introduction 1
1 Background on Small Organs Detection 3
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2 Small Organs Detection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.1 Role of Multi-Modality Imaging . . . . . . . . . . . . . . . . . . . . . 4
1.2.2 Challenges in Detecting Small Organs . . . . . . . . . . . . . . . . . . 5
1.2.3 Clinical Importance of Small Organ Detection . . . . . . . . . . . . . 6
1.3 Traditional Methods for Organs Detection . . . . . . . . . . . . . . . . . . . 6
1.4 Deep Learning for Organs Detection . . . . . . . . . . . . . . . . . . . . . . . 7
1.4.1 Overview of Deep Learning . . . . . . . . . . . . . . . . . . . . . . . 7
1.4.2 Used architectures . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.4.2.1 Convolutional Neural Networks (CNNs) . . . . . . . . . . . 7
1.4.2.2 U-Net architecture . . . . . . . . . . . . . . . . . . . . . . . 10
1.4.3 Challenges . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.4.3.1 Sensitivity to hyper-parameters . . . . . . . . . . . . . . . . 11
1.4.3.2 Sensitivity to class imbalance . . . . . . . . . . . . . . . . . 11
1.4.3.3 Sensitivity to limited data . . . . . . . . . . . . . . . . . . . 12
1.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2 Hyper-parameters in Deep Learning 13
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.2 U-Net Architecture and its Adaptations . . . . . . . . . . . . . . . . . . . . . 14
2.2.1 Resolution-Maintenance Deep Supervision (RM-DS) . . . . . . . . . . 14
2.2.2 Interactive-Cross Attention (IC-A) Module . . . . . . . . . . . . . . . 15
2.3 Hyper-parameters in Deep Learning . . . . . . . . . . . . . . . . . . . . . . . 15
2.3.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.3.2 Role of Hyper-Parameters in Model Performance . . . . . . . . . . . 15
2.3.3 Key hyper-parameters in U-Net . . . . . . . . . . . . . . . . . . . . . 16
2.4 Hyper-parameter Tuning Techniques . . . . . . . . . . . . . . . . . . . . . . 17
2.4.1 Grid Search Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.4.2 Bayesian Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.4.3 Genetic Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.5 Evaluation Metrics for Hyper-Parameter Tuning . . . . . . . . . . . . . . . . 18
2.5.1 Dice Similarity Coefficient (DSC) . . . . . . . . . . . . . . . . . . . . 18
2.5.2 Jaccard Index (Intersection over Union, IoU) . . . . . . . . . . . . . . 18
2.5.3 Hausdorff Distance (HD) . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
3 Materials and Methods 20
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
3.2 Dataset Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
3.3 Used materials . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.3.1 Preprocessing Tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.3.1.1 Slicer 3D . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.3.2 Implementation tools . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3.3.2.1 Paython . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3.3.2.2 kaggle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3.4 Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.4.1 Image Pre-Processing . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.4.1.1 Downloading Required Libraries on Kaggle : . . . . . . . . . 23
3.4.1.2 Importing Images into Kaggle : . . . . . . . . . . . . . . . . 23
3.4.1.3 Resizing and Normalization : . . . . . . . . . . . . . . . . . 24
3.4.1.4 Dataset Splitting Strategy : . . . . . . . . . . . . . . . . . . 24
3.4.2 Suggested Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . 24
3.4.3 Hyper-Parameter Tuning . . . . . . . . . . . . . . . . . . . . . . . . . 25
4 Results and Discussion 26
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
4.2 Segmentation of the Thyroid . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
4.2.1 Training Curve Analysis . . . . . . . . . . . . . . . . . . . . . . . . . 27
4.2.1.1 Effect of Learning Rate : . . . . . . . . . . . . . . . . . . . . 27
4.2.1.2 Effect of Number of Epochs : . . . . . . . . . . . . . . . . . 28
4.2.1.3 Effect of Steps per Epoch : . . . . . . . . . . . . . . . . . . 29
4.2.2 Qualitative Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . 30
4.2.2.1 Effect of Learning Rate : . . . . . . . . . . . . . . . . . . . . 30
4.2.2.2 Effect of Number of Epochs : . . . . . . . . . . . . . . . . . 32
4.2.2.3 Effect of Steps per Epoch : . . . . . . . . . . . . . . . . . . 33
4.2.3 Quantitative Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . 35
4.2.3.1 Effect of Learning Rate : . . . . . . . . . . . . . . . . . . . . 35
4.2.3.2 Effect of Number of Epochs : . . . . . . . . . . . . . . . . . 35
4.2.3.3 Effect of Steps per Epoch : . . . . . . . . . . . . . . . . . . 36
4.3 Segmentation of the Optic Nerve . . . . . . . . . . . . . . . . . . . . . . . . 36
4.3.1 Training Curve Analysis . . . . . . . . . . . . . . . . . . . . . . . . . 36
4.3.1.1 Effect of Learning Rate : . . . . . . . . . . . . . . . . . . . . 36
4.3.1.2 Effect of Number of Epochs : . . . . . . . . . . . . . . . . . 37
4.3.1.3 Effect of Steps per Epoch : . . . . . . . . . . . . . . . . . . 38
4.3.2 Qualitative Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . 39
4.3.2.1 Effect of Learning Rate : . . . . . . . . . . . . . . . . . . . . 39
4.3.2.2 Effect of Number of Epochs : . . . . . . . . . . . . . . . . . 41
4.3.2.3 Effect of Steps per Epoch : . . . . . . . . . . . . . . . . . . 42
4.3.3 Quantitative Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . 43
4.3.3.1 Effect of Learning Rate : . . . . . . . . . . . . . . . . . . . . 43
4.3.3.2 Effect of Number of Epochs : . . . . . . . . . . . . . . . . . 43
4.3.3.3 Effect of Steps per Epoch : . . . . . . . . . . . . . . . . . . 44
4.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
Bibliography 47 |
| Côte titre : |
MAPH/0669 |
|
Ajouter le résultat dans votre panier Affiner la rechercheHyper-parameter Tuning of the U-Net Architecture for Enhanced Detection of Small Organs in CT Images / Raned Chaaraoui
