|
| Titre : |
Fusion de données multimodales pour l’apprentissage automatique : Application au diagnostic médical |
| Type de document : |
texte imprimé |
| Auteurs : |
Boukellouz,Wafa, Auteur ; Moussaoui ,Abdelouahab, Directeur de thèse |
| Editeur : |
Setif:UFA |
| Année de publication : |
2019 |
| Importance : |
1 vol (140 f .) |
| Format : |
29 cm |
| Langues : |
Français (fre) |
| Catégories : |
Thèses & Mémoires:Informatique
|
| Mots-clés : |
Data fusion
Machine learning
Medical images
Computed
Tomography
Magnetic resonance imaging |
| Index. décimale : |
004 - Informatique |
| Résumé : |
Nowadays, information about a phenomenon can be acquired using various modalities; and
this led to the emergence of the concept of multi-modal data fusion. In fact, one of the application
domains that strongly relies on multi-modal data acquisition is radiation therapy (RT)
in which computed tomography (CT) imaging and magnetic resonance imaging (MRI) are the
main modalities employed. The latter offers superior soft-tissue visualisation, hence it is used
for tumour contouring, whereas the former contains the necessary electron density information
for radiation dose computation. However, the pipeline of RT treatment planning presents
many flaws from which is the excessive radiation exposure due to repetitive CT acquisitions.
Recently, an idea to remediate for this main limitation and others has emerged; it consists in
synthesising a CT image called pseudo-CT (pCT) from MRI images.
In this dissertation, we aim to meet this objective by analysing existing work and proposing
two variants of pCT image estimation methods employing multi-modal data fusion and machine
learning. The first approach is designated hybrid; and combines image registration, unsupervised
learning, image fusion and a new Hounsfield Unit (HU) values correction technique. This
approach aims to predict a pCT image from T2-weighted MR images while attempting to reduce
prediction error by using information from MR images. The second approach employs
multi-modal shape, texture and spatial feature extraction, reduction and fusion of T1-weighted
and T2-weighted MR images. In addition, we designed an ensemble learning model with stacked
generalisation that builds a mapping from these features to HU values over two levels of learning.
Results showed a significant improvement achieved by the proposed methods. |
| Note de contenu : |
Sommaire
Abstract i
Table of Contents iv
List of Figures vii
List of Tables x
List of Abbreviations xii
Introduction 1
I Backgrounds and literature review 5
1 Machine learning and data fusion concepts 6
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2 Machine learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.3 Building a machine learning model . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3.1 Data preparation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3.2 Choice of the learning algorithm . . . . . . . . . . . . . . . . . . . . . . . 10
1.3.3 Training step . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.3.4 Evaluation step . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.3.5 Parameters tuning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.3.6 Prediction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.4 Machine learning algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.4.1 Multiple linear regression (MLR) . . . . . . . . . . . . . . . . . . . . . . 12
1.4.2 K-nearest neighbours (kNN) . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.4.3 Fuzzy c-means (FCM) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.4.4 K-means . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
iv
CONTENTS
1.4.5 Naive Bayes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.4.6 Linear discriminant analysis (LDA) . . . . . . . . . . . . . . . . . . . . . 14
1.4.7 Decision trees . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.4.8 Support vector machines (SVM) . . . . . . . . . . . . . . . . . . . . . . . 16
1.4.9 Artificial neural networks (ANN) . . . . . . . . . . . . . . . . . . . . . . 17
1.5 Ensemble methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.5.1 Building an ensemble model . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.5.2 Ensemble-based algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.5.2.1 Bootstrap aggregating . . . . . . . . . . . . . . . . . . . . . . . 20
1.5.2.2 Boosting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.5.2.3 Stacked generalisation . . . . . . . . . . . . . . . . . . . . . . . 21
1.6 Data Fusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.6.1 Data fusion levels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
1.6.2 Data aspects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
1.6.3 Data fusion techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
1.6.3.1 Probabilistic fusion . . . . . . . . . . . . . . . . . . . . . . . . . 25
1.6.3.2 Evidential belief reasoning . . . . . . . . . . . . . . . . . . . . 25
1.6.3.3 Fuzzy reasoning . . . . . . . . . . . . . . . . . . . . . . . . . . 26
1.6.3.4 Possibilitic fusion . . . . . . . . . . . . . . . . . . . . . . . . . . 27
1.6.3.5 Statistical fusion . . . . . . . . . . . . . . . . . . . . . . . . . . 27
1.7 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2 Clinical background and medical concepts 29
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.2 Medical imaging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.2.1 Medical image components . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.2.2 Computed tomography imaging . . . . . . . . . . . . . . . . . . . . . . . 32
2.2.3 Magnetic resonance imaging . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.3 Medical image registration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.4 Radiation therapy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.4.1 Limitations of radiation therapy treatment planning . . . . . . . . . . . . 43
2.4.2 Toward MRI-only RT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
2.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3 Literature review on methods for pCT image synthesis from MRI 46
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
v
CONTENTS
3.2 Evaluation measures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.2.1 Statistical evaluation measures . . . . . . . . . . . . . . . . . . . . . . . . 47
3.2.2 Dosimetric evaluation measures . . . . . . . . . . . . . . . . . . . . . . . 50
3.3 MRI-CT image data availability . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.4 Classification of pCT image generation methods . . . . . . . . . . . . . . . . . . 51
3.4.1 Segmentation-based methods . . . . . . . . . . . . . . . . . . . . . . . . 51
3.4.2 Atlas-based methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.4.3 Learning-based methods . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.4.4 Hybrid methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
3.5 Comparative Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
3.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
II Proposed approaches for pCT image synthesis from MRI data 74
4 A hybrid method for pCT image estimation 75
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.2 Assessing the impact of similarity measure choice on deformable image registration 76
4.2.1 Data and pre-processing . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
4.2.2 Similarity measure based mono-modal deformable image registration . . 76
4.2.3 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
4.2.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
4.3 Proposed hybrid approach for pCT image estimation, correction and fusion . . . 83
4.3.1 MRI and CT data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
4.3.2 Data pre-processing and atlas database construction . . . . . . . . . . . 86
4.3.3 pCT image generation process . . . . . . . . . . . . . . . . . . . . . . . . 86
4.3.3.1 Deformable image registration . . . . . . . . . . . . . . . . . . 87
4.3.3.2 Unsupervised Fuzzy C-means clustering . . . . . . . . . . . . . 87
4.3.3.3 Hybrid HU values correction . . . . . . . . . . . . . . . . . . . 88
4.3.3.4 pCT images generated through atlas fusion . . . . . . . . . . . 89
4.3.4 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
4.3.5 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
4.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
5 Ensemble learning with stacked generalisation for pCT image estimation 106
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
5.2 Data description and pre-processing . . . . . . . . . . . . . . . . . . . . . . . . 108
vi
CONTENTS
5.3 Patch-based multi-modal feature extraction . . . . . . . . . . . . . . . . . . . . 109
5.4 Building the ensemble model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
5.4.1 Base learners training . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
5.4.2 Stacked generalisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
5.4.3 pCT images generated using random forests . . . . . . . . . . . . . . . . 113
5.5 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
5.6 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
5.7 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
Conclusion and perspectives 124
List of included publications 127
Bibliography 127
Appendices i
Appendix A. Image pre-processing . . . . . . . . . . . . . . . . . . . . . . . . . . i
vii |
| Côte titre : |
DI/0044 |
| En ligne : |
https://drive.google.com/file/d/1_AicejxjkTjcla11Ln-Ihrv5_nXBjdwC/view?usp=shari [...] |
| Format de la ressource électronique : |
pdf |
Fusion de données multimodales pour l’apprentissage automatique : Application au diagnostic médical [texte imprimé] / Boukellouz,Wafa, Auteur ; Moussaoui ,Abdelouahab, Directeur de thèse . - [S.l.] : Setif:UFA, 2019 . - 1 vol (140 f .) ; 29 cm. Langues : Français ( fre)
| Catégories : |
Thèses & Mémoires:Informatique
|
| Mots-clés : |
Data fusion
Machine learning
Medical images
Computed
Tomography
Magnetic resonance imaging |
| Index. décimale : |
004 - Informatique |
| Résumé : |
Nowadays, information about a phenomenon can be acquired using various modalities; and
this led to the emergence of the concept of multi-modal data fusion. In fact, one of the application
domains that strongly relies on multi-modal data acquisition is radiation therapy (RT)
in which computed tomography (CT) imaging and magnetic resonance imaging (MRI) are the
main modalities employed. The latter offers superior soft-tissue visualisation, hence it is used
for tumour contouring, whereas the former contains the necessary electron density information
for radiation dose computation. However, the pipeline of RT treatment planning presents
many flaws from which is the excessive radiation exposure due to repetitive CT acquisitions.
Recently, an idea to remediate for this main limitation and others has emerged; it consists in
synthesising a CT image called pseudo-CT (pCT) from MRI images.
In this dissertation, we aim to meet this objective by analysing existing work and proposing
two variants of pCT image estimation methods employing multi-modal data fusion and machine
learning. The first approach is designated hybrid; and combines image registration, unsupervised
learning, image fusion and a new Hounsfield Unit (HU) values correction technique. This
approach aims to predict a pCT image from T2-weighted MR images while attempting to reduce
prediction error by using information from MR images. The second approach employs
multi-modal shape, texture and spatial feature extraction, reduction and fusion of T1-weighted
and T2-weighted MR images. In addition, we designed an ensemble learning model with stacked
generalisation that builds a mapping from these features to HU values over two levels of learning.
Results showed a significant improvement achieved by the proposed methods. |
| Note de contenu : |
Sommaire
Abstract i
Table of Contents iv
List of Figures vii
List of Tables x
List of Abbreviations xii
Introduction 1
I Backgrounds and literature review 5
1 Machine learning and data fusion concepts 6
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2 Machine learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.3 Building a machine learning model . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3.1 Data preparation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3.2 Choice of the learning algorithm . . . . . . . . . . . . . . . . . . . . . . . 10
1.3.3 Training step . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.3.4 Evaluation step . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.3.5 Parameters tuning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.3.6 Prediction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.4 Machine learning algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.4.1 Multiple linear regression (MLR) . . . . . . . . . . . . . . . . . . . . . . 12
1.4.2 K-nearest neighbours (kNN) . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.4.3 Fuzzy c-means (FCM) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.4.4 K-means . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
iv
CONTENTS
1.4.5 Naive Bayes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.4.6 Linear discriminant analysis (LDA) . . . . . . . . . . . . . . . . . . . . . 14
1.4.7 Decision trees . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.4.8 Support vector machines (SVM) . . . . . . . . . . . . . . . . . . . . . . . 16
1.4.9 Artificial neural networks (ANN) . . . . . . . . . . . . . . . . . . . . . . 17
1.5 Ensemble methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.5.1 Building an ensemble model . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.5.2 Ensemble-based algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.5.2.1 Bootstrap aggregating . . . . . . . . . . . . . . . . . . . . . . . 20
1.5.2.2 Boosting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.5.2.3 Stacked generalisation . . . . . . . . . . . . . . . . . . . . . . . 21
1.6 Data Fusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.6.1 Data fusion levels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
1.6.2 Data aspects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
1.6.3 Data fusion techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
1.6.3.1 Probabilistic fusion . . . . . . . . . . . . . . . . . . . . . . . . . 25
1.6.3.2 Evidential belief reasoning . . . . . . . . . . . . . . . . . . . . 25
1.6.3.3 Fuzzy reasoning . . . . . . . . . . . . . . . . . . . . . . . . . . 26
1.6.3.4 Possibilitic fusion . . . . . . . . . . . . . . . . . . . . . . . . . . 27
1.6.3.5 Statistical fusion . . . . . . . . . . . . . . . . . . . . . . . . . . 27
1.7 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2 Clinical background and medical concepts 29
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.2 Medical imaging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.2.1 Medical image components . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.2.2 Computed tomography imaging . . . . . . . . . . . . . . . . . . . . . . . 32
2.2.3 Magnetic resonance imaging . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.3 Medical image registration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.4 Radiation therapy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.4.1 Limitations of radiation therapy treatment planning . . . . . . . . . . . . 43
2.4.2 Toward MRI-only RT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
2.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3 Literature review on methods for pCT image synthesis from MRI 46
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
v
CONTENTS
3.2 Evaluation measures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.2.1 Statistical evaluation measures . . . . . . . . . . . . . . . . . . . . . . . . 47
3.2.2 Dosimetric evaluation measures . . . . . . . . . . . . . . . . . . . . . . . 50
3.3 MRI-CT image data availability . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.4 Classification of pCT image generation methods . . . . . . . . . . . . . . . . . . 51
3.4.1 Segmentation-based methods . . . . . . . . . . . . . . . . . . . . . . . . 51
3.4.2 Atlas-based methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.4.3 Learning-based methods . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.4.4 Hybrid methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
3.5 Comparative Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
3.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
II Proposed approaches for pCT image synthesis from MRI data 74
4 A hybrid method for pCT image estimation 75
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.2 Assessing the impact of similarity measure choice on deformable image registration 76
4.2.1 Data and pre-processing . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
4.2.2 Similarity measure based mono-modal deformable image registration . . 76
4.2.3 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
4.2.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
4.3 Proposed hybrid approach for pCT image estimation, correction and fusion . . . 83
4.3.1 MRI and CT data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
4.3.2 Data pre-processing and atlas database construction . . . . . . . . . . . 86
4.3.3 pCT image generation process . . . . . . . . . . . . . . . . . . . . . . . . 86
4.3.3.1 Deformable image registration . . . . . . . . . . . . . . . . . . 87
4.3.3.2 Unsupervised Fuzzy C-means clustering . . . . . . . . . . . . . 87
4.3.3.3 Hybrid HU values correction . . . . . . . . . . . . . . . . . . . 88
4.3.3.4 pCT images generated through atlas fusion . . . . . . . . . . . 89
4.3.4 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
4.3.5 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
4.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
5 Ensemble learning with stacked generalisation for pCT image estimation 106
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
5.2 Data description and pre-processing . . . . . . . . . . . . . . . . . . . . . . . . 108
vi
CONTENTS
5.3 Patch-based multi-modal feature extraction . . . . . . . . . . . . . . . . . . . . 109
5.4 Building the ensemble model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
5.4.1 Base learners training . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
5.4.2 Stacked generalisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
5.4.3 pCT images generated using random forests . . . . . . . . . . . . . . . . 113
5.5 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
5.6 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
5.7 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
Conclusion and perspectives 124
List of included publications 127
Bibliography 127
Appendices i
Appendix A. Image pre-processing . . . . . . . . . . . . . . . . . . . . . . . . . . i
vii |
| Côte titre : |
DI/0044 |
| En ligne : |
https://drive.google.com/file/d/1_AicejxjkTjcla11Ln-Ihrv5_nXBjdwC/view?usp=shari [...] |
| Format de la ressource électronique : |
pdf |
|
Fusion de données multimodales pour l’apprentissage automatique
