University Sétif 1 FERHAT ABBAS Faculty of Sciences
Détail de l'éditeur
Setif:UFA |
Documents disponibles chez cet éditeur
![](./images/expand_all.gif)
![](./images/collapse_all.gif)
Titre : A Deep Learning Approach for recommender systems of pedagogical resources Type de document : texte imprimé Auteurs : GhedjatIi,Oussama, Auteur ; Mediani,Chahrazed, Directeur de thèse Editeur : Setif:UFA Année de publication : 2020 Importance : 1 vol (64 f .) Format : 29 cm Langues : Français (fre) Catégories : Thèses & Mémoires:Informatique Mots-clés : System de recommendation
Apprentissage profond
Ressources p´edagogiquesIndex. décimale : 004 - Informatique Résumé :
Les syst`emes de recommandation fournissent une solution au probl`eme de la surcharge d’informations.
Dans cette th`ese, nous avons pr´esent´e un syst`eme de recommandation pour les ressources
p´edagogiques bas´e sur l’apprentissage profond. Dans notre travail, le syst`eme construit adapte
une m´ethode hybride de trois approches principales (filtrage bas´e sur la popularit´e, bas´e sur
le contenu, et filtrage collaboratif), o`u nous avions inclus quelques techniques d’apprentissage
profond pour permettre au syst`eme de mieux comprendre la s´emantique des ressources p´edagogiques
dans une approche bas´ee sur le contenu, et pour ´eviter certaines lacunes de l’approche de
filtrage collaborative existante, cependant, une approche bas´ee sur la popularit´e est utilis´ee pour
fournir aux nouveaux utilisateurs des recommandations. L’hybridation de toutes ces techniques
et approches permet au syst`eme d’am´eliorer la pr´ecision de la recommandation et de mieux
r´epondre aux besoins des utilisateurs. Les premiers tests de notre syst`eme donnent des r´esultats
encourageants.Côte titre : MAI/0398 En ligne : https://drive.google.com/file/d/1Ios3Gpi0C-C5jOnBIRZOoELx6F7NlbfR/view?usp=shari [...] Format de la ressource électronique : A Deep Learning Approach for recommender systems of pedagogical resources [texte imprimé] / GhedjatIi,Oussama, Auteur ; Mediani,Chahrazed, Directeur de thèse . - [S.l.] : Setif:UFA, 2020 . - 1 vol (64 f .) ; 29 cm.
Langues : Français (fre)
Catégories : Thèses & Mémoires:Informatique Mots-clés : System de recommendation
Apprentissage profond
Ressources p´edagogiquesIndex. décimale : 004 - Informatique Résumé :
Les syst`emes de recommandation fournissent une solution au probl`eme de la surcharge d’informations.
Dans cette th`ese, nous avons pr´esent´e un syst`eme de recommandation pour les ressources
p´edagogiques bas´e sur l’apprentissage profond. Dans notre travail, le syst`eme construit adapte
une m´ethode hybride de trois approches principales (filtrage bas´e sur la popularit´e, bas´e sur
le contenu, et filtrage collaboratif), o`u nous avions inclus quelques techniques d’apprentissage
profond pour permettre au syst`eme de mieux comprendre la s´emantique des ressources p´edagogiques
dans une approche bas´ee sur le contenu, et pour ´eviter certaines lacunes de l’approche de
filtrage collaborative existante, cependant, une approche bas´ee sur la popularit´e est utilis´ee pour
fournir aux nouveaux utilisateurs des recommandations. L’hybridation de toutes ces techniques
et approches permet au syst`eme d’am´eliorer la pr´ecision de la recommandation et de mieux
r´epondre aux besoins des utilisateurs. Les premiers tests de notre syst`eme donnent des r´esultats
encourageants.Côte titre : MAI/0398 En ligne : https://drive.google.com/file/d/1Ios3Gpi0C-C5jOnBIRZOoELx6F7NlbfR/view?usp=shari [...] Format de la ressource électronique : Exemplaires (1)
Code-barres Cote Support Localisation Section Disponibilité MAI/0398 MAI/0398 Mémoire Bibliothéque des sciences Anglais Disponible
Disponible
Titre : Deep Learning based method for features selection of Gene Expression Data Type de document : texte imprimé Auteurs : Kerkour ,Ibtissem, Auteur ; Mekroud,Noureddine, Directeur de thèse Editeur : Setif:UFA Année de publication : 2021 Importance : 1 vol (97 f .) Format : 29 cm Langues : Français (fre) Catégories : Thèses & Mémoires:Informatique Mots-clés : Informatique Index. décimale : 004 - Informatique Résumé :
From the real mode, biological data is one of the most studied data. Given the vital importance of the knowledge hidden in these very large and heterogeneous databases, the need to analyze them through automatic and rational processing has given rise to a new line of research: bioinformatics.
The development of the embryo of a few model species is monitored by image sequences representing the genetic expression areas of each gene during the embryo growth phases. These images hide a lot of crucial and unknown knowledge that will help biologists to follow and understand the stages of development of living things, and to study the impact of gene expressions in each phase. But, the volume of these data still remains an obstacle for their study and understanding, and the reduction of their size and a persistent challenge.
Reliable reduction in the dimensions of the data studied will reduce the complexity of any training algorithms used, and help improve the quality of presentation and visualization of the results obtained. Autoencoders extract the most influential characteristics, which can then be used in a machine learning algorithm to extract relevant knowledge using fewer variables and with fewer parameters.
In this perspective, the objective of our approach is the extraction, via a proposed convolutional auto-encoder model, of a compressed number of attributes from the gene expression image sequences of the model species. Edinburgh Mouse, to then look for rules of association between the genes that are expressed during the developmental phases of the embryo of this species. A representation and validation of the results, as well as a biological interpretation of the extracted knowledge, will then be provided, which will help biologists to understand the stages of development of the embryo of living species.Côte titre : MAI/0532 En ligne : https://drive.google.com/file/d/1TQ1Ihxm3lc9PmoUqbkN2va0mewdnRW7C/view?usp=shari [...] Format de la ressource électronique : Deep Learning based method for features selection of Gene Expression Data [texte imprimé] / Kerkour ,Ibtissem, Auteur ; Mekroud,Noureddine, Directeur de thèse . - [S.l.] : Setif:UFA, 2021 . - 1 vol (97 f .) ; 29 cm.
Langues : Français (fre)
Catégories : Thèses & Mémoires:Informatique Mots-clés : Informatique Index. décimale : 004 - Informatique Résumé :
From the real mode, biological data is one of the most studied data. Given the vital importance of the knowledge hidden in these very large and heterogeneous databases, the need to analyze them through automatic and rational processing has given rise to a new line of research: bioinformatics.
The development of the embryo of a few model species is monitored by image sequences representing the genetic expression areas of each gene during the embryo growth phases. These images hide a lot of crucial and unknown knowledge that will help biologists to follow and understand the stages of development of living things, and to study the impact of gene expressions in each phase. But, the volume of these data still remains an obstacle for their study and understanding, and the reduction of their size and a persistent challenge.
Reliable reduction in the dimensions of the data studied will reduce the complexity of any training algorithms used, and help improve the quality of presentation and visualization of the results obtained. Autoencoders extract the most influential characteristics, which can then be used in a machine learning algorithm to extract relevant knowledge using fewer variables and with fewer parameters.
In this perspective, the objective of our approach is the extraction, via a proposed convolutional auto-encoder model, of a compressed number of attributes from the gene expression image sequences of the model species. Edinburgh Mouse, to then look for rules of association between the genes that are expressed during the developmental phases of the embryo of this species. A representation and validation of the results, as well as a biological interpretation of the extracted knowledge, will then be provided, which will help biologists to understand the stages of development of the embryo of living species.Côte titre : MAI/0532 En ligne : https://drive.google.com/file/d/1TQ1Ihxm3lc9PmoUqbkN2va0mewdnRW7C/view?usp=shari [...] Format de la ressource électronique : Exemplaires (1)
Code-barres Cote Support Localisation Section Disponibilité MAI/0532 MAI/0532 Mémoire Bibliothéque des sciences Anglais Disponible
Disponible
Titre : Deep Learning based Recommendation Systems for Big Data Type de document : texte imprimé Auteurs : Boughazi ,Chaima, Auteur ; Toumi,Lyazid, Directeur de thèse Editeur : Setif:UFA Année de publication : 2020 Importance : 1 vol (58 f .) Format : 29 cm Langues : Français (fre) Catégories : Thèses & Mémoires:Informatique Mots-clés : Informatique Index. décimale : 004 - Informatique Côte titre : MAI/0350 En ligne : https://drive.google.com/file/d/1PYiMbW1DnDSUKCCFpDoLEZamRNxwBMfb/view?usp=shari [...] Format de la ressource électronique : Deep Learning based Recommendation Systems for Big Data [texte imprimé] / Boughazi ,Chaima, Auteur ; Toumi,Lyazid, Directeur de thèse . - [S.l.] : Setif:UFA, 2020 . - 1 vol (58 f .) ; 29 cm.
Langues : Français (fre)
Catégories : Thèses & Mémoires:Informatique Mots-clés : Informatique Index. décimale : 004 - Informatique Côte titre : MAI/0350 En ligne : https://drive.google.com/file/d/1PYiMbW1DnDSUKCCFpDoLEZamRNxwBMfb/view?usp=shari [...] Format de la ressource électronique : Exemplaires (1)
Code-barres Cote Support Localisation Section Disponibilité MAI/0350 MAI/0350 Mémoire Bibliothéque des sciences Anglais Disponible
Disponible
Titre : Deep Learning for Age, Gender and Race Identification based on Face Recognition Type de document : texte imprimé Auteurs : Hamdi ,Skander, Auteur ; Moussaoui ,Abdelouahab, Directeur de thèse Editeur : Setif:UFA Année de publication : 2019 Importance : 1 vol (71 f .) Format : 29 cm Langues : Français (fre) Catégories : Thèses & Mémoires:Informatique Mots-clés : Machine learning
Convolutional neural n
Recognition
Feature extraction
Tensorflow
KerasIndex. décimale : 004 - Informatique Résumé : Ce mémoire de master présente un systéme basé sur une approche d’apprentissage
profond Réseau de Neurones Convolutif (CNN). L’objectif du travail est de prédire
automatiquement, l’age, le genre et la race à partir d’une image faciale d’une personne.
Notre approche à été testée est verifiée en utilisant la base de données
publique UTKFace qui contient plus de 20.000 images de différentes personnes.
Cette base de données est composée d’enfants, adolescents, adults pour la classe
d’age, mâle, femelle pour le genre et blanc, noir, asiatique, indien, autres pour la
race. On a fait une étude comparative entre différentes approches d’apprentissage
automatique et apprentissage profond et les résultats ont montrés que l’approche
profonde avec CNN a donné les meilleures résultats de teste.Note de contenu : Sommaire
Theoritical Background 3
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Machine learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2.1 Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.1.1 Arthur Samuel . . . . . . . . . . . . . . . . . . . . . 4
1.2.1.2 Tom M. Mitchell . . . . . . . . . . . . . . . . . . . . 4
1.2.1.3 Alan Turing . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.2 Machine learning categories . . . . . . . . . . . . . . . . . . . 4
1.2.2.1 Supervised learning . . . . . . . . . . . . . . . . . . 5
1.2.2.2 Unsupervised learning . . . . . . . . . . . . . . . . 6
1.2.2.3 Semi-supervised learning . . . . . . . . . . . . . . . 6
1.2.2.4 Reinforcement learning . . . . . . . . . . . . . . . . 6
1.2.3 Popular Machine learning algorithms . . . . . . . . . . . . . 7
1.2.3.1 k-Nearest Neighbors (kNN) . . . . . . . . . . . . . 7
1.2.3.2 Decision Trees . . . . . . . . . . . . . . . . . . . . . 8
1.2.3.3 Logistic Regression . . . . . . . . . . . . . . . . . . 9
1.2.3.4 Support Vector Machines . . . . . . . . . . . . . . . 10
1.2.3.5 Artificial Neural Networks . . . . . . . . . . . . . . 13
1.2.3.6 Random Forest . . . . . . . . . . . . . . . . . . . . . 19
1.2.4 Evaluation metrics . . . . . . . . . . . . . . . . . . . . . . . . 20
1.2.5 Overfitting and Underfitting . . . . . . . . . . . . . . . . . . 21
1.2.5.1 Overfitting . . . . . . . . . . . . . . . . . . . . . . . 21
1.2.5.2 Underfitting . . . . . . . . . . . . . . . . . . . . . . 21
1.3 Deep learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.3.1 Definition and Concept . . . . . . . . . . . . . . . . . . . . . 21
1.3.2 Deep learning architectures . . . . . . . . . . . . . . . . . . . 22
1.3.2.1 Deep Neural Networks (DNN) . . . . . . . . . . . 22
1.3.2.2 Convolutional Neural Networks . . . . . . . . . . . 23
Contents 3
1.3.2.3 Recurrent Neural Networks . . . . . . . . . . . . . 27
1.3.3 Neural Networks and overfitting . . . . . . . . . . . . . . . . 28
1.3.3.1 Dropout . . . . . . . . . . . . . . . . . . . . . . . . . 28
1.3.3.2 Batch Normalization . . . . . . . . . . . . . . . . . 28
1.3.4 Deep learning applications . . . . . . . . . . . . . . . . . . . 28
1.3.4.1 Image Recognition . . . . . . . . . . . . . . . . . . . 29
1.3.4.2 Audio Processing . . . . . . . . . . . . . . . . . . . 29
1.3.4.3 Natural Language Processing . . . . . . . . . . . . 30
1.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2 Literature Review 31
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.2 Face Recognition and Feature Extraction . . . . . . . . . . . . . . . . 31
2.2.1 Human Face Feature Points . . . . . . . . . . . . . . . . . . . 31
2.2.2 Feature Extraction Methods . . . . . . . . . . . . . . . . . . . 32
2.2.2.1 Principal Component Analysis . . . . . . . . . . . . 33
2.2.2.2 Kernel Principal Component Analysis . . . . . . . 34
2.2.2.3 Linear Discriminate Analysis . . . . . . . . . . . . . 35
2.3 Related works . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2.3.1 Age Estimation and Classification . . . . . . . . . . . . . . . 36
2.3.2 Gender Classification . . . . . . . . . . . . . . . . . . . . . . . 38
2.3.3 Ethnicity Classification . . . . . . . . . . . . . . . . . . . . . . 39
2.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3 Methodology and Experiments 42
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.2 Dataset and Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . 42
3.2.1 Dataset Description . . . . . . . . . . . . . . . . . . . . . . . . 42
3.2.2 Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.3 Development environment . . . . . . . . . . . . . . . . . . . . . . . . 45
3.3.1 Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.3.1.1 Python . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.3.1.2 NumPy . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.3.1.3 Jupyter Notebook . . . . . . . . . . . . . . . . . . . 46
3.3.1.4 Scikit-Learn . . . . . . . . . . . . . . . . . . . . . . . 46
3.3.1.5 Matplotlib . . . . . . . . . . . . . . . . . . . . . . . 46
Contents 4
3.3.1.6 Tensorflow . . . . . . . . . . . . . . . . . . . . . . . 47
3.3.1.7 Keras . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.3.2 Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.3.2.1 Google Colaboratory Cloud . . . . . . . . . . . . . 47
3.3.2.2 Kaggle Kernel Cloud . . . . . . . . . . . . . . . . . 48
3.4 Methodology and Experiments Results . . . . . . . . . . . . . . . . 48
3.4.1 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.4.2 Proposed Methods . . . . . . . . . . . . . . . . . . . . . . . . 48
3.4.2.1 Support Vector Machines (SVM) . . . . . . . . . . . 48
3.4.2.2 Random Forest . . . . . . . . . . . . . . . . . . . . . 49
3.4.2.3 Artificial Neural Network (Single Layer Perceptron
SLP) . . . . . . . . . . . . . . . . . . . . . . . . 49
3.4.2.4 Artificial Neural Network (Multi-Layer Perceptron
MLP) . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.4.2.5 Transfer Learning . . . . . . . . . . . . . . . . . . . 49
3.4.2.6 Convolutional Neural Network . . . . . . . . . . . 52
3.4.3 Experiments Results . . . . . . . . . . . . . . . . . . . . . . . 53
3.4.3.1 Support Vector Machines (SVM) . . . . . . . . . . . 54
3.4.3.2 Random Forest . . . . . . . . . . . . . . . . . . . . . 54
3.4.3.3 Artificial Neural Network (Single Layer Perceptron
SLP) . . . . . . . . . . . . . . . . . . . . . . . . 54
3.4.3.4 Artificial Neural Network (Multi-Layer Perceptron
MLP) . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.4.3.5 Transfer Learning . . . . . . . . . . . . . . . . . . . 57
3.4.3.6 Convolutional Neural Network . . . . . . . . . . . 61
Discussion 68
Conclusion 70
Bibliography 71Côte titre : MAI/0287 En ligne : https://drive.google.com/file/d/1sc20Stq3cwCDecar4ArShHzSaNJKTe36/view?usp=shari [...] Format de la ressource électronique : Deep Learning for Age, Gender and Race Identification based on Face Recognition [texte imprimé] / Hamdi ,Skander, Auteur ; Moussaoui ,Abdelouahab, Directeur de thèse . - [S.l.] : Setif:UFA, 2019 . - 1 vol (71 f .) ; 29 cm.
Langues : Français (fre)
Catégories : Thèses & Mémoires:Informatique Mots-clés : Machine learning
Convolutional neural n
Recognition
Feature extraction
Tensorflow
KerasIndex. décimale : 004 - Informatique Résumé : Ce mémoire de master présente un systéme basé sur une approche d’apprentissage
profond Réseau de Neurones Convolutif (CNN). L’objectif du travail est de prédire
automatiquement, l’age, le genre et la race à partir d’une image faciale d’une personne.
Notre approche à été testée est verifiée en utilisant la base de données
publique UTKFace qui contient plus de 20.000 images de différentes personnes.
Cette base de données est composée d’enfants, adolescents, adults pour la classe
d’age, mâle, femelle pour le genre et blanc, noir, asiatique, indien, autres pour la
race. On a fait une étude comparative entre différentes approches d’apprentissage
automatique et apprentissage profond et les résultats ont montrés que l’approche
profonde avec CNN a donné les meilleures résultats de teste.Note de contenu : Sommaire
Theoritical Background 3
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Machine learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2.1 Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.1.1 Arthur Samuel . . . . . . . . . . . . . . . . . . . . . 4
1.2.1.2 Tom M. Mitchell . . . . . . . . . . . . . . . . . . . . 4
1.2.1.3 Alan Turing . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.2 Machine learning categories . . . . . . . . . . . . . . . . . . . 4
1.2.2.1 Supervised learning . . . . . . . . . . . . . . . . . . 5
1.2.2.2 Unsupervised learning . . . . . . . . . . . . . . . . 6
1.2.2.3 Semi-supervised learning . . . . . . . . . . . . . . . 6
1.2.2.4 Reinforcement learning . . . . . . . . . . . . . . . . 6
1.2.3 Popular Machine learning algorithms . . . . . . . . . . . . . 7
1.2.3.1 k-Nearest Neighbors (kNN) . . . . . . . . . . . . . 7
1.2.3.2 Decision Trees . . . . . . . . . . . . . . . . . . . . . 8
1.2.3.3 Logistic Regression . . . . . . . . . . . . . . . . . . 9
1.2.3.4 Support Vector Machines . . . . . . . . . . . . . . . 10
1.2.3.5 Artificial Neural Networks . . . . . . . . . . . . . . 13
1.2.3.6 Random Forest . . . . . . . . . . . . . . . . . . . . . 19
1.2.4 Evaluation metrics . . . . . . . . . . . . . . . . . . . . . . . . 20
1.2.5 Overfitting and Underfitting . . . . . . . . . . . . . . . . . . 21
1.2.5.1 Overfitting . . . . . . . . . . . . . . . . . . . . . . . 21
1.2.5.2 Underfitting . . . . . . . . . . . . . . . . . . . . . . 21
1.3 Deep learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.3.1 Definition and Concept . . . . . . . . . . . . . . . . . . . . . 21
1.3.2 Deep learning architectures . . . . . . . . . . . . . . . . . . . 22
1.3.2.1 Deep Neural Networks (DNN) . . . . . . . . . . . 22
1.3.2.2 Convolutional Neural Networks . . . . . . . . . . . 23
Contents 3
1.3.2.3 Recurrent Neural Networks . . . . . . . . . . . . . 27
1.3.3 Neural Networks and overfitting . . . . . . . . . . . . . . . . 28
1.3.3.1 Dropout . . . . . . . . . . . . . . . . . . . . . . . . . 28
1.3.3.2 Batch Normalization . . . . . . . . . . . . . . . . . 28
1.3.4 Deep learning applications . . . . . . . . . . . . . . . . . . . 28
1.3.4.1 Image Recognition . . . . . . . . . . . . . . . . . . . 29
1.3.4.2 Audio Processing . . . . . . . . . . . . . . . . . . . 29
1.3.4.3 Natural Language Processing . . . . . . . . . . . . 30
1.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2 Literature Review 31
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.2 Face Recognition and Feature Extraction . . . . . . . . . . . . . . . . 31
2.2.1 Human Face Feature Points . . . . . . . . . . . . . . . . . . . 31
2.2.2 Feature Extraction Methods . . . . . . . . . . . . . . . . . . . 32
2.2.2.1 Principal Component Analysis . . . . . . . . . . . . 33
2.2.2.2 Kernel Principal Component Analysis . . . . . . . 34
2.2.2.3 Linear Discriminate Analysis . . . . . . . . . . . . . 35
2.3 Related works . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2.3.1 Age Estimation and Classification . . . . . . . . . . . . . . . 36
2.3.2 Gender Classification . . . . . . . . . . . . . . . . . . . . . . . 38
2.3.3 Ethnicity Classification . . . . . . . . . . . . . . . . . . . . . . 39
2.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3 Methodology and Experiments 42
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.2 Dataset and Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . 42
3.2.1 Dataset Description . . . . . . . . . . . . . . . . . . . . . . . . 42
3.2.2 Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.3 Development environment . . . . . . . . . . . . . . . . . . . . . . . . 45
3.3.1 Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.3.1.1 Python . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.3.1.2 NumPy . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.3.1.3 Jupyter Notebook . . . . . . . . . . . . . . . . . . . 46
3.3.1.4 Scikit-Learn . . . . . . . . . . . . . . . . . . . . . . . 46
3.3.1.5 Matplotlib . . . . . . . . . . . . . . . . . . . . . . . 46
Contents 4
3.3.1.6 Tensorflow . . . . . . . . . . . . . . . . . . . . . . . 47
3.3.1.7 Keras . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.3.2 Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.3.2.1 Google Colaboratory Cloud . . . . . . . . . . . . . 47
3.3.2.2 Kaggle Kernel Cloud . . . . . . . . . . . . . . . . . 48
3.4 Methodology and Experiments Results . . . . . . . . . . . . . . . . 48
3.4.1 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.4.2 Proposed Methods . . . . . . . . . . . . . . . . . . . . . . . . 48
3.4.2.1 Support Vector Machines (SVM) . . . . . . . . . . . 48
3.4.2.2 Random Forest . . . . . . . . . . . . . . . . . . . . . 49
3.4.2.3 Artificial Neural Network (Single Layer Perceptron
SLP) . . . . . . . . . . . . . . . . . . . . . . . . 49
3.4.2.4 Artificial Neural Network (Multi-Layer Perceptron
MLP) . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.4.2.5 Transfer Learning . . . . . . . . . . . . . . . . . . . 49
3.4.2.6 Convolutional Neural Network . . . . . . . . . . . 52
3.4.3 Experiments Results . . . . . . . . . . . . . . . . . . . . . . . 53
3.4.3.1 Support Vector Machines (SVM) . . . . . . . . . . . 54
3.4.3.2 Random Forest . . . . . . . . . . . . . . . . . . . . . 54
3.4.3.3 Artificial Neural Network (Single Layer Perceptron
SLP) . . . . . . . . . . . . . . . . . . . . . . . . 54
3.4.3.4 Artificial Neural Network (Multi-Layer Perceptron
MLP) . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.4.3.5 Transfer Learning . . . . . . . . . . . . . . . . . . . 57
3.4.3.6 Convolutional Neural Network . . . . . . . . . . . 61
Discussion 68
Conclusion 70
Bibliography 71Côte titre : MAI/0287 En ligne : https://drive.google.com/file/d/1sc20Stq3cwCDecar4ArShHzSaNJKTe36/view?usp=shari [...] Format de la ressource électronique : Exemplaires (1)
Code-barres Cote Support Localisation Section Disponibilité MAI/0287 MAI/0287 Mémoire Bibliothéque des sciences Français Disponible
Disponible
Titre : Deep learning for identifying and classifying retinal diseases Type de document : texte imprimé Auteurs : Berrimi,Mohamed, Auteur ; Moussaoui ,Abdelouahab, Directeur de thèse Editeur : Setif:UFA Année de publication : 2019 Importance : 1 vol (78 f .) Format : 29 cm Langues : Français (fre) Catégories : Thèses & Mémoires:Informatique Mots-clés : Réseaux neuronaux convolutionnels
Imagerie médicale
Apprentissage
ProfondIndex. décimale : 004 Informatique Résumé : La classification est une utilisation particulière de l’apprentissage automatique et
l’apprentissage profond. Dans cette thèse, nous allons proposer un nouveau modèle
de classification basé sur l’apprentissage profond, capable de classer et d’identifier les
différentes maladies rétiniennes à des stades précoces avec une grande précision qui
surpassent l’état de l’artf, les travaux précédents, ainsi que les diagnostics des experts
en ophtalmologie. La vision et la santé des yeux sont l’une des choses les plus cruciales
de la vie humaine, il faut la préserver pour maintenir la vie des individus. Les maladies
des yeux telles que CNV, DRUSEN, AMD, DME sont principalement dues aux lésions
de la rétine. Comme elle est endommagée et diagnostiquée à un stade avancé, il n’y a
pratiquement aucune chance de renverser la vision et de la guérir, ce qui signifie que
le patient va perdre la capacité de voir partiellement, et peut être entièrement. Nous
proposons ici trois architectures de réseaux de neurones convolutionnels profonds et
ajusté trois modèles pré-entraînés formés sur de grands ensembles de données tels
que Inception, VGG-16 et ResNET. Afin d’évaluer notre modèle, nous avons comparé le
diagnostic de 7 experts à la performance de notre modèle. Notre modèle proposé surpasse
le diagnostic de 6 experts sur 7, ainsi que les travaux publiés précédemment utilisant les
mêmes données, où nous avons obtenu une précision allant jusqu’à 99,27%.
Cet outil peut en fin de compte aider à accélérer le diagnostic et l’orientation de ces
affections traitables, facilitant ainsi un traitement plus précoce, entraînant de meilleurs
résultats cliniques.Note de contenu : Sommaire
List of Tables ix
List of Figures xi
1 Retinal pathologies and scanning devices 4
1.1 Fundus photography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2 OCT scanning in medical imaging . . . . . . . . . . . . . . . . . . . . . . . . 5
1.2.1 SD-OCT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2.2 A-scan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2.3 B-scan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.3 Retinal pathologies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.3.1 DME . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3.2 AMD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3.3 DRUSEN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3.4 CNV . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2 State of the art and related works 9
2.1 Machine learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.1.1 Machine learning concepts . . . . . . . . . . . . . . . . . . . . . . . . 10
2.1.1.1 Splitting data . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.1.1.2 Underfitting and overfitting . . . . . . . . . . . . . . . . . . 10
2.1.1.3 Regularization . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.1.1.4 Model validation . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.1.1.5 Bootstrap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.1.2 Supervised learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.1.2.1 kNN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
v
TABLE OF CONTENTS
2.1.2.2 Decision trees . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.1.2.3 Logistic regression . . . . . . . . . . . . . . . . . . . . . . . 14
2.1.2.4 SVM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.1.2.5 Boosting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1.2.6 Bagging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.1.3 Unsupervised learning . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.2 Deep Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.2.1 Feedforward Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.2.2 Layers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.2.2.1 Input layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.2.2.2 Hidden layer . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.2.2.3 Output layer . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.2.2.4 Full connected layers (Dense layers ) . . . . . . . . . . . . 22
2.2.3 Backpropagation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.2.4 Optimization in deep learning . . . . . . . . . . . . . . . . . . . . . . 23
2.2.4.1 Gradient Descent Optimizer . . . . . . . . . . . . . . . . . . 23
2.2.4.2 Stochastic gradient descent , Mini batch gradient descent 23
2.2.4.3 Adam . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.2.4.4 RMSprop optimizer . . . . . . . . . . . . . . . . . . . . . . 24
2.2.5 Regularization for Deep Learning . . . . . . . . . . . . . . . . . . . . 25
2.2.5.1 Dropout . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.2.5.2 Batch Normalization . . . . . . . . . . . . . . . . . . . . . . 25
2.2.5.3 Early stopping . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.2.5.4 Data augmentation . . . . . . . . . . . . . . . . . . . . . . . 26
2.2.6 Model parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2.6.1 learning rate . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2.6.2 epoch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2.6.3 Batch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2.6.4 Batch size . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2.6.5 loss functions . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2.6.6 Activation functions . . . . . . . . . . . . . . . . . . . . . . . 28
2.3 Convolutional neural network . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.3.1 Convolution layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.3.1.1 Convolution operation . . . . . . . . . . . . . . . . . . . . . 30
2.3.1.2 Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
vi
TABLE OF CONTENTS
2.3.2 Pooling layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.3.3 Padding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.4 Transfer learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.4.1 Transfer learning versus traditional learning . . . . . . . . . . . . . 33
2.4.2 ImageNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.4.3 pre trained model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.4.3.1 AlexNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.4.3.2 VGG-16 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.4.3.3 Inception . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.4.3.4 ResNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.4.4 Fine Tuning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.4.5 Related work using deep learning . . . . . . . . . . . . . . . . . . . . 35
2.4.6 Related works summarized . . . . . . . . . . . . . . . . . . . . . . . . 38
2.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3 Dataset and implimentation tools 40
3.1 Dataset description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.2 Dataset pre-processing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.3 Implementation frameworks and tools . . . . . . . . . . . . . . . . . . . . . 44
3.3.1 Python . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.3.2 Sickit-learn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.3.3 Tensorflow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.3.4 Keras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.3.5 Jupyter notebooks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.3.6 Google Colab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.3.7 Kaggle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.4 model evaluation metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.4.1 Accuracy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.4.2 Precision . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.4.3 Recal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.4.4 F1-score . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.4.5 Confusion matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.5 Proposed approaches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.5.1 Machine learning approaches . . . . . . . . . . . . . . . . . . . . . . . 49
3.5.2 Deep learning approaches . . . . . . . . . . . . . . . . . . . . . . . . . 49
vii
TABLE OF CONTENTS
3.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
4 Experiments and results 51
4.1 Machine learning approaches . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
4.1.1 Decision trees classifier . . . . . . . . . . . . . . . . . . . . . . . . . . 51
4.1.2 XGBOOST classifier . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.1.3 Artificial neural networks . . . . . . . . . . . . . . . . . . . . . . . . 52
4.1.4 Machine learning algorithms results . . . . . . . . . . . . . . . . . . 52
4.1.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.2 Deep learning approaches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.2.1 Convolution neural networks . . . . . . . . . . . . . . . . . . . . . . . 53
4.2.1.1 First CNN architecture . . . . . . . . . . . . . . . . . . . . . 53
4.2.1.2 Second CNN Architecture . . . . . . . . . . . . . . . . . . 54
4.2.1.3 Model and architecture interpretation . . . . . . . . . . . 55
4.2.1.4 Model Compiling . . . . . . . . . . . . . . . . . . . . . . . . 56
4.2.1.5 Deep CNN architecture . . . . . . . . . . . . . . . . . . . . 59
4.2.1.6 experiments on balanced dataset . . . . . . . . . . . . . . . 59
4.2.2 Pretrained models ( Transfer learning ) . . . . . . . . . . . . . . . . 60
4.2.2.1 VGG-16 pretrained model . . . . . . . . . . . . . . . . . . . 60
4.2.2.2 Modified version of VGG16 model . . . . . . . . . . . . . . 61
4.2.2.3 ResNet pretrained Model . . . . . . . . . . . . . . . . . . . 62
4.2.2.4 Inception V3 pretrained model . . . . . . . . . . . . . . . . 62
4.3 Results comparisons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.4 Comparative study with the diagnosis of OCT experts . . . . . . . . . . . . 66
4.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
Bibliography 70Côte titre : MAI/0280 En ligne : https://drive.google.com/file/d/1UpUMVLQmBXPaiBVaCN0Oi2mkhUbj0GeW/view?usp=shari [...] Format de la ressource électronique : Deep learning for identifying and classifying retinal diseases [texte imprimé] / Berrimi,Mohamed, Auteur ; Moussaoui ,Abdelouahab, Directeur de thèse . - [S.l.] : Setif:UFA, 2019 . - 1 vol (78 f .) ; 29 cm.
Langues : Français (fre)
Catégories : Thèses & Mémoires:Informatique Mots-clés : Réseaux neuronaux convolutionnels
Imagerie médicale
Apprentissage
ProfondIndex. décimale : 004 Informatique Résumé : La classification est une utilisation particulière de l’apprentissage automatique et
l’apprentissage profond. Dans cette thèse, nous allons proposer un nouveau modèle
de classification basé sur l’apprentissage profond, capable de classer et d’identifier les
différentes maladies rétiniennes à des stades précoces avec une grande précision qui
surpassent l’état de l’artf, les travaux précédents, ainsi que les diagnostics des experts
en ophtalmologie. La vision et la santé des yeux sont l’une des choses les plus cruciales
de la vie humaine, il faut la préserver pour maintenir la vie des individus. Les maladies
des yeux telles que CNV, DRUSEN, AMD, DME sont principalement dues aux lésions
de la rétine. Comme elle est endommagée et diagnostiquée à un stade avancé, il n’y a
pratiquement aucune chance de renverser la vision et de la guérir, ce qui signifie que
le patient va perdre la capacité de voir partiellement, et peut être entièrement. Nous
proposons ici trois architectures de réseaux de neurones convolutionnels profonds et
ajusté trois modèles pré-entraînés formés sur de grands ensembles de données tels
que Inception, VGG-16 et ResNET. Afin d’évaluer notre modèle, nous avons comparé le
diagnostic de 7 experts à la performance de notre modèle. Notre modèle proposé surpasse
le diagnostic de 6 experts sur 7, ainsi que les travaux publiés précédemment utilisant les
mêmes données, où nous avons obtenu une précision allant jusqu’à 99,27%.
Cet outil peut en fin de compte aider à accélérer le diagnostic et l’orientation de ces
affections traitables, facilitant ainsi un traitement plus précoce, entraînant de meilleurs
résultats cliniques.Note de contenu : Sommaire
List of Tables ix
List of Figures xi
1 Retinal pathologies and scanning devices 4
1.1 Fundus photography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2 OCT scanning in medical imaging . . . . . . . . . . . . . . . . . . . . . . . . 5
1.2.1 SD-OCT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2.2 A-scan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2.3 B-scan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.3 Retinal pathologies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.3.1 DME . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3.2 AMD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3.3 DRUSEN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3.4 CNV . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2 State of the art and related works 9
2.1 Machine learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.1.1 Machine learning concepts . . . . . . . . . . . . . . . . . . . . . . . . 10
2.1.1.1 Splitting data . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.1.1.2 Underfitting and overfitting . . . . . . . . . . . . . . . . . . 10
2.1.1.3 Regularization . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.1.1.4 Model validation . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.1.1.5 Bootstrap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.1.2 Supervised learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.1.2.1 kNN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
v
TABLE OF CONTENTS
2.1.2.2 Decision trees . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.1.2.3 Logistic regression . . . . . . . . . . . . . . . . . . . . . . . 14
2.1.2.4 SVM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.1.2.5 Boosting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1.2.6 Bagging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.1.3 Unsupervised learning . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.2 Deep Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.2.1 Feedforward Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.2.2 Layers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.2.2.1 Input layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.2.2.2 Hidden layer . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.2.2.3 Output layer . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.2.2.4 Full connected layers (Dense layers ) . . . . . . . . . . . . 22
2.2.3 Backpropagation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.2.4 Optimization in deep learning . . . . . . . . . . . . . . . . . . . . . . 23
2.2.4.1 Gradient Descent Optimizer . . . . . . . . . . . . . . . . . . 23
2.2.4.2 Stochastic gradient descent , Mini batch gradient descent 23
2.2.4.3 Adam . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.2.4.4 RMSprop optimizer . . . . . . . . . . . . . . . . . . . . . . 24
2.2.5 Regularization for Deep Learning . . . . . . . . . . . . . . . . . . . . 25
2.2.5.1 Dropout . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.2.5.2 Batch Normalization . . . . . . . . . . . . . . . . . . . . . . 25
2.2.5.3 Early stopping . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.2.5.4 Data augmentation . . . . . . . . . . . . . . . . . . . . . . . 26
2.2.6 Model parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2.6.1 learning rate . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2.6.2 epoch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2.6.3 Batch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2.6.4 Batch size . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2.6.5 loss functions . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2.6.6 Activation functions . . . . . . . . . . . . . . . . . . . . . . . 28
2.3 Convolutional neural network . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.3.1 Convolution layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.3.1.1 Convolution operation . . . . . . . . . . . . . . . . . . . . . 30
2.3.1.2 Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
vi
TABLE OF CONTENTS
2.3.2 Pooling layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.3.3 Padding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.4 Transfer learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.4.1 Transfer learning versus traditional learning . . . . . . . . . . . . . 33
2.4.2 ImageNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.4.3 pre trained model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.4.3.1 AlexNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.4.3.2 VGG-16 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.4.3.3 Inception . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.4.3.4 ResNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.4.4 Fine Tuning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.4.5 Related work using deep learning . . . . . . . . . . . . . . . . . . . . 35
2.4.6 Related works summarized . . . . . . . . . . . . . . . . . . . . . . . . 38
2.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3 Dataset and implimentation tools 40
3.1 Dataset description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.2 Dataset pre-processing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.3 Implementation frameworks and tools . . . . . . . . . . . . . . . . . . . . . 44
3.3.1 Python . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.3.2 Sickit-learn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.3.3 Tensorflow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.3.4 Keras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.3.5 Jupyter notebooks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.3.6 Google Colab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.3.7 Kaggle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.4 model evaluation metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.4.1 Accuracy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.4.2 Precision . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.4.3 Recal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.4.4 F1-score . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.4.5 Confusion matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.5 Proposed approaches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.5.1 Machine learning approaches . . . . . . . . . . . . . . . . . . . . . . . 49
3.5.2 Deep learning approaches . . . . . . . . . . . . . . . . . . . . . . . . . 49
vii
TABLE OF CONTENTS
3.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
4 Experiments and results 51
4.1 Machine learning approaches . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
4.1.1 Decision trees classifier . . . . . . . . . . . . . . . . . . . . . . . . . . 51
4.1.2 XGBOOST classifier . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.1.3 Artificial neural networks . . . . . . . . . . . . . . . . . . . . . . . . 52
4.1.4 Machine learning algorithms results . . . . . . . . . . . . . . . . . . 52
4.1.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.2 Deep learning approaches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.2.1 Convolution neural networks . . . . . . . . . . . . . . . . . . . . . . . 53
4.2.1.1 First CNN architecture . . . . . . . . . . . . . . . . . . . . . 53
4.2.1.2 Second CNN Architecture . . . . . . . . . . . . . . . . . . 54
4.2.1.3 Model and architecture interpretation . . . . . . . . . . . 55
4.2.1.4 Model Compiling . . . . . . . . . . . . . . . . . . . . . . . . 56
4.2.1.5 Deep CNN architecture . . . . . . . . . . . . . . . . . . . . 59
4.2.1.6 experiments on balanced dataset . . . . . . . . . . . . . . . 59
4.2.2 Pretrained models ( Transfer learning ) . . . . . . . . . . . . . . . . 60
4.2.2.1 VGG-16 pretrained model . . . . . . . . . . . . . . . . . . . 60
4.2.2.2 Modified version of VGG16 model . . . . . . . . . . . . . . 61
4.2.2.3 ResNet pretrained Model . . . . . . . . . . . . . . . . . . . 62
4.2.2.4 Inception V3 pretrained model . . . . . . . . . . . . . . . . 62
4.3 Results comparisons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.4 Comparative study with the diagnosis of OCT experts . . . . . . . . . . . . 66
4.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
Bibliography 70Côte titre : MAI/0280 En ligne : https://drive.google.com/file/d/1UpUMVLQmBXPaiBVaCN0Oi2mkhUbj0GeW/view?usp=shari [...] Format de la ressource électronique : Exemplaires (1)
Code-barres Cote Support Localisation Section Disponibilité MAI/0280 MAI/0280 Mémoire Bibliothéque des sciences Français Disponible
DisponiblePermalinkPermalinkDeep learning for the recognition and classification of different postures and behaviors of vehicle drivers / Hamitouche,Ilyes
![]()
PermalinkPermalinkA deep learning Method for analyzing the spread of information in online social networks / Douadi,hasna
PermalinkPermalinkPermalinkPermalinkPermalinkPermalink