University Sétif 1 FERHAT ABBAS Faculty of Sciences
Catégories
Ajouter le résultat dans votre panier Affiner la recherche
Titre : Deep Learning Based Sentiment Analysis of Movie Reviews Type de document : texte imprimé Auteurs : Akram Djidel, Auteur ; Islam Djemmal, Auteur ; Allaoua Refoufi, Directeur de thèse Année de publication : 2022 Importance : 1 vol (77 f .) Format : 29cm Langues : Français (fre) Catégories : Thèses & Mémoires:Informatique Mots-clés : Informatique Index. décimale : 004 Informatique Résumé : As a result of the advent of social media, there is a huge quantity of data and opinions that are exchanged. For building opinion mining systems, sentiment analysis has become important. It uses reviews and tweets to try to know how people feel about a certain product, film, or issue. In the field of sentiment analysis, several previous research using various neural network architectures have been published. In this work study, we used the Convolutional Neural Network (CNN) and Bidirectional Long Short-Term Memory (BiLSTM) model to solve the sentiment analysis of movie reviews problem in Natural Language Processing (NLP). This model was applied on the IMDB dataset consisting of 140K movie reviews. The data was initially pre-processed and word embedding was applied accordingly. Our results show that this proposed model can achieve a very high performance compared to other models with an overall accuracy greater than 96%. . Côte titre : MAI/0603 En ligne : https://drive.google.com/file/d/1OJOIKxf5w2nIJ1D00skiFdxBt3qpp5dU/view?usp=share [...] Format de la ressource électronique : Deep Learning Based Sentiment Analysis of Movie Reviews [texte imprimé] / Akram Djidel, Auteur ; Islam Djemmal, Auteur ; Allaoua Refoufi, Directeur de thèse . - 2022 . - 1 vol (77 f .) ; 29cm.
Langues : Français (fre)
Catégories : Thèses & Mémoires:Informatique Mots-clés : Informatique Index. décimale : 004 Informatique Résumé : As a result of the advent of social media, there is a huge quantity of data and opinions that are exchanged. For building opinion mining systems, sentiment analysis has become important. It uses reviews and tweets to try to know how people feel about a certain product, film, or issue. In the field of sentiment analysis, several previous research using various neural network architectures have been published. In this work study, we used the Convolutional Neural Network (CNN) and Bidirectional Long Short-Term Memory (BiLSTM) model to solve the sentiment analysis of movie reviews problem in Natural Language Processing (NLP). This model was applied on the IMDB dataset consisting of 140K movie reviews. The data was initially pre-processed and word embedding was applied accordingly. Our results show that this proposed model can achieve a very high performance compared to other models with an overall accuracy greater than 96%. . Côte titre : MAI/0603 En ligne : https://drive.google.com/file/d/1OJOIKxf5w2nIJ1D00skiFdxBt3qpp5dU/view?usp=share [...] Format de la ressource électronique : Exemplaires (1)
Code-barres Cote Support Localisation Section Disponibilité MAI/0603 MAI/0603 Mémoire Bibliothéque des sciences Anglais Disponible
Disponible
Titre : Deep Learning for Age, Gender and Race Identification based on Face Recognition Type de document : texte imprimé Auteurs : Hamdi ,Skander, Auteur ; Moussaoui ,Abdelouahab, Directeur de thèse Editeur : Setif:UFA Année de publication : 2019 Importance : 1 vol (71 f .) Format : 29 cm Langues : Français (fre) Catégories : Thèses & Mémoires:Informatique Mots-clés : Machine learning
Convolutional neural n
Recognition
Feature extraction
Tensorflow
KerasIndex. décimale : 004 - Informatique Résumé : Ce mémoire de master présente un systéme basé sur une approche d’apprentissage
profond Réseau de Neurones Convolutif (CNN). L’objectif du travail est de prédire
automatiquement, l’age, le genre et la race à partir d’une image faciale d’une personne.
Notre approche à été testée est verifiée en utilisant la base de données
publique UTKFace qui contient plus de 20.000 images de différentes personnes.
Cette base de données est composée d’enfants, adolescents, adults pour la classe
d’age, mâle, femelle pour le genre et blanc, noir, asiatique, indien, autres pour la
race. On a fait une étude comparative entre différentes approches d’apprentissage
automatique et apprentissage profond et les résultats ont montrés que l’approche
profonde avec CNN a donné les meilleures résultats de teste.Note de contenu : Sommaire
Theoritical Background 3
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Machine learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2.1 Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.1.1 Arthur Samuel . . . . . . . . . . . . . . . . . . . . . 4
1.2.1.2 Tom M. Mitchell . . . . . . . . . . . . . . . . . . . . 4
1.2.1.3 Alan Turing . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.2 Machine learning categories . . . . . . . . . . . . . . . . . . . 4
1.2.2.1 Supervised learning . . . . . . . . . . . . . . . . . . 5
1.2.2.2 Unsupervised learning . . . . . . . . . . . . . . . . 6
1.2.2.3 Semi-supervised learning . . . . . . . . . . . . . . . 6
1.2.2.4 Reinforcement learning . . . . . . . . . . . . . . . . 6
1.2.3 Popular Machine learning algorithms . . . . . . . . . . . . . 7
1.2.3.1 k-Nearest Neighbors (kNN) . . . . . . . . . . . . . 7
1.2.3.2 Decision Trees . . . . . . . . . . . . . . . . . . . . . 8
1.2.3.3 Logistic Regression . . . . . . . . . . . . . . . . . . 9
1.2.3.4 Support Vector Machines . . . . . . . . . . . . . . . 10
1.2.3.5 Artificial Neural Networks . . . . . . . . . . . . . . 13
1.2.3.6 Random Forest . . . . . . . . . . . . . . . . . . . . . 19
1.2.4 Evaluation metrics . . . . . . . . . . . . . . . . . . . . . . . . 20
1.2.5 Overfitting and Underfitting . . . . . . . . . . . . . . . . . . 21
1.2.5.1 Overfitting . . . . . . . . . . . . . . . . . . . . . . . 21
1.2.5.2 Underfitting . . . . . . . . . . . . . . . . . . . . . . 21
1.3 Deep learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.3.1 Definition and Concept . . . . . . . . . . . . . . . . . . . . . 21
1.3.2 Deep learning architectures . . . . . . . . . . . . . . . . . . . 22
1.3.2.1 Deep Neural Networks (DNN) . . . . . . . . . . . 22
1.3.2.2 Convolutional Neural Networks . . . . . . . . . . . 23
Contents 3
1.3.2.3 Recurrent Neural Networks . . . . . . . . . . . . . 27
1.3.3 Neural Networks and overfitting . . . . . . . . . . . . . . . . 28
1.3.3.1 Dropout . . . . . . . . . . . . . . . . . . . . . . . . . 28
1.3.3.2 Batch Normalization . . . . . . . . . . . . . . . . . 28
1.3.4 Deep learning applications . . . . . . . . . . . . . . . . . . . 28
1.3.4.1 Image Recognition . . . . . . . . . . . . . . . . . . . 29
1.3.4.2 Audio Processing . . . . . . . . . . . . . . . . . . . 29
1.3.4.3 Natural Language Processing . . . . . . . . . . . . 30
1.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2 Literature Review 31
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.2 Face Recognition and Feature Extraction . . . . . . . . . . . . . . . . 31
2.2.1 Human Face Feature Points . . . . . . . . . . . . . . . . . . . 31
2.2.2 Feature Extraction Methods . . . . . . . . . . . . . . . . . . . 32
2.2.2.1 Principal Component Analysis . . . . . . . . . . . . 33
2.2.2.2 Kernel Principal Component Analysis . . . . . . . 34
2.2.2.3 Linear Discriminate Analysis . . . . . . . . . . . . . 35
2.3 Related works . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2.3.1 Age Estimation and Classification . . . . . . . . . . . . . . . 36
2.3.2 Gender Classification . . . . . . . . . . . . . . . . . . . . . . . 38
2.3.3 Ethnicity Classification . . . . . . . . . . . . . . . . . . . . . . 39
2.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3 Methodology and Experiments 42
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.2 Dataset and Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . 42
3.2.1 Dataset Description . . . . . . . . . . . . . . . . . . . . . . . . 42
3.2.2 Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.3 Development environment . . . . . . . . . . . . . . . . . . . . . . . . 45
3.3.1 Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.3.1.1 Python . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.3.1.2 NumPy . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.3.1.3 Jupyter Notebook . . . . . . . . . . . . . . . . . . . 46
3.3.1.4 Scikit-Learn . . . . . . . . . . . . . . . . . . . . . . . 46
3.3.1.5 Matplotlib . . . . . . . . . . . . . . . . . . . . . . . 46
Contents 4
3.3.1.6 Tensorflow . . . . . . . . . . . . . . . . . . . . . . . 47
3.3.1.7 Keras . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.3.2 Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.3.2.1 Google Colaboratory Cloud . . . . . . . . . . . . . 47
3.3.2.2 Kaggle Kernel Cloud . . . . . . . . . . . . . . . . . 48
3.4 Methodology and Experiments Results . . . . . . . . . . . . . . . . 48
3.4.1 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.4.2 Proposed Methods . . . . . . . . . . . . . . . . . . . . . . . . 48
3.4.2.1 Support Vector Machines (SVM) . . . . . . . . . . . 48
3.4.2.2 Random Forest . . . . . . . . . . . . . . . . . . . . . 49
3.4.2.3 Artificial Neural Network (Single Layer Perceptron
SLP) . . . . . . . . . . . . . . . . . . . . . . . . 49
3.4.2.4 Artificial Neural Network (Multi-Layer Perceptron
MLP) . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.4.2.5 Transfer Learning . . . . . . . . . . . . . . . . . . . 49
3.4.2.6 Convolutional Neural Network . . . . . . . . . . . 52
3.4.3 Experiments Results . . . . . . . . . . . . . . . . . . . . . . . 53
3.4.3.1 Support Vector Machines (SVM) . . . . . . . . . . . 54
3.4.3.2 Random Forest . . . . . . . . . . . . . . . . . . . . . 54
3.4.3.3 Artificial Neural Network (Single Layer Perceptron
SLP) . . . . . . . . . . . . . . . . . . . . . . . . 54
3.4.3.4 Artificial Neural Network (Multi-Layer Perceptron
MLP) . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.4.3.5 Transfer Learning . . . . . . . . . . . . . . . . . . . 57
3.4.3.6 Convolutional Neural Network . . . . . . . . . . . 61
Discussion 68
Conclusion 70
Bibliography 71Côte titre : MAI/0287 En ligne : https://drive.google.com/file/d/1sc20Stq3cwCDecar4ArShHzSaNJKTe36/view?usp=shari [...] Format de la ressource électronique : Deep Learning for Age, Gender and Race Identification based on Face Recognition [texte imprimé] / Hamdi ,Skander, Auteur ; Moussaoui ,Abdelouahab, Directeur de thèse . - [S.l.] : Setif:UFA, 2019 . - 1 vol (71 f .) ; 29 cm.
Langues : Français (fre)
Catégories : Thèses & Mémoires:Informatique Mots-clés : Machine learning
Convolutional neural n
Recognition
Feature extraction
Tensorflow
KerasIndex. décimale : 004 - Informatique Résumé : Ce mémoire de master présente un systéme basé sur une approche d’apprentissage
profond Réseau de Neurones Convolutif (CNN). L’objectif du travail est de prédire
automatiquement, l’age, le genre et la race à partir d’une image faciale d’une personne.
Notre approche à été testée est verifiée en utilisant la base de données
publique UTKFace qui contient plus de 20.000 images de différentes personnes.
Cette base de données est composée d’enfants, adolescents, adults pour la classe
d’age, mâle, femelle pour le genre et blanc, noir, asiatique, indien, autres pour la
race. On a fait une étude comparative entre différentes approches d’apprentissage
automatique et apprentissage profond et les résultats ont montrés que l’approche
profonde avec CNN a donné les meilleures résultats de teste.Note de contenu : Sommaire
Theoritical Background 3
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Machine learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2.1 Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.1.1 Arthur Samuel . . . . . . . . . . . . . . . . . . . . . 4
1.2.1.2 Tom M. Mitchell . . . . . . . . . . . . . . . . . . . . 4
1.2.1.3 Alan Turing . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.2 Machine learning categories . . . . . . . . . . . . . . . . . . . 4
1.2.2.1 Supervised learning . . . . . . . . . . . . . . . . . . 5
1.2.2.2 Unsupervised learning . . . . . . . . . . . . . . . . 6
1.2.2.3 Semi-supervised learning . . . . . . . . . . . . . . . 6
1.2.2.4 Reinforcement learning . . . . . . . . . . . . . . . . 6
1.2.3 Popular Machine learning algorithms . . . . . . . . . . . . . 7
1.2.3.1 k-Nearest Neighbors (kNN) . . . . . . . . . . . . . 7
1.2.3.2 Decision Trees . . . . . . . . . . . . . . . . . . . . . 8
1.2.3.3 Logistic Regression . . . . . . . . . . . . . . . . . . 9
1.2.3.4 Support Vector Machines . . . . . . . . . . . . . . . 10
1.2.3.5 Artificial Neural Networks . . . . . . . . . . . . . . 13
1.2.3.6 Random Forest . . . . . . . . . . . . . . . . . . . . . 19
1.2.4 Evaluation metrics . . . . . . . . . . . . . . . . . . . . . . . . 20
1.2.5 Overfitting and Underfitting . . . . . . . . . . . . . . . . . . 21
1.2.5.1 Overfitting . . . . . . . . . . . . . . . . . . . . . . . 21
1.2.5.2 Underfitting . . . . . . . . . . . . . . . . . . . . . . 21
1.3 Deep learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.3.1 Definition and Concept . . . . . . . . . . . . . . . . . . . . . 21
1.3.2 Deep learning architectures . . . . . . . . . . . . . . . . . . . 22
1.3.2.1 Deep Neural Networks (DNN) . . . . . . . . . . . 22
1.3.2.2 Convolutional Neural Networks . . . . . . . . . . . 23
Contents 3
1.3.2.3 Recurrent Neural Networks . . . . . . . . . . . . . 27
1.3.3 Neural Networks and overfitting . . . . . . . . . . . . . . . . 28
1.3.3.1 Dropout . . . . . . . . . . . . . . . . . . . . . . . . . 28
1.3.3.2 Batch Normalization . . . . . . . . . . . . . . . . . 28
1.3.4 Deep learning applications . . . . . . . . . . . . . . . . . . . 28
1.3.4.1 Image Recognition . . . . . . . . . . . . . . . . . . . 29
1.3.4.2 Audio Processing . . . . . . . . . . . . . . . . . . . 29
1.3.4.3 Natural Language Processing . . . . . . . . . . . . 30
1.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2 Literature Review 31
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.2 Face Recognition and Feature Extraction . . . . . . . . . . . . . . . . 31
2.2.1 Human Face Feature Points . . . . . . . . . . . . . . . . . . . 31
2.2.2 Feature Extraction Methods . . . . . . . . . . . . . . . . . . . 32
2.2.2.1 Principal Component Analysis . . . . . . . . . . . . 33
2.2.2.2 Kernel Principal Component Analysis . . . . . . . 34
2.2.2.3 Linear Discriminate Analysis . . . . . . . . . . . . . 35
2.3 Related works . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2.3.1 Age Estimation and Classification . . . . . . . . . . . . . . . 36
2.3.2 Gender Classification . . . . . . . . . . . . . . . . . . . . . . . 38
2.3.3 Ethnicity Classification . . . . . . . . . . . . . . . . . . . . . . 39
2.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3 Methodology and Experiments 42
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.2 Dataset and Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . 42
3.2.1 Dataset Description . . . . . . . . . . . . . . . . . . . . . . . . 42
3.2.2 Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.3 Development environment . . . . . . . . . . . . . . . . . . . . . . . . 45
3.3.1 Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.3.1.1 Python . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.3.1.2 NumPy . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.3.1.3 Jupyter Notebook . . . . . . . . . . . . . . . . . . . 46
3.3.1.4 Scikit-Learn . . . . . . . . . . . . . . . . . . . . . . . 46
3.3.1.5 Matplotlib . . . . . . . . . . . . . . . . . . . . . . . 46
Contents 4
3.3.1.6 Tensorflow . . . . . . . . . . . . . . . . . . . . . . . 47
3.3.1.7 Keras . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.3.2 Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.3.2.1 Google Colaboratory Cloud . . . . . . . . . . . . . 47
3.3.2.2 Kaggle Kernel Cloud . . . . . . . . . . . . . . . . . 48
3.4 Methodology and Experiments Results . . . . . . . . . . . . . . . . 48
3.4.1 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.4.2 Proposed Methods . . . . . . . . . . . . . . . . . . . . . . . . 48
3.4.2.1 Support Vector Machines (SVM) . . . . . . . . . . . 48
3.4.2.2 Random Forest . . . . . . . . . . . . . . . . . . . . . 49
3.4.2.3 Artificial Neural Network (Single Layer Perceptron
SLP) . . . . . . . . . . . . . . . . . . . . . . . . 49
3.4.2.4 Artificial Neural Network (Multi-Layer Perceptron
MLP) . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.4.2.5 Transfer Learning . . . . . . . . . . . . . . . . . . . 49
3.4.2.6 Convolutional Neural Network . . . . . . . . . . . 52
3.4.3 Experiments Results . . . . . . . . . . . . . . . . . . . . . . . 53
3.4.3.1 Support Vector Machines (SVM) . . . . . . . . . . . 54
3.4.3.2 Random Forest . . . . . . . . . . . . . . . . . . . . . 54
3.4.3.3 Artificial Neural Network (Single Layer Perceptron
SLP) . . . . . . . . . . . . . . . . . . . . . . . . 54
3.4.3.4 Artificial Neural Network (Multi-Layer Perceptron
MLP) . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.4.3.5 Transfer Learning . . . . . . . . . . . . . . . . . . . 57
3.4.3.6 Convolutional Neural Network . . . . . . . . . . . 61
Discussion 68
Conclusion 70
Bibliography 71Côte titre : MAI/0287 En ligne : https://drive.google.com/file/d/1sc20Stq3cwCDecar4ArShHzSaNJKTe36/view?usp=shari [...] Format de la ressource électronique : Exemplaires (1)
Code-barres Cote Support Localisation Section Disponibilité MAI/0287 MAI/0287 Mémoire Bibliothéque des sciences Français Disponible
Disponible
Titre : Deep learning for identifying and classifying retinal diseases Type de document : texte imprimé Auteurs : Berrimi,Mohamed, Auteur ; Moussaoui ,Abdelouahab, Directeur de thèse Editeur : Setif:UFA Année de publication : 2019 Importance : 1 vol (78 f .) Format : 29 cm Langues : Français (fre) Catégories : Thèses & Mémoires:Informatique Mots-clés : Réseaux neuronaux convolutionnels
Imagerie médicale
Apprentissage
ProfondIndex. décimale : 004 Informatique Résumé : La classification est une utilisation particulière de l’apprentissage automatique et
l’apprentissage profond. Dans cette thèse, nous allons proposer un nouveau modèle
de classification basé sur l’apprentissage profond, capable de classer et d’identifier les
différentes maladies rétiniennes à des stades précoces avec une grande précision qui
surpassent l’état de l’artf, les travaux précédents, ainsi que les diagnostics des experts
en ophtalmologie. La vision et la santé des yeux sont l’une des choses les plus cruciales
de la vie humaine, il faut la préserver pour maintenir la vie des individus. Les maladies
des yeux telles que CNV, DRUSEN, AMD, DME sont principalement dues aux lésions
de la rétine. Comme elle est endommagée et diagnostiquée à un stade avancé, il n’y a
pratiquement aucune chance de renverser la vision et de la guérir, ce qui signifie que
le patient va perdre la capacité de voir partiellement, et peut être entièrement. Nous
proposons ici trois architectures de réseaux de neurones convolutionnels profonds et
ajusté trois modèles pré-entraînés formés sur de grands ensembles de données tels
que Inception, VGG-16 et ResNET. Afin d’évaluer notre modèle, nous avons comparé le
diagnostic de 7 experts à la performance de notre modèle. Notre modèle proposé surpasse
le diagnostic de 6 experts sur 7, ainsi que les travaux publiés précédemment utilisant les
mêmes données, où nous avons obtenu une précision allant jusqu’à 99,27%.
Cet outil peut en fin de compte aider à accélérer le diagnostic et l’orientation de ces
affections traitables, facilitant ainsi un traitement plus précoce, entraînant de meilleurs
résultats cliniques.Note de contenu : Sommaire
List of Tables ix
List of Figures xi
1 Retinal pathologies and scanning devices 4
1.1 Fundus photography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2 OCT scanning in medical imaging . . . . . . . . . . . . . . . . . . . . . . . . 5
1.2.1 SD-OCT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2.2 A-scan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2.3 B-scan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.3 Retinal pathologies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.3.1 DME . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3.2 AMD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3.3 DRUSEN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3.4 CNV . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2 State of the art and related works 9
2.1 Machine learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.1.1 Machine learning concepts . . . . . . . . . . . . . . . . . . . . . . . . 10
2.1.1.1 Splitting data . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.1.1.2 Underfitting and overfitting . . . . . . . . . . . . . . . . . . 10
2.1.1.3 Regularization . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.1.1.4 Model validation . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.1.1.5 Bootstrap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.1.2 Supervised learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.1.2.1 kNN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
v
TABLE OF CONTENTS
2.1.2.2 Decision trees . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.1.2.3 Logistic regression . . . . . . . . . . . . . . . . . . . . . . . 14
2.1.2.4 SVM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.1.2.5 Boosting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1.2.6 Bagging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.1.3 Unsupervised learning . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.2 Deep Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.2.1 Feedforward Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.2.2 Layers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.2.2.1 Input layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.2.2.2 Hidden layer . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.2.2.3 Output layer . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.2.2.4 Full connected layers (Dense layers ) . . . . . . . . . . . . 22
2.2.3 Backpropagation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.2.4 Optimization in deep learning . . . . . . . . . . . . . . . . . . . . . . 23
2.2.4.1 Gradient Descent Optimizer . . . . . . . . . . . . . . . . . . 23
2.2.4.2 Stochastic gradient descent , Mini batch gradient descent 23
2.2.4.3 Adam . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.2.4.4 RMSprop optimizer . . . . . . . . . . . . . . . . . . . . . . 24
2.2.5 Regularization for Deep Learning . . . . . . . . . . . . . . . . . . . . 25
2.2.5.1 Dropout . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.2.5.2 Batch Normalization . . . . . . . . . . . . . . . . . . . . . . 25
2.2.5.3 Early stopping . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.2.5.4 Data augmentation . . . . . . . . . . . . . . . . . . . . . . . 26
2.2.6 Model parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2.6.1 learning rate . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2.6.2 epoch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2.6.3 Batch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2.6.4 Batch size . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2.6.5 loss functions . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2.6.6 Activation functions . . . . . . . . . . . . . . . . . . . . . . . 28
2.3 Convolutional neural network . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.3.1 Convolution layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.3.1.1 Convolution operation . . . . . . . . . . . . . . . . . . . . . 30
2.3.1.2 Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
vi
TABLE OF CONTENTS
2.3.2 Pooling layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.3.3 Padding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.4 Transfer learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.4.1 Transfer learning versus traditional learning . . . . . . . . . . . . . 33
2.4.2 ImageNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.4.3 pre trained model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.4.3.1 AlexNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.4.3.2 VGG-16 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.4.3.3 Inception . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.4.3.4 ResNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.4.4 Fine Tuning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.4.5 Related work using deep learning . . . . . . . . . . . . . . . . . . . . 35
2.4.6 Related works summarized . . . . . . . . . . . . . . . . . . . . . . . . 38
2.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3 Dataset and implimentation tools 40
3.1 Dataset description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.2 Dataset pre-processing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.3 Implementation frameworks and tools . . . . . . . . . . . . . . . . . . . . . 44
3.3.1 Python . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.3.2 Sickit-learn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.3.3 Tensorflow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.3.4 Keras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.3.5 Jupyter notebooks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.3.6 Google Colab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.3.7 Kaggle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.4 model evaluation metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.4.1 Accuracy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.4.2 Precision . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.4.3 Recal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.4.4 F1-score . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.4.5 Confusion matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.5 Proposed approaches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.5.1 Machine learning approaches . . . . . . . . . . . . . . . . . . . . . . . 49
3.5.2 Deep learning approaches . . . . . . . . . . . . . . . . . . . . . . . . . 49
vii
TABLE OF CONTENTS
3.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
4 Experiments and results 51
4.1 Machine learning approaches . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
4.1.1 Decision trees classifier . . . . . . . . . . . . . . . . . . . . . . . . . . 51
4.1.2 XGBOOST classifier . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.1.3 Artificial neural networks . . . . . . . . . . . . . . . . . . . . . . . . 52
4.1.4 Machine learning algorithms results . . . . . . . . . . . . . . . . . . 52
4.1.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.2 Deep learning approaches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.2.1 Convolution neural networks . . . . . . . . . . . . . . . . . . . . . . . 53
4.2.1.1 First CNN architecture . . . . . . . . . . . . . . . . . . . . . 53
4.2.1.2 Second CNN Architecture . . . . . . . . . . . . . . . . . . 54
4.2.1.3 Model and architecture interpretation . . . . . . . . . . . 55
4.2.1.4 Model Compiling . . . . . . . . . . . . . . . . . . . . . . . . 56
4.2.1.5 Deep CNN architecture . . . . . . . . . . . . . . . . . . . . 59
4.2.1.6 experiments on balanced dataset . . . . . . . . . . . . . . . 59
4.2.2 Pretrained models ( Transfer learning ) . . . . . . . . . . . . . . . . 60
4.2.2.1 VGG-16 pretrained model . . . . . . . . . . . . . . . . . . . 60
4.2.2.2 Modified version of VGG16 model . . . . . . . . . . . . . . 61
4.2.2.3 ResNet pretrained Model . . . . . . . . . . . . . . . . . . . 62
4.2.2.4 Inception V3 pretrained model . . . . . . . . . . . . . . . . 62
4.3 Results comparisons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.4 Comparative study with the diagnosis of OCT experts . . . . . . . . . . . . 66
4.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
Bibliography 70Côte titre : MAI/0280 En ligne : https://drive.google.com/file/d/1UpUMVLQmBXPaiBVaCN0Oi2mkhUbj0GeW/view?usp=shari [...] Format de la ressource électronique : Deep learning for identifying and classifying retinal diseases [texte imprimé] / Berrimi,Mohamed, Auteur ; Moussaoui ,Abdelouahab, Directeur de thèse . - [S.l.] : Setif:UFA, 2019 . - 1 vol (78 f .) ; 29 cm.
Langues : Français (fre)
Catégories : Thèses & Mémoires:Informatique Mots-clés : Réseaux neuronaux convolutionnels
Imagerie médicale
Apprentissage
ProfondIndex. décimale : 004 Informatique Résumé : La classification est une utilisation particulière de l’apprentissage automatique et
l’apprentissage profond. Dans cette thèse, nous allons proposer un nouveau modèle
de classification basé sur l’apprentissage profond, capable de classer et d’identifier les
différentes maladies rétiniennes à des stades précoces avec une grande précision qui
surpassent l’état de l’artf, les travaux précédents, ainsi que les diagnostics des experts
en ophtalmologie. La vision et la santé des yeux sont l’une des choses les plus cruciales
de la vie humaine, il faut la préserver pour maintenir la vie des individus. Les maladies
des yeux telles que CNV, DRUSEN, AMD, DME sont principalement dues aux lésions
de la rétine. Comme elle est endommagée et diagnostiquée à un stade avancé, il n’y a
pratiquement aucune chance de renverser la vision et de la guérir, ce qui signifie que
le patient va perdre la capacité de voir partiellement, et peut être entièrement. Nous
proposons ici trois architectures de réseaux de neurones convolutionnels profonds et
ajusté trois modèles pré-entraînés formés sur de grands ensembles de données tels
que Inception, VGG-16 et ResNET. Afin d’évaluer notre modèle, nous avons comparé le
diagnostic de 7 experts à la performance de notre modèle. Notre modèle proposé surpasse
le diagnostic de 6 experts sur 7, ainsi que les travaux publiés précédemment utilisant les
mêmes données, où nous avons obtenu une précision allant jusqu’à 99,27%.
Cet outil peut en fin de compte aider à accélérer le diagnostic et l’orientation de ces
affections traitables, facilitant ainsi un traitement plus précoce, entraînant de meilleurs
résultats cliniques.Note de contenu : Sommaire
List of Tables ix
List of Figures xi
1 Retinal pathologies and scanning devices 4
1.1 Fundus photography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2 OCT scanning in medical imaging . . . . . . . . . . . . . . . . . . . . . . . . 5
1.2.1 SD-OCT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2.2 A-scan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2.3 B-scan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.3 Retinal pathologies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.3.1 DME . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3.2 AMD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3.3 DRUSEN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3.4 CNV . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2 State of the art and related works 9
2.1 Machine learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.1.1 Machine learning concepts . . . . . . . . . . . . . . . . . . . . . . . . 10
2.1.1.1 Splitting data . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.1.1.2 Underfitting and overfitting . . . . . . . . . . . . . . . . . . 10
2.1.1.3 Regularization . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.1.1.4 Model validation . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.1.1.5 Bootstrap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.1.2 Supervised learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.1.2.1 kNN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
v
TABLE OF CONTENTS
2.1.2.2 Decision trees . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.1.2.3 Logistic regression . . . . . . . . . . . . . . . . . . . . . . . 14
2.1.2.4 SVM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.1.2.5 Boosting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1.2.6 Bagging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.1.3 Unsupervised learning . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.2 Deep Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.2.1 Feedforward Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.2.2 Layers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.2.2.1 Input layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.2.2.2 Hidden layer . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.2.2.3 Output layer . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.2.2.4 Full connected layers (Dense layers ) . . . . . . . . . . . . 22
2.2.3 Backpropagation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.2.4 Optimization in deep learning . . . . . . . . . . . . . . . . . . . . . . 23
2.2.4.1 Gradient Descent Optimizer . . . . . . . . . . . . . . . . . . 23
2.2.4.2 Stochastic gradient descent , Mini batch gradient descent 23
2.2.4.3 Adam . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.2.4.4 RMSprop optimizer . . . . . . . . . . . . . . . . . . . . . . 24
2.2.5 Regularization for Deep Learning . . . . . . . . . . . . . . . . . . . . 25
2.2.5.1 Dropout . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.2.5.2 Batch Normalization . . . . . . . . . . . . . . . . . . . . . . 25
2.2.5.3 Early stopping . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.2.5.4 Data augmentation . . . . . . . . . . . . . . . . . . . . . . . 26
2.2.6 Model parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2.6.1 learning rate . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2.6.2 epoch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2.6.3 Batch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2.6.4 Batch size . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2.6.5 loss functions . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2.6.6 Activation functions . . . . . . . . . . . . . . . . . . . . . . . 28
2.3 Convolutional neural network . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.3.1 Convolution layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.3.1.1 Convolution operation . . . . . . . . . . . . . . . . . . . . . 30
2.3.1.2 Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
vi
TABLE OF CONTENTS
2.3.2 Pooling layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.3.3 Padding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.4 Transfer learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.4.1 Transfer learning versus traditional learning . . . . . . . . . . . . . 33
2.4.2 ImageNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.4.3 pre trained model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.4.3.1 AlexNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.4.3.2 VGG-16 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.4.3.3 Inception . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.4.3.4 ResNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.4.4 Fine Tuning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.4.5 Related work using deep learning . . . . . . . . . . . . . . . . . . . . 35
2.4.6 Related works summarized . . . . . . . . . . . . . . . . . . . . . . . . 38
2.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3 Dataset and implimentation tools 40
3.1 Dataset description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.2 Dataset pre-processing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.3 Implementation frameworks and tools . . . . . . . . . . . . . . . . . . . . . 44
3.3.1 Python . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.3.2 Sickit-learn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.3.3 Tensorflow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.3.4 Keras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.3.5 Jupyter notebooks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.3.6 Google Colab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.3.7 Kaggle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.4 model evaluation metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.4.1 Accuracy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.4.2 Precision . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.4.3 Recal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.4.4 F1-score . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.4.5 Confusion matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.5 Proposed approaches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.5.1 Machine learning approaches . . . . . . . . . . . . . . . . . . . . . . . 49
3.5.2 Deep learning approaches . . . . . . . . . . . . . . . . . . . . . . . . . 49
vii
TABLE OF CONTENTS
3.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
4 Experiments and results 51
4.1 Machine learning approaches . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
4.1.1 Decision trees classifier . . . . . . . . . . . . . . . . . . . . . . . . . . 51
4.1.2 XGBOOST classifier . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.1.3 Artificial neural networks . . . . . . . . . . . . . . . . . . . . . . . . 52
4.1.4 Machine learning algorithms results . . . . . . . . . . . . . . . . . . 52
4.1.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.2 Deep learning approaches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.2.1 Convolution neural networks . . . . . . . . . . . . . . . . . . . . . . . 53
4.2.1.1 First CNN architecture . . . . . . . . . . . . . . . . . . . . . 53
4.2.1.2 Second CNN Architecture . . . . . . . . . . . . . . . . . . 54
4.2.1.3 Model and architecture interpretation . . . . . . . . . . . 55
4.2.1.4 Model Compiling . . . . . . . . . . . . . . . . . . . . . . . . 56
4.2.1.5 Deep CNN architecture . . . . . . . . . . . . . . . . . . . . 59
4.2.1.6 experiments on balanced dataset . . . . . . . . . . . . . . . 59
4.2.2 Pretrained models ( Transfer learning ) . . . . . . . . . . . . . . . . 60
4.2.2.1 VGG-16 pretrained model . . . . . . . . . . . . . . . . . . . 60
4.2.2.2 Modified version of VGG16 model . . . . . . . . . . . . . . 61
4.2.2.3 ResNet pretrained Model . . . . . . . . . . . . . . . . . . . 62
4.2.2.4 Inception V3 pretrained model . . . . . . . . . . . . . . . . 62
4.3 Results comparisons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.4 Comparative study with the diagnosis of OCT experts . . . . . . . . . . . . 66
4.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
Bibliography 70Côte titre : MAI/0280 En ligne : https://drive.google.com/file/d/1UpUMVLQmBXPaiBVaCN0Oi2mkhUbj0GeW/view?usp=shari [...] Format de la ressource électronique : Exemplaires (1)
Code-barres Cote Support Localisation Section Disponibilité MAI/0280 MAI/0280 Mémoire Bibliothéque des sciences Français Disponible
Disponible
Titre : Deep Learning for Medical Object Detection and Segmentation : Case of Osteoarthritis Disease Type de document : texte imprimé Auteurs : Ouassim boukhennoufa, Auteur ; Aymen kara mahammed, Auteur ; Abdelouahab Moussaoui, Directeur de thèse Année de publication : 2022 Importance : 1 vol (105 f .) Format : 29cm Langues : Français (fre) Catégories : Thèses & Mémoires:Informatique Mots-clés : Transfer learning
Vision transformersIndex. décimale : 004 Informatique Résumé :
Osteoarthritis disease is mainly caused due to the damage to the knee joints, and
since it is damaged, and diagnosed at late stages, there is almost no chance to reverse
and cure the bone, which means that the patient will lose the ability to walk in a normal
way and doing physical activities, and may entirely lose the use of his knees. In this
thesis we want to propose novel classification models based on deep learning that will be
able to classify and identify different grades of the osteoarthritis disease, and also object
detectors to compare them to the classification models. We propose seven customized
transfer learning models, we also proposed 7 Vision transformers models. In order to
evaluate our model, we have compared the diagnosis of 6 experts in relation to deep
learning with the performance of our models. Our proposed models outperformed the
diagnosis of the previously published works using the same data, where we obtained
an accuracy of up to 93.87% with early-stage detection. In addition, object detection
approaches were proposed based on YoLo to compare them to classification models.Côte titre : MAI/0617 En ligne : https://drive.google.com/file/d/1wy5MIfktmP63KzGlInLn58_HPt-I2S7r/view?usp=share [...] Format de la ressource électronique : Deep Learning for Medical Object Detection and Segmentation : Case of Osteoarthritis Disease [texte imprimé] / Ouassim boukhennoufa, Auteur ; Aymen kara mahammed, Auteur ; Abdelouahab Moussaoui, Directeur de thèse . - 2022 . - 1 vol (105 f .) ; 29cm.
Langues : Français (fre)
Catégories : Thèses & Mémoires:Informatique Mots-clés : Transfer learning
Vision transformersIndex. décimale : 004 Informatique Résumé :
Osteoarthritis disease is mainly caused due to the damage to the knee joints, and
since it is damaged, and diagnosed at late stages, there is almost no chance to reverse
and cure the bone, which means that the patient will lose the ability to walk in a normal
way and doing physical activities, and may entirely lose the use of his knees. In this
thesis we want to propose novel classification models based on deep learning that will be
able to classify and identify different grades of the osteoarthritis disease, and also object
detectors to compare them to the classification models. We propose seven customized
transfer learning models, we also proposed 7 Vision transformers models. In order to
evaluate our model, we have compared the diagnosis of 6 experts in relation to deep
learning with the performance of our models. Our proposed models outperformed the
diagnosis of the previously published works using the same data, where we obtained
an accuracy of up to 93.87% with early-stage detection. In addition, object detection
approaches were proposed based on YoLo to compare them to classification models.Côte titre : MAI/0617 En ligne : https://drive.google.com/file/d/1wy5MIfktmP63KzGlInLn58_HPt-I2S7r/view?usp=share [...] Format de la ressource électronique : Exemplaires (1)
Code-barres Cote Support Localisation Section Disponibilité MAI/0617 MAI/0617 Mémoire Bibliothéque des sciences Anglais Disponible
Disponible
Titre : Deep learning for segmentation and analysis of pathogies in medcal imaging Type de document : texte imprimé Auteurs : Guergouri,Nassim, Auteur ; Moussaoui ,Abdelouahab, Directeur de thèse Editeur : Setif:UFA Année de publication : 2018 Importance : 1 vol (78 f .) Format : 29 cm Langues : Français (fre) Langues originales : Français (fre) Catégories : Thèses & Mémoires:Informatique Mots-clés : Apprentissage automatique
Apprentissage profond
Segmentation d'images médicales
Réseau résiduel profond(DRN)
Apprentissage par transfert
Tumeur cérébraleIndex. décimale : 004 - Informatique Note de contenu : List of Tables v
List of Figures vi
1 Introduction 1
Introduction 1
Aim of the Work 2
Structure of the Work 2
2 Clinical Background 4
Introduction 4
Image Characteristics 4
Spatial Resolution 5
Convolution 5
Contrast-To-Noise Ratio 6
Signal-To-Noise Ratio 7
Medical Imaging Modality 7
X-ray Production and X-ray Tubes 8
X-ray Production 8
X-ray Tubes 8
Radiography 9
Fluoroscopy 10
Mammography 10
Computed Tomography 10
Magnetic Resonance Imaging 11
Ultrasound 12
Nuclear Medicine 12
Conclusion 13
3 Theorical Background 14
Introduction 14
Machine Learning 14
Machine Learning process 15
Machine Learning categories 15
3.2.2.1 Supervised Learning . . . . . . . . . . . . . . . . . . . . . . 16
3.2.2.2 Unsupervised Learning . . . . . . . . . . . . . . . . . . . . 17
3.2.2.3 Reinforcement Learning . . . . . . . . . . . . . . . . . . . . 17
3.2.3 Machine Learning Algorithms . . . . . . . . . . . . . . . . . . . . . . 17
3.2.3.1 Logistic Regression . . . . . . . . . . . . . . . . . . . . . . . 17
3.2.3.2 Decision Tree . . . . . . . . . . . . . . . . . . . . . . . . . . 18
3.2.3.3 Support vector machines(SVMs) . . . . . . . . . . . . . . . 18
3.2.3.4 Artificial Neural Networks . . . . . . . . . . . . . . . . . . . 21
3.2.4 Overfitting and Underfitting . . . . . . . . . . . . . . . . . . . . . . . 28
3.3 Deep Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.3.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.3.2 Deep Learning Architectures . . . . . . . . . . . . . . . . . . . . . . . 29
3.3.2.1 Convolutional Neural Networks . . . . . . . . . . . . . . . 30
3.3.2.2 Recurrent Neural Networks . . . . . . . . . . . . . . . . . . 32
3.3.2.3 Restricted Boltzmann Machines . . . . . . . . . . . . . . . 32
3.3.2.4 Deep Belief Networks . . . . . . . . . . . . . . . . . . . . . . 33
3.3.3 Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.3.3.1 Speech Recognition . . . . . . . . . . . . . . . . . . . . . . . 34
3.3.3.2 Natural Language Processing . . . . . . . . . . . . . . . . . 35
3.3.3.3 Recommender Systems . . . . . . . . . . . . . . . . . . . . 36
3.3.3.4 Medicine . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.3.4 Transfer Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
4 Image Segmentation: Literature Review 39
Introduction 39
Segmentation 39
Manual Segmentation 40
Semi-Automatic/ Interactive Segmentation 40
Fully automatic segmentation 40
Segmentation Methods 41
Threshold based methods 41
Region based methods 41
Classifiers and Clustering 42
Atlas-based Approaches 42
Related work 44
Conclusion 46
5 Datasets and Implementation Frameworks 47
Introduction 47
Datasets 47
MICCAI-BRATS 2017 Dataset 47
Brain tumour 48
MRI sequences 49
Preprocessing 49
Diabetic Retinopathy Dataset 50
Preprocessing 50
Implementation Framework 51
Deep Learning Frameworks 51
TensorFlow 52
Keras 52
Development environment 53
Python 53
Scikit-learn 53
NiftyNet 53
Nibabel 54
Approaches 54
Brain Tumor Segmentation 54
Diabetic Retinopathy Detection 57
Conclusion 59
6 Experiments and results 60
6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
6.2 Brain Tumor Segmentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
6.2.1 Evaluation Metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
6.2.2 Experiment setting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
6.2.3 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
6.2.4 Comparison Statistical . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
6.3 Diabetic retinopathy Detection . . . . . . . . . . . . . . . . . . . . . . . . . . 67
6.3.1 Experiment setting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
6.3.2 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
6.3.3 Comparison Statistical . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
6.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
7 Conclusion 71
Conclusion 71
Future work 72
Bibliography 73
Côte titre : MAI/0215 En ligne : https://drive.google.com/file/d/14iVl2KfxdP6DJXp3-9VQCSyP98CcJJ-S/view?usp=shari [...] Format de la ressource électronique : Deep learning for segmentation and analysis of pathogies in medcal imaging [texte imprimé] / Guergouri,Nassim, Auteur ; Moussaoui ,Abdelouahab, Directeur de thèse . - [S.l.] : Setif:UFA, 2018 . - 1 vol (78 f .) ; 29 cm.
Langues : Français (fre) Langues originales : Français (fre)
Catégories : Thèses & Mémoires:Informatique Mots-clés : Apprentissage automatique
Apprentissage profond
Segmentation d'images médicales
Réseau résiduel profond(DRN)
Apprentissage par transfert
Tumeur cérébraleIndex. décimale : 004 - Informatique Note de contenu : List of Tables v
List of Figures vi
1 Introduction 1
Introduction 1
Aim of the Work 2
Structure of the Work 2
2 Clinical Background 4
Introduction 4
Image Characteristics 4
Spatial Resolution 5
Convolution 5
Contrast-To-Noise Ratio 6
Signal-To-Noise Ratio 7
Medical Imaging Modality 7
X-ray Production and X-ray Tubes 8
X-ray Production 8
X-ray Tubes 8
Radiography 9
Fluoroscopy 10
Mammography 10
Computed Tomography 10
Magnetic Resonance Imaging 11
Ultrasound 12
Nuclear Medicine 12
Conclusion 13
3 Theorical Background 14
Introduction 14
Machine Learning 14
Machine Learning process 15
Machine Learning categories 15
3.2.2.1 Supervised Learning . . . . . . . . . . . . . . . . . . . . . . 16
3.2.2.2 Unsupervised Learning . . . . . . . . . . . . . . . . . . . . 17
3.2.2.3 Reinforcement Learning . . . . . . . . . . . . . . . . . . . . 17
3.2.3 Machine Learning Algorithms . . . . . . . . . . . . . . . . . . . . . . 17
3.2.3.1 Logistic Regression . . . . . . . . . . . . . . . . . . . . . . . 17
3.2.3.2 Decision Tree . . . . . . . . . . . . . . . . . . . . . . . . . . 18
3.2.3.3 Support vector machines(SVMs) . . . . . . . . . . . . . . . 18
3.2.3.4 Artificial Neural Networks . . . . . . . . . . . . . . . . . . . 21
3.2.4 Overfitting and Underfitting . . . . . . . . . . . . . . . . . . . . . . . 28
3.3 Deep Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.3.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.3.2 Deep Learning Architectures . . . . . . . . . . . . . . . . . . . . . . . 29
3.3.2.1 Convolutional Neural Networks . . . . . . . . . . . . . . . 30
3.3.2.2 Recurrent Neural Networks . . . . . . . . . . . . . . . . . . 32
3.3.2.3 Restricted Boltzmann Machines . . . . . . . . . . . . . . . 32
3.3.2.4 Deep Belief Networks . . . . . . . . . . . . . . . . . . . . . . 33
3.3.3 Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.3.3.1 Speech Recognition . . . . . . . . . . . . . . . . . . . . . . . 34
3.3.3.2 Natural Language Processing . . . . . . . . . . . . . . . . . 35
3.3.3.3 Recommender Systems . . . . . . . . . . . . . . . . . . . . 36
3.3.3.4 Medicine . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.3.4 Transfer Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
4 Image Segmentation: Literature Review 39
Introduction 39
Segmentation 39
Manual Segmentation 40
Semi-Automatic/ Interactive Segmentation 40
Fully automatic segmentation 40
Segmentation Methods 41
Threshold based methods 41
Region based methods 41
Classifiers and Clustering 42
Atlas-based Approaches 42
Related work 44
Conclusion 46
5 Datasets and Implementation Frameworks 47
Introduction 47
Datasets 47
MICCAI-BRATS 2017 Dataset 47
Brain tumour 48
MRI sequences 49
Preprocessing 49
Diabetic Retinopathy Dataset 50
Preprocessing 50
Implementation Framework 51
Deep Learning Frameworks 51
TensorFlow 52
Keras 52
Development environment 53
Python 53
Scikit-learn 53
NiftyNet 53
Nibabel 54
Approaches 54
Brain Tumor Segmentation 54
Diabetic Retinopathy Detection 57
Conclusion 59
6 Experiments and results 60
6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
6.2 Brain Tumor Segmentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
6.2.1 Evaluation Metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
6.2.2 Experiment setting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
6.2.3 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
6.2.4 Comparison Statistical . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
6.3 Diabetic retinopathy Detection . . . . . . . . . . . . . . . . . . . . . . . . . . 67
6.3.1 Experiment setting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
6.3.2 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
6.3.3 Comparison Statistical . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
6.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
7 Conclusion 71
Conclusion 71
Future work 72
Bibliography 73
Côte titre : MAI/0215 En ligne : https://drive.google.com/file/d/14iVl2KfxdP6DJXp3-9VQCSyP98CcJJ-S/view?usp=shari [...] Format de la ressource électronique : Exemplaires (1)
Code-barres Cote Support Localisation Section Disponibilité MAI/0215 MAI/0215 Mémoire Bibliothéque des sciences Anglais Disponible
DisponiblePermalinkDeep learning for the recognition and classification of different postures and behaviors of vehicle drivers / Hamitouche,Ilyes
PermalinkPermalinkA deep learning Method for analyzing the spread of information in online social networks / Douadi,hasna
PermalinkPermalinkPermalinkPermalinkA deep learning model for fakenewes detection / Belhakimi,Mohamed Amine
PermalinkPermalinkPermalink