University Sétif 1 FERHAT ABBAS Faculty of Sciences
Détail de l'auteur
Auteur Hamdi ,Skander |
Documents disponibles écrits par cet auteur
Ajouter le résultat dans votre panier Affiner la recherche
Titre : Deep Learning for Age, Gender and Race Identification based on Face Recognition Type de document : texte imprimé Auteurs : Hamdi ,Skander, Auteur ; Moussaoui ,Abdelouahab, Directeur de thèse Editeur : Setif:UFA Année de publication : 2019 Importance : 1 vol (71 f .) Format : 29 cm Langues : Français (fre) Catégories : Thèses & Mémoires:Informatique Mots-clés : Machine learning
Convolutional neural n
Recognition
Feature extraction
Tensorflow
KerasIndex. décimale : 004 - Informatique Résumé : Ce mémoire de master présente un systéme basé sur une approche d’apprentissage
profond Réseau de Neurones Convolutif (CNN). L’objectif du travail est de prédire
automatiquement, l’age, le genre et la race à partir d’une image faciale d’une personne.
Notre approche à été testée est verifiée en utilisant la base de données
publique UTKFace qui contient plus de 20.000 images de différentes personnes.
Cette base de données est composée d’enfants, adolescents, adults pour la classe
d’age, mâle, femelle pour le genre et blanc, noir, asiatique, indien, autres pour la
race. On a fait une étude comparative entre différentes approches d’apprentissage
automatique et apprentissage profond et les résultats ont montrés que l’approche
profonde avec CNN a donné les meilleures résultats de teste.Note de contenu : Sommaire
Theoritical Background 3
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Machine learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2.1 Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.1.1 Arthur Samuel . . . . . . . . . . . . . . . . . . . . . 4
1.2.1.2 Tom M. Mitchell . . . . . . . . . . . . . . . . . . . . 4
1.2.1.3 Alan Turing . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.2 Machine learning categories . . . . . . . . . . . . . . . . . . . 4
1.2.2.1 Supervised learning . . . . . . . . . . . . . . . . . . 5
1.2.2.2 Unsupervised learning . . . . . . . . . . . . . . . . 6
1.2.2.3 Semi-supervised learning . . . . . . . . . . . . . . . 6
1.2.2.4 Reinforcement learning . . . . . . . . . . . . . . . . 6
1.2.3 Popular Machine learning algorithms . . . . . . . . . . . . . 7
1.2.3.1 k-Nearest Neighbors (kNN) . . . . . . . . . . . . . 7
1.2.3.2 Decision Trees . . . . . . . . . . . . . . . . . . . . . 8
1.2.3.3 Logistic Regression . . . . . . . . . . . . . . . . . . 9
1.2.3.4 Support Vector Machines . . . . . . . . . . . . . . . 10
1.2.3.5 Artificial Neural Networks . . . . . . . . . . . . . . 13
1.2.3.6 Random Forest . . . . . . . . . . . . . . . . . . . . . 19
1.2.4 Evaluation metrics . . . . . . . . . . . . . . . . . . . . . . . . 20
1.2.5 Overfitting and Underfitting . . . . . . . . . . . . . . . . . . 21
1.2.5.1 Overfitting . . . . . . . . . . . . . . . . . . . . . . . 21
1.2.5.2 Underfitting . . . . . . . . . . . . . . . . . . . . . . 21
1.3 Deep learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.3.1 Definition and Concept . . . . . . . . . . . . . . . . . . . . . 21
1.3.2 Deep learning architectures . . . . . . . . . . . . . . . . . . . 22
1.3.2.1 Deep Neural Networks (DNN) . . . . . . . . . . . 22
1.3.2.2 Convolutional Neural Networks . . . . . . . . . . . 23
Contents 3
1.3.2.3 Recurrent Neural Networks . . . . . . . . . . . . . 27
1.3.3 Neural Networks and overfitting . . . . . . . . . . . . . . . . 28
1.3.3.1 Dropout . . . . . . . . . . . . . . . . . . . . . . . . . 28
1.3.3.2 Batch Normalization . . . . . . . . . . . . . . . . . 28
1.3.4 Deep learning applications . . . . . . . . . . . . . . . . . . . 28
1.3.4.1 Image Recognition . . . . . . . . . . . . . . . . . . . 29
1.3.4.2 Audio Processing . . . . . . . . . . . . . . . . . . . 29
1.3.4.3 Natural Language Processing . . . . . . . . . . . . 30
1.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2 Literature Review 31
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.2 Face Recognition and Feature Extraction . . . . . . . . . . . . . . . . 31
2.2.1 Human Face Feature Points . . . . . . . . . . . . . . . . . . . 31
2.2.2 Feature Extraction Methods . . . . . . . . . . . . . . . . . . . 32
2.2.2.1 Principal Component Analysis . . . . . . . . . . . . 33
2.2.2.2 Kernel Principal Component Analysis . . . . . . . 34
2.2.2.3 Linear Discriminate Analysis . . . . . . . . . . . . . 35
2.3 Related works . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2.3.1 Age Estimation and Classification . . . . . . . . . . . . . . . 36
2.3.2 Gender Classification . . . . . . . . . . . . . . . . . . . . . . . 38
2.3.3 Ethnicity Classification . . . . . . . . . . . . . . . . . . . . . . 39
2.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3 Methodology and Experiments 42
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.2 Dataset and Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . 42
3.2.1 Dataset Description . . . . . . . . . . . . . . . . . . . . . . . . 42
3.2.2 Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.3 Development environment . . . . . . . . . . . . . . . . . . . . . . . . 45
3.3.1 Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.3.1.1 Python . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.3.1.2 NumPy . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.3.1.3 Jupyter Notebook . . . . . . . . . . . . . . . . . . . 46
3.3.1.4 Scikit-Learn . . . . . . . . . . . . . . . . . . . . . . . 46
3.3.1.5 Matplotlib . . . . . . . . . . . . . . . . . . . . . . . 46
Contents 4
3.3.1.6 Tensorflow . . . . . . . . . . . . . . . . . . . . . . . 47
3.3.1.7 Keras . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.3.2 Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.3.2.1 Google Colaboratory Cloud . . . . . . . . . . . . . 47
3.3.2.2 Kaggle Kernel Cloud . . . . . . . . . . . . . . . . . 48
3.4 Methodology and Experiments Results . . . . . . . . . . . . . . . . 48
3.4.1 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.4.2 Proposed Methods . . . . . . . . . . . . . . . . . . . . . . . . 48
3.4.2.1 Support Vector Machines (SVM) . . . . . . . . . . . 48
3.4.2.2 Random Forest . . . . . . . . . . . . . . . . . . . . . 49
3.4.2.3 Artificial Neural Network (Single Layer Perceptron
SLP) . . . . . . . . . . . . . . . . . . . . . . . . 49
3.4.2.4 Artificial Neural Network (Multi-Layer Perceptron
MLP) . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.4.2.5 Transfer Learning . . . . . . . . . . . . . . . . . . . 49
3.4.2.6 Convolutional Neural Network . . . . . . . . . . . 52
3.4.3 Experiments Results . . . . . . . . . . . . . . . . . . . . . . . 53
3.4.3.1 Support Vector Machines (SVM) . . . . . . . . . . . 54
3.4.3.2 Random Forest . . . . . . . . . . . . . . . . . . . . . 54
3.4.3.3 Artificial Neural Network (Single Layer Perceptron
SLP) . . . . . . . . . . . . . . . . . . . . . . . . 54
3.4.3.4 Artificial Neural Network (Multi-Layer Perceptron
MLP) . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.4.3.5 Transfer Learning . . . . . . . . . . . . . . . . . . . 57
3.4.3.6 Convolutional Neural Network . . . . . . . . . . . 61
Discussion 68
Conclusion 70
Bibliography 71Côte titre : MAI/0287 En ligne : https://drive.google.com/file/d/1sc20Stq3cwCDecar4ArShHzSaNJKTe36/view?usp=shari [...] Format de la ressource électronique : Deep Learning for Age, Gender and Race Identification based on Face Recognition [texte imprimé] / Hamdi ,Skander, Auteur ; Moussaoui ,Abdelouahab, Directeur de thèse . - [S.l.] : Setif:UFA, 2019 . - 1 vol (71 f .) ; 29 cm.
Langues : Français (fre)
Catégories : Thèses & Mémoires:Informatique Mots-clés : Machine learning
Convolutional neural n
Recognition
Feature extraction
Tensorflow
KerasIndex. décimale : 004 - Informatique Résumé : Ce mémoire de master présente un systéme basé sur une approche d’apprentissage
profond Réseau de Neurones Convolutif (CNN). L’objectif du travail est de prédire
automatiquement, l’age, le genre et la race à partir d’une image faciale d’une personne.
Notre approche à été testée est verifiée en utilisant la base de données
publique UTKFace qui contient plus de 20.000 images de différentes personnes.
Cette base de données est composée d’enfants, adolescents, adults pour la classe
d’age, mâle, femelle pour le genre et blanc, noir, asiatique, indien, autres pour la
race. On a fait une étude comparative entre différentes approches d’apprentissage
automatique et apprentissage profond et les résultats ont montrés que l’approche
profonde avec CNN a donné les meilleures résultats de teste.Note de contenu : Sommaire
Theoritical Background 3
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Machine learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2.1 Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.1.1 Arthur Samuel . . . . . . . . . . . . . . . . . . . . . 4
1.2.1.2 Tom M. Mitchell . . . . . . . . . . . . . . . . . . . . 4
1.2.1.3 Alan Turing . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.2 Machine learning categories . . . . . . . . . . . . . . . . . . . 4
1.2.2.1 Supervised learning . . . . . . . . . . . . . . . . . . 5
1.2.2.2 Unsupervised learning . . . . . . . . . . . . . . . . 6
1.2.2.3 Semi-supervised learning . . . . . . . . . . . . . . . 6
1.2.2.4 Reinforcement learning . . . . . . . . . . . . . . . . 6
1.2.3 Popular Machine learning algorithms . . . . . . . . . . . . . 7
1.2.3.1 k-Nearest Neighbors (kNN) . . . . . . . . . . . . . 7
1.2.3.2 Decision Trees . . . . . . . . . . . . . . . . . . . . . 8
1.2.3.3 Logistic Regression . . . . . . . . . . . . . . . . . . 9
1.2.3.4 Support Vector Machines . . . . . . . . . . . . . . . 10
1.2.3.5 Artificial Neural Networks . . . . . . . . . . . . . . 13
1.2.3.6 Random Forest . . . . . . . . . . . . . . . . . . . . . 19
1.2.4 Evaluation metrics . . . . . . . . . . . . . . . . . . . . . . . . 20
1.2.5 Overfitting and Underfitting . . . . . . . . . . . . . . . . . . 21
1.2.5.1 Overfitting . . . . . . . . . . . . . . . . . . . . . . . 21
1.2.5.2 Underfitting . . . . . . . . . . . . . . . . . . . . . . 21
1.3 Deep learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.3.1 Definition and Concept . . . . . . . . . . . . . . . . . . . . . 21
1.3.2 Deep learning architectures . . . . . . . . . . . . . . . . . . . 22
1.3.2.1 Deep Neural Networks (DNN) . . . . . . . . . . . 22
1.3.2.2 Convolutional Neural Networks . . . . . . . . . . . 23
Contents 3
1.3.2.3 Recurrent Neural Networks . . . . . . . . . . . . . 27
1.3.3 Neural Networks and overfitting . . . . . . . . . . . . . . . . 28
1.3.3.1 Dropout . . . . . . . . . . . . . . . . . . . . . . . . . 28
1.3.3.2 Batch Normalization . . . . . . . . . . . . . . . . . 28
1.3.4 Deep learning applications . . . . . . . . . . . . . . . . . . . 28
1.3.4.1 Image Recognition . . . . . . . . . . . . . . . . . . . 29
1.3.4.2 Audio Processing . . . . . . . . . . . . . . . . . . . 29
1.3.4.3 Natural Language Processing . . . . . . . . . . . . 30
1.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2 Literature Review 31
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.2 Face Recognition and Feature Extraction . . . . . . . . . . . . . . . . 31
2.2.1 Human Face Feature Points . . . . . . . . . . . . . . . . . . . 31
2.2.2 Feature Extraction Methods . . . . . . . . . . . . . . . . . . . 32
2.2.2.1 Principal Component Analysis . . . . . . . . . . . . 33
2.2.2.2 Kernel Principal Component Analysis . . . . . . . 34
2.2.2.3 Linear Discriminate Analysis . . . . . . . . . . . . . 35
2.3 Related works . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2.3.1 Age Estimation and Classification . . . . . . . . . . . . . . . 36
2.3.2 Gender Classification . . . . . . . . . . . . . . . . . . . . . . . 38
2.3.3 Ethnicity Classification . . . . . . . . . . . . . . . . . . . . . . 39
2.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3 Methodology and Experiments 42
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.2 Dataset and Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . 42
3.2.1 Dataset Description . . . . . . . . . . . . . . . . . . . . . . . . 42
3.2.2 Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.3 Development environment . . . . . . . . . . . . . . . . . . . . . . . . 45
3.3.1 Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.3.1.1 Python . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.3.1.2 NumPy . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.3.1.3 Jupyter Notebook . . . . . . . . . . . . . . . . . . . 46
3.3.1.4 Scikit-Learn . . . . . . . . . . . . . . . . . . . . . . . 46
3.3.1.5 Matplotlib . . . . . . . . . . . . . . . . . . . . . . . 46
Contents 4
3.3.1.6 Tensorflow . . . . . . . . . . . . . . . . . . . . . . . 47
3.3.1.7 Keras . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.3.2 Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.3.2.1 Google Colaboratory Cloud . . . . . . . . . . . . . 47
3.3.2.2 Kaggle Kernel Cloud . . . . . . . . . . . . . . . . . 48
3.4 Methodology and Experiments Results . . . . . . . . . . . . . . . . 48
3.4.1 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.4.2 Proposed Methods . . . . . . . . . . . . . . . . . . . . . . . . 48
3.4.2.1 Support Vector Machines (SVM) . . . . . . . . . . . 48
3.4.2.2 Random Forest . . . . . . . . . . . . . . . . . . . . . 49
3.4.2.3 Artificial Neural Network (Single Layer Perceptron
SLP) . . . . . . . . . . . . . . . . . . . . . . . . 49
3.4.2.4 Artificial Neural Network (Multi-Layer Perceptron
MLP) . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.4.2.5 Transfer Learning . . . . . . . . . . . . . . . . . . . 49
3.4.2.6 Convolutional Neural Network . . . . . . . . . . . 52
3.4.3 Experiments Results . . . . . . . . . . . . . . . . . . . . . . . 53
3.4.3.1 Support Vector Machines (SVM) . . . . . . . . . . . 54
3.4.3.2 Random Forest . . . . . . . . . . . . . . . . . . . . . 54
3.4.3.3 Artificial Neural Network (Single Layer Perceptron
SLP) . . . . . . . . . . . . . . . . . . . . . . . . 54
3.4.3.4 Artificial Neural Network (Multi-Layer Perceptron
MLP) . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.4.3.5 Transfer Learning . . . . . . . . . . . . . . . . . . . 57
3.4.3.6 Convolutional Neural Network . . . . . . . . . . . 61
Discussion 68
Conclusion 70
Bibliography 71Côte titre : MAI/0287 En ligne : https://drive.google.com/file/d/1sc20Stq3cwCDecar4ArShHzSaNJKTe36/view?usp=shari [...] Format de la ressource électronique : Exemplaires (1)
Code-barres Cote Support Localisation Section Disponibilité MAI/0287 MAI/0287 Mémoire Bibliothéque des sciences Français Disponible
Disponible
Titre : Plant-Leaf Diseases Detection Based Deep Learning Approaches Type de document : texte imprimé Auteurs : Djaafer Gueddou, Auteur ; Hamdi ,Skander, Directeur de thèse Editeur : Setif:UFA Année de publication : 2024 Importance : 1 vol (80 f .) Format : 29 cm Langues : Anglais (eng) Catégories : Thèses & Mémoires:Informatique Mots-clés : Informatique Index. décimale : 004 - Informatique Résumé :
Detecting plant diseases is often challenging without expert knowledge. In this thesis,
we propose a new classification model based on deep learning to classify and identify
different plant leaf diseases with high accuracy, surpassing state-of-the-art approaches,
previous works, and expert diagnoses in pathology. Using only training images, convolutional
neural networks (CNNs) can automatically extract features for classification and achieve high
performance.
We utilized the Tomato dataset, which includes 11,000 healthy and unhealthy tomato leaf
images across nine disease categories. Our proposed models include a deep convolutional neural
network architecture and several fine-tuned pre-trained models. These pre-trained models are
ResNet50V2, Xception, InceptionV3, DenseNet201, EfficientNetV2M, InceptionResNetV2, and
ConvNeXtSmall.
Our proposed model achieved an accuracy exceeding 98% across all CNN and transformer
models. Specifically, the pre-trained models yielded an accuracy of up to 99.86%.
This study aims to enhance the detection of plant leaf diseases, thereby improving plant
health and contributing to better quality of human life.Note de contenu : Sommaire
1 Plant Leaf Diseases 1
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Plant Leaf Diseases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3 Infectious and Non Infectious Plant diseases . . . . . . . . . . . . . . . . . . . . . . . 3
1.3.1 Infectious Plant Diseases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3.1.1 Fungi and Fungal-like Organisms (FLOs) Diseases . . . . . . . . 3
1.3.1.2 Bacterial Diseases . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3.1.3 Nematodes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.3.1.4 Viral Diseases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.3.2 Non Infectious Diseases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2 Brief History of AI 11
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.2 Dartmouth Workshop . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.3 Dartmouth Workshop - AI Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.4 AI Fields and Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.4.1 AI Fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.4.2 AI Projects and Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
3 State of the Art 17
3.1 Machine Learning (ML) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
3.1.1 Classification & regression in Machine Learning . . . . . . . . . . . . . . . . 18
3.1.1.1 Classification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
Examples of Classification Algorithms . . . . . . . . . . . . . . . . . . 19
Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
3.1.1.2 Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
Examples of Regression Algorithms . . . . . . . . . . . . . . . . . . . 19
Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
3.1.2 Data Processing in Machine Learning . . . . . . . . . . . . . . . . . . . . . . 20
3.1.2.1 Key Steps in Data Processing . . . . . . . . . . . . . . . . . . . . . 20
Data Collection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
Data Cleaning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
Data Integration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
Data Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
Data Reduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
Data Augmentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
Data Splitting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.1.2.2 Detailed Steps with Examples . . . . . . . . . . . . . . . . . . . . . 21
Data Collection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
Data Cleaning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
Data Integration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
Data Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
Data Reduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
Data Augmentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
Data Splitting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3.1.2.3 Importance of Data Processing . . . . . . . . . . . . . . . . . . . . . 22
3.1.3 Overfitting & Underfitting in Machine Learning . . . . . . . . . . . . . . . . 22
3.1.3.1 Overfitting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
Symptoms of Overfitting . . . . . . . . . . . . . . . . . . . . . . . . . . 22
Causes of Overfitting . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
Solutions to Overfitting . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.1.3.2 Underfitting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
Symptoms of Underfitting . . . . . . . . . . . . . . . . . . . . . . . . . 23
Causes of Underfitting . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
Solutions to Underfitting . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.1.4 Model Evaluation & Validation in Machine Learning . . . . . . . . . . . . . 24
3.1.4.1 Key Concepts in Model Evaluation Validation . . . . . . . . . . . 24
Train-Test Split . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
Cross-Validation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
Evaluation Metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
Validation Techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
Hyperparameter Tuning . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.1.4.2 Example Workflow . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
Train-Test Split . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
Cross-Validation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
Evaluation Metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
Hyperparameter Tuning . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.2 Supervised Learning in Machine Learning . . . . . . . . . . . . . . . . . . . . . . . . 26
3.2.1 Logistic Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.2.1.1 One-vs-All Classification . . . . . . . . . . . . . . . . . . . . . . . . 26
3.2.2 Support Vector Machines (SVM) . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.2.3 k-Nearest Neighbors (k-NN) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.2.4 Decision Trees . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.2.5 Random Forests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.3 Unsupervised Learning in Machine Learning . . . . . . . . . . . . . . . . . . . . . . 27
3.3.1 Clustering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.3.1.1 Popular Clustering Algorithms . . . . . . . . . . . . . . . . . . . . . 28
k-Means Clustering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
Hierarchical Clustering . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
DBSCAN (Density-Based Spatial Clustering of Applications with
Noise) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
Gaussian Mixture Models (GMM) . . . . . . . . . . . . . . . . . . . . 28
3.3.2 Dimensionality Reduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.3.2.1 Popular Dimensionality Reduction Algorithms . . . . . . . . . . . 28
Principal Component Analysis (PCA) . . . . . . . . . . . . . . . . . . 28
t-Distributed Stochastic Neighbor Embedding (t-SNE) . . . . . . . . 28
Singular Value Decomposition (SVD) . . . . . . . . . . . . . . . . . . 29
3.3.3 Association . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.3.3.1 Popular Association Algorithms . . . . . . . . . . . . . . . . . . . . 29
Apriori Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
Eclat Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.4 Deep Learning DL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.4.1 Deep Learning in Brief . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.4.1.1 History and Evolution of Deep Learning . . . . . . . . . . . . . . . 29
3.4.1.2 Deep Learning vs. Traditional Machine Learning . . . . . . . . . 30
3.4.1.3 Applications of Deep Learning . . . . . . . . . . . . . . . . . . . . . 30
3.4.2 Neural Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3.4.2.1 Biological Neurons vs. Artificial Neurons . . . . . . . . . . . . . . 31
3.4.2.2 Perceptrons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3.4.2.3 Multilayer Perceptrons (MLP) . . . . . . . . . . . . . . . . . . . . . 31
3.4.2.4 Feedforward Networks . . . . . . . . . . . . . . . . . . . . . . . . . . 32
........Côte titre : MAI/0895 Plant-Leaf Diseases Detection Based Deep Learning Approaches [texte imprimé] / Djaafer Gueddou, Auteur ; Hamdi ,Skander, Directeur de thèse . - [S.l.] : Setif:UFA, 2024 . - 1 vol (80 f .) ; 29 cm.
Langues : Anglais (eng)
Catégories : Thèses & Mémoires:Informatique Mots-clés : Informatique Index. décimale : 004 - Informatique Résumé :
Detecting plant diseases is often challenging without expert knowledge. In this thesis,
we propose a new classification model based on deep learning to classify and identify
different plant leaf diseases with high accuracy, surpassing state-of-the-art approaches,
previous works, and expert diagnoses in pathology. Using only training images, convolutional
neural networks (CNNs) can automatically extract features for classification and achieve high
performance.
We utilized the Tomato dataset, which includes 11,000 healthy and unhealthy tomato leaf
images across nine disease categories. Our proposed models include a deep convolutional neural
network architecture and several fine-tuned pre-trained models. These pre-trained models are
ResNet50V2, Xception, InceptionV3, DenseNet201, EfficientNetV2M, InceptionResNetV2, and
ConvNeXtSmall.
Our proposed model achieved an accuracy exceeding 98% across all CNN and transformer
models. Specifically, the pre-trained models yielded an accuracy of up to 99.86%.
This study aims to enhance the detection of plant leaf diseases, thereby improving plant
health and contributing to better quality of human life.Note de contenu : Sommaire
1 Plant Leaf Diseases 1
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Plant Leaf Diseases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3 Infectious and Non Infectious Plant diseases . . . . . . . . . . . . . . . . . . . . . . . 3
1.3.1 Infectious Plant Diseases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3.1.1 Fungi and Fungal-like Organisms (FLOs) Diseases . . . . . . . . 3
1.3.1.2 Bacterial Diseases . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3.1.3 Nematodes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.3.1.4 Viral Diseases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.3.2 Non Infectious Diseases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2 Brief History of AI 11
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.2 Dartmouth Workshop . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.3 Dartmouth Workshop - AI Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.4 AI Fields and Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.4.1 AI Fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.4.2 AI Projects and Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
3 State of the Art 17
3.1 Machine Learning (ML) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
3.1.1 Classification & regression in Machine Learning . . . . . . . . . . . . . . . . 18
3.1.1.1 Classification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
Examples of Classification Algorithms . . . . . . . . . . . . . . . . . . 19
Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
3.1.1.2 Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
Examples of Regression Algorithms . . . . . . . . . . . . . . . . . . . 19
Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
3.1.2 Data Processing in Machine Learning . . . . . . . . . . . . . . . . . . . . . . 20
3.1.2.1 Key Steps in Data Processing . . . . . . . . . . . . . . . . . . . . . 20
Data Collection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
Data Cleaning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
Data Integration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
Data Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
Data Reduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
Data Augmentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
Data Splitting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.1.2.2 Detailed Steps with Examples . . . . . . . . . . . . . . . . . . . . . 21
Data Collection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
Data Cleaning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
Data Integration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
Data Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
Data Reduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
Data Augmentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
Data Splitting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3.1.2.3 Importance of Data Processing . . . . . . . . . . . . . . . . . . . . . 22
3.1.3 Overfitting & Underfitting in Machine Learning . . . . . . . . . . . . . . . . 22
3.1.3.1 Overfitting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
Symptoms of Overfitting . . . . . . . . . . . . . . . . . . . . . . . . . . 22
Causes of Overfitting . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
Solutions to Overfitting . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.1.3.2 Underfitting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
Symptoms of Underfitting . . . . . . . . . . . . . . . . . . . . . . . . . 23
Causes of Underfitting . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
Solutions to Underfitting . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.1.4 Model Evaluation & Validation in Machine Learning . . . . . . . . . . . . . 24
3.1.4.1 Key Concepts in Model Evaluation Validation . . . . . . . . . . . 24
Train-Test Split . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
Cross-Validation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
Evaluation Metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
Validation Techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
Hyperparameter Tuning . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.1.4.2 Example Workflow . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
Train-Test Split . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
Cross-Validation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
Evaluation Metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
Hyperparameter Tuning . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.2 Supervised Learning in Machine Learning . . . . . . . . . . . . . . . . . . . . . . . . 26
3.2.1 Logistic Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.2.1.1 One-vs-All Classification . . . . . . . . . . . . . . . . . . . . . . . . 26
3.2.2 Support Vector Machines (SVM) . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.2.3 k-Nearest Neighbors (k-NN) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.2.4 Decision Trees . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.2.5 Random Forests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.3 Unsupervised Learning in Machine Learning . . . . . . . . . . . . . . . . . . . . . . 27
3.3.1 Clustering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.3.1.1 Popular Clustering Algorithms . . . . . . . . . . . . . . . . . . . . . 28
k-Means Clustering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
Hierarchical Clustering . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
DBSCAN (Density-Based Spatial Clustering of Applications with
Noise) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
Gaussian Mixture Models (GMM) . . . . . . . . . . . . . . . . . . . . 28
3.3.2 Dimensionality Reduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.3.2.1 Popular Dimensionality Reduction Algorithms . . . . . . . . . . . 28
Principal Component Analysis (PCA) . . . . . . . . . . . . . . . . . . 28
t-Distributed Stochastic Neighbor Embedding (t-SNE) . . . . . . . . 28
Singular Value Decomposition (SVD) . . . . . . . . . . . . . . . . . . 29
3.3.3 Association . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.3.3.1 Popular Association Algorithms . . . . . . . . . . . . . . . . . . . . 29
Apriori Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
Eclat Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.4 Deep Learning DL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.4.1 Deep Learning in Brief . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.4.1.1 History and Evolution of Deep Learning . . . . . . . . . . . . . . . 29
3.4.1.2 Deep Learning vs. Traditional Machine Learning . . . . . . . . . 30
3.4.1.3 Applications of Deep Learning . . . . . . . . . . . . . . . . . . . . . 30
3.4.2 Neural Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3.4.2.1 Biological Neurons vs. Artificial Neurons . . . . . . . . . . . . . . 31
3.4.2.2 Perceptrons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3.4.2.3 Multilayer Perceptrons (MLP) . . . . . . . . . . . . . . . . . . . . . 31
3.4.2.4 Feedforward Networks . . . . . . . . . . . . . . . . . . . . . . . . . . 32
........Côte titre : MAI/0895 Exemplaires (1)
Code-barres Cote Support Localisation Section Disponibilité MAI/0895 MAI/0895 Mémoire Bibliothéque des sciences Anglais Disponible
DisponibleSpeech Emotion Identification and Classification with Transformers and Whisper Architectures / Amira Bouhafs
Titre : Speech Emotion Identification and Classification with Transformers and Whisper Architectures Type de document : texte imprimé Auteurs : Amira Bouhafs, Auteur ; Sabrina Khemis ; Hamdi ,Skander, Directeur de thèse Editeur : Setif:UFA Année de publication : 2024 Importance : 1 vol (88 f .) Format : 29 cm Langues : Anglais (eng) Catégories : Thèses & Mémoires:Informatique Mots-clés : Machine Learning
Convolutional neural networks
Long Short Term Memory networks
Mel-frequency cepstral coefficients
Support vector machineIndex. décimale : 004 - Informatique Résumé :
This thesis uses advanced deep learning techniques to explore Speech Emotion Recognition
(SER), particularly focusing on Transformer and Whisper architectures. The study aims
to develop models capable of accurately identifying and classifying emotions from speech,
leveraging the power of deep learning frameworks.
The research begins with an overview of emotion theory and the challenges inherent
in emotion detection through speech. Various machine learning and deep learning
approaches are examined, with a particular emphasis on traditional methods such as
Decision Trees, SVM, and KNN, as well as more sophisticated neural network
architectures including CNN, LSTM, and hybrid models.
The Transformer model emerged as the most effective through extensive
experimentation, achieving an accuracy of 95%. This is closely followed by a CNN
BiLSTM model with Multi-Head Attention, which achieved an accuracy of 94.54%.
Additionally, the study integrates multimodal data, combining audio transcription with
audio features, leading to a significant performance boost. The highest accuracy, 97.42%,
was achieved by the Multimodal DziriBert + Transformer model on the Algerian
dataset.Note de contenu : Sommaire
Introduction xiii
1 Speech Emotion Recognition Overview 1
1.1 Emotion Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Basic and Complex Emotions . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2.1 Basic Emotions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2.2 Complex Emotions . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3 Sensory modalities for emotion expression . . . . . . . . . . . . . . . . . . 3
1.3.1 Facial expressions . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3.2 Speech and Voice Modulation . . . . . . . . . . . . . . . . . . . . . 4
1.3.3 Physiological Signals . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.4 What is Speech Recognition . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.4.1 Types of Speech Recognition . . . . . . . . . . . . . . . . . . . . . 5
1.4.1.1 Isolated Words . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.4.1.2 Connected Words . . . . . . . . . . . . . . . . . . . . . . . 5
1.4.1.3 Continuous Speech . . . . . . . . . . . . . . . . . . . . . . . 6
1.4.1.4 Spontaneous Speech . . . . . . . . . . . . . . . . . . . . . . 6
1.4.2 What Applications is Speech Recognition used for . . . . . . . . . . 6
1.5 Speech Emotion Recognition . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.5.1 Data Bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.5.1.1 Spontaneous Speech . . . . . . . . . . . . . . . . . . . . . . 7
1.5.1.2 Acted Speech . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.5.1.2 Elicited Speech . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.6 Dataset Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.6.1 Feature Extraction . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.6.1.1 MFCCs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.6.1.1 Short Time Fourier Transform (STFT) . . . . . . . . . . . . 12
1.6.1.1 Mel Spectogram . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.7 Applications of SER . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.8 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2 Theorical Concept and Related Work 16
2.1 Machine Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.2 Types of Machine Learning : . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.2.1 Supervised Learning . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.2.1.1 Classification . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.2.1.2 Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.2.2 Unsupervised Learning . . . . . . . . . . . . . . . . . . . . . . . . 18
2.2.3 Semi-Supervised Learning . . . . . . . . . . . . . . . . . . . . . . . 19
2.2.4 Reinforcement Learning . . . . . . . . . . . . . . . . . . . . . . . . 19
2.3 Classical Machine Learning Algorithms . . . . . . . . . . . . . . . . . . . 19
2.3.1 Support Vector Machines (SVM) . . . . . . . . . . . . . . . . . . . 19
2.3.2 Decision Trees . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.3.3 Random Forest . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.3.4 k-Nearest Neighbors (k-NN) . . . . . . . . . . . . . . . . . . . . . . 20
2.3.5 Related Works Using Classical ML Models . . . . . . . . . . . . . . 21
2.4 Deep Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.4.1 Artificial Neural Networks (ANNs) . . . . . . . . . . . . . . . . . . 22
2.4.2 Convolutional Neural Networks (CNNs) . . . . . . . . . . . . . . . 23
2.4.3 Recurrent Neural Networks (RNNs) . . . . . . . . . . . . . . . . . . 25
2.4.4 Long Short-Term Memory (LSTM) . . . . . . . . . . . . . . . . . . 26
2.4.5 Bidirectional Recurrent Neural Networks (BRNN) . . . . . . . . . . 27
2.4.6 Related Work Using DL Models . . . . . . . . . . . . . . . . . . . . 28
2.5 Transformer Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.5.1 Background on Transformers . . . . . . . . . . . . . . . . . . . . . 29
2.5.2 Transformer Architecture . . . . . . . . . . . . . . . . . . . . . . . 30
2.5.2.1 Input Embeddings . . . . . . . . . . . . . . . . . . . . . . . 30
2.5.2.2 Encoder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.5.2.3 Decoder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.5.3 Transformers’ Pre-trained Models . . . . . . . . . . . . . . . . . . . 32
2.5.3.1 BERT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.5.3.2 AraBERT . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.5.3.3 DziriBERT . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.5.4 Application of Transformers in Speech Emotion Recognition . . . . 32
2.6 Whisper Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.6.1 Introduction to Whisper . . . . . . . . . . . . . . . . . . . . . . . . 33
2.6.2 Architectural Design . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.6.3 Model Variants and Fine-Tuning . . . . . . . . . . . . . . . . . . . 34
2.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3 Dataset and Implementation Tools 35
3.1 Dataset Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.1.1 Algerian dialect . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.1.2 CREMA-D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.1.3 SAVEE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.1.4 RAVDESS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.1.5 TESS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.2 Data Cleaning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.2.1 Silence Removal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.2.2 Noise removal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.3 Data Augmentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.4 Development Environment . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.4.1 Python . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.4.2 Tensorflow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.4.3 NumPy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.4.4 Keras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.4.5 Librosa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.4.6 Sickit-learn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.4.7 Early Stopping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.4.8 ReduceLROnPlateau . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.4.9 ModelCheckpoint . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.4.10 Matplotlib . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.4.11 Plotly . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.4.12 Jupyter notebooks . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.4.13 Kaggle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.4.14 Google Colab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.5 Overfitting and Underfitting . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.5.1 Overfitting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.5.2 Underfitting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.6 Evaluation metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.6.1 Accuracy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.6.2 Precision . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.6.3 Recall . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.6.4 F1-score . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.6.5 AUC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.6.6 Confusion matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4 Experiments And Results 46
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
4.1.1 Machine Learning Models . . . . . . . . . . . . . . . . . . . . . . . 46
4.1.2 Conclusion : . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
4.2 Machine Learning approaches . . . . . . . . . . . . . . . . . . . . . . . . . 50
4.2.1 Decision Trees Classifier . . . . . . . . . . . . . . . . . . . . . . . . 50
4.2.2 SVM Classifier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
4.2.3 KNN Classifier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
4.2.4 Random Forest Classifier . . . . . . . . . . . . . . . . . . . . . . . . 51
4.2.5 Machine learning algorithms results . . . . . . . . . . . . . . . . . . 51
4.2.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.3 Deep learning approaches . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.3.1 Deep Learning Training with Callbacks . . . . . . . . . . . . . . . . 52
4.3.2 SimpleRNN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.3.3 LSTM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
4.3.4 CNNs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
4.3.5 CNN LSTM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
4.3.6 CNN BiLSTM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
4.3.7 CNN Multi-head Attention . . . . . . . . . . . . . . . . . . . . . . 60
4.3.8 CNN BiLSTM Multi-Head Attention . . . . . . . . . . . . . . . . . 62
4.3.9 Transformer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.3.10 Multimodal Transformer . . . . . . . . . . . . . . . . . . . . . . . . 67
4.3.11 Comparative Performance Analysis of Models . . . . . . . . . . . . 71
4.3.12 Fine-Tuning Whisper Model . . . . . . . . . . . . . . . . . . . . . . 71
4.4 Results comparisons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
4.4.1 Result comparisons based on Crema D . . . . . . . . . . . . . . . . 73
4.4.2 Result comparisons based on Algerian Dataset . . . . . . . . . . . 75
4.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76Côte titre : MAI/0874 Speech Emotion Identification and Classification with Transformers and Whisper Architectures [texte imprimé] / Amira Bouhafs, Auteur ; Sabrina Khemis ; Hamdi ,Skander, Directeur de thèse . - [S.l.] : Setif:UFA, 2024 . - 1 vol (88 f .) ; 29 cm.
Langues : Anglais (eng)
Catégories : Thèses & Mémoires:Informatique Mots-clés : Machine Learning
Convolutional neural networks
Long Short Term Memory networks
Mel-frequency cepstral coefficients
Support vector machineIndex. décimale : 004 - Informatique Résumé :
This thesis uses advanced deep learning techniques to explore Speech Emotion Recognition
(SER), particularly focusing on Transformer and Whisper architectures. The study aims
to develop models capable of accurately identifying and classifying emotions from speech,
leveraging the power of deep learning frameworks.
The research begins with an overview of emotion theory and the challenges inherent
in emotion detection through speech. Various machine learning and deep learning
approaches are examined, with a particular emphasis on traditional methods such as
Decision Trees, SVM, and KNN, as well as more sophisticated neural network
architectures including CNN, LSTM, and hybrid models.
The Transformer model emerged as the most effective through extensive
experimentation, achieving an accuracy of 95%. This is closely followed by a CNN
BiLSTM model with Multi-Head Attention, which achieved an accuracy of 94.54%.
Additionally, the study integrates multimodal data, combining audio transcription with
audio features, leading to a significant performance boost. The highest accuracy, 97.42%,
was achieved by the Multimodal DziriBert + Transformer model on the Algerian
dataset.Note de contenu : Sommaire
Introduction xiii
1 Speech Emotion Recognition Overview 1
1.1 Emotion Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Basic and Complex Emotions . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2.1 Basic Emotions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2.2 Complex Emotions . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3 Sensory modalities for emotion expression . . . . . . . . . . . . . . . . . . 3
1.3.1 Facial expressions . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3.2 Speech and Voice Modulation . . . . . . . . . . . . . . . . . . . . . 4
1.3.3 Physiological Signals . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.4 What is Speech Recognition . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.4.1 Types of Speech Recognition . . . . . . . . . . . . . . . . . . . . . 5
1.4.1.1 Isolated Words . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.4.1.2 Connected Words . . . . . . . . . . . . . . . . . . . . . . . 5
1.4.1.3 Continuous Speech . . . . . . . . . . . . . . . . . . . . . . . 6
1.4.1.4 Spontaneous Speech . . . . . . . . . . . . . . . . . . . . . . 6
1.4.2 What Applications is Speech Recognition used for . . . . . . . . . . 6
1.5 Speech Emotion Recognition . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.5.1 Data Bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.5.1.1 Spontaneous Speech . . . . . . . . . . . . . . . . . . . . . . 7
1.5.1.2 Acted Speech . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.5.1.2 Elicited Speech . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.6 Dataset Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.6.1 Feature Extraction . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.6.1.1 MFCCs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.6.1.1 Short Time Fourier Transform (STFT) . . . . . . . . . . . . 12
1.6.1.1 Mel Spectogram . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.7 Applications of SER . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.8 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2 Theorical Concept and Related Work 16
2.1 Machine Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.2 Types of Machine Learning : . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.2.1 Supervised Learning . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.2.1.1 Classification . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.2.1.2 Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.2.2 Unsupervised Learning . . . . . . . . . . . . . . . . . . . . . . . . 18
2.2.3 Semi-Supervised Learning . . . . . . . . . . . . . . . . . . . . . . . 19
2.2.4 Reinforcement Learning . . . . . . . . . . . . . . . . . . . . . . . . 19
2.3 Classical Machine Learning Algorithms . . . . . . . . . . . . . . . . . . . 19
2.3.1 Support Vector Machines (SVM) . . . . . . . . . . . . . . . . . . . 19
2.3.2 Decision Trees . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.3.3 Random Forest . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.3.4 k-Nearest Neighbors (k-NN) . . . . . . . . . . . . . . . . . . . . . . 20
2.3.5 Related Works Using Classical ML Models . . . . . . . . . . . . . . 21
2.4 Deep Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.4.1 Artificial Neural Networks (ANNs) . . . . . . . . . . . . . . . . . . 22
2.4.2 Convolutional Neural Networks (CNNs) . . . . . . . . . . . . . . . 23
2.4.3 Recurrent Neural Networks (RNNs) . . . . . . . . . . . . . . . . . . 25
2.4.4 Long Short-Term Memory (LSTM) . . . . . . . . . . . . . . . . . . 26
2.4.5 Bidirectional Recurrent Neural Networks (BRNN) . . . . . . . . . . 27
2.4.6 Related Work Using DL Models . . . . . . . . . . . . . . . . . . . . 28
2.5 Transformer Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.5.1 Background on Transformers . . . . . . . . . . . . . . . . . . . . . 29
2.5.2 Transformer Architecture . . . . . . . . . . . . . . . . . . . . . . . 30
2.5.2.1 Input Embeddings . . . . . . . . . . . . . . . . . . . . . . . 30
2.5.2.2 Encoder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.5.2.3 Decoder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.5.3 Transformers’ Pre-trained Models . . . . . . . . . . . . . . . . . . . 32
2.5.3.1 BERT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.5.3.2 AraBERT . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.5.3.3 DziriBERT . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.5.4 Application of Transformers in Speech Emotion Recognition . . . . 32
2.6 Whisper Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.6.1 Introduction to Whisper . . . . . . . . . . . . . . . . . . . . . . . . 33
2.6.2 Architectural Design . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.6.3 Model Variants and Fine-Tuning . . . . . . . . . . . . . . . . . . . 34
2.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3 Dataset and Implementation Tools 35
3.1 Dataset Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.1.1 Algerian dialect . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.1.2 CREMA-D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.1.3 SAVEE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.1.4 RAVDESS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.1.5 TESS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.2 Data Cleaning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.2.1 Silence Removal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.2.2 Noise removal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.3 Data Augmentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.4 Development Environment . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.4.1 Python . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.4.2 Tensorflow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.4.3 NumPy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.4.4 Keras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.4.5 Librosa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.4.6 Sickit-learn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.4.7 Early Stopping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.4.8 ReduceLROnPlateau . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.4.9 ModelCheckpoint . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.4.10 Matplotlib . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.4.11 Plotly . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.4.12 Jupyter notebooks . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.4.13 Kaggle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.4.14 Google Colab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.5 Overfitting and Underfitting . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.5.1 Overfitting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.5.2 Underfitting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.6 Evaluation metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.6.1 Accuracy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.6.2 Precision . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.6.3 Recall . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.6.4 F1-score . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.6.5 AUC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.6.6 Confusion matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4 Experiments And Results 46
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
4.1.1 Machine Learning Models . . . . . . . . . . . . . . . . . . . . . . . 46
4.1.2 Conclusion : . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
4.2 Machine Learning approaches . . . . . . . . . . . . . . . . . . . . . . . . . 50
4.2.1 Decision Trees Classifier . . . . . . . . . . . . . . . . . . . . . . . . 50
4.2.2 SVM Classifier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
4.2.3 KNN Classifier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
4.2.4 Random Forest Classifier . . . . . . . . . . . . . . . . . . . . . . . . 51
4.2.5 Machine learning algorithms results . . . . . . . . . . . . . . . . . . 51
4.2.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.3 Deep learning approaches . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.3.1 Deep Learning Training with Callbacks . . . . . . . . . . . . . . . . 52
4.3.2 SimpleRNN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.3.3 LSTM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
4.3.4 CNNs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
4.3.5 CNN LSTM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
4.3.6 CNN BiLSTM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
4.3.7 CNN Multi-head Attention . . . . . . . . . . . . . . . . . . . . . . 60
4.3.8 CNN BiLSTM Multi-Head Attention . . . . . . . . . . . . . . . . . 62
4.3.9 Transformer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.3.10 Multimodal Transformer . . . . . . . . . . . . . . . . . . . . . . . . 67
4.3.11 Comparative Performance Analysis of Models . . . . . . . . . . . . 71
4.3.12 Fine-Tuning Whisper Model . . . . . . . . . . . . . . . . . . . . . . 71
4.4 Results comparisons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
4.4.1 Result comparisons based on Crema D . . . . . . . . . . . . . . . . 73
4.4.2 Result comparisons based on Algerian Dataset . . . . . . . . . . . 75
4.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76Côte titre : MAI/0874 Exemplaires (1)
Code-barres Cote Support Localisation Section Disponibilité MAI/0874 MAI/0874 Mémoire Bibliothéque des sciences Anglais Disponible
Disponible
