University Sétif 1 FERHAT ABBAS Faculty of Sciences
Détail de l'auteur
Auteur Hefassa, Maroua |
Documents disponibles écrits par cet auteur
Ajouter le résultat dans votre panier Affiner la recherche
Titre : Emotional Facial Expression Recognition Type de document : texte imprimé Auteurs : Hefassa, Maroua, Auteur ; Touahria,Mohamed, Directeur de thèse Editeur : Setif:UFA Année de publication : 2019 Importance : 1 vol (63 f .) Format : 29 cm Langues : Français (fre) Catégories : Thèses & Mémoires:Informatique Mots-clés : Apprentissage automatique
Réseaux de neurones convolutionnels
Reconnais-sance des expressions facialesIndex. décimale : 004 - Informatique Résumé : L’expression faciale est l’un des moyens puissants et naturels permettant aux êtres humains de communiquer leurs émotions et leurs intentions. La capacité à reconnaître les ex-pressions faciales émotionnelles est complexe lors des interactions. Dans le domaine de l'informatique affective, il s’agit de créer un modèle montrant l'importance de l'expression faciale. Dans notre étude, la méthode de reconnaissance des expressions faciales émotion-nelles est appliquée aux jeux de données Cohn Kanade et Japanese Female Facial Expression pour classifier les expressions faciales universellement reconnues. Dans nos expériences, nous proposons des architectures de réseaux de neurones convolutionnels profonds et ajustons deux modèles de pré-entraînement formés sur deux jeux de données tels que l’Inception et VGG-16 qui ont donné de meilleurs résultats. L'apprentissage en profondeur a le potentiel d'améliorer l'interaction homme-machine car sa capacité à apprendre des fonctionnalités permettra aux machines de développer leur perception. De plus, en ayant la perception, les machines fourni-ront potentiellement des réponses plus faciles, améliorant ainsi l'expérience de l'utilisateur. Note de contenu :
Sommaire
ACKNOWLEDGEMENTS ....................................................................................................1
ABSTRACT .................................................................................................2
CONTENTS ...................................................................................................3
LIST OF FIGURES ..............................................................................................................6
LIST OF TABLES ................................................................................................................7
INTRODUCTION ................................................................................................................8
1 THEORETICAL BACKGROUND ............................................................................ 10
1.1 INTRODUCTION ................................................................................... 10
1.2 MACHINE LEARNING CATEGORIES ........................................................................................................... 10
1.2.1 Supervised Learning ......................................................................................................... 10
1.2.2 Unsupervised Learning ............................................................................................................... 11
1.3 MACHINE LEARNING TASKS .................................................................................................. 11
1.3.1 Classification ................................................................................................... 11
1.3.1.1 Support Vector Machine .......................................................................................................... 12
1.3.1.2 Naïve Bayes Classifier ....................................................................................................... 13
1.3.1.3 Decision Tree ........................................................................................................ 14
1.3.1.4 Random Forest ................................................................................................ 14
1.3.1.5 Neural Network ................................................................................................. 15
1.3.1.6 Boosting ............................................................................................................... 16
1.3.2 Regression ............................................................................................................ 16
1.3.3 Clustering............................................................................................... 17
1.3.4 Deep Learning ........................................................................................................ 17
1.3.4.1 Optimization in deep learning ........................................................................................................... 18 1.3.4.2 Regularization for deep learning ....................................................................................................... 18
1.3.4.2.1 Dropout............................................................................................ 18
1.3.4.2.2 Batch normalization ................................................................................................ 19
1.3.4.2.3 Data Augmentation ................................................................................................... 19
1.3.4.3 Model parameters..................................................................................20
1.3.4.3.1 epoch ................................................................................................. 20
1.3.4.3.2 Batch ........................................................................................ 20
1.3.4.3.3 Batch size .........................................................................................
1.3.4.3.4 Loss function ..................................................................................................
20 1.3.4.3.5 Activation function ........................................................................................................... 20 1.3.4.4 Deep Learning Architectures ............................................................................................................. 21 1.3.4.4.1 Autoencoders (AE) ....................................................................................................... 21
1.3.4.4.2 Deep Belief Network (DBN) .......................................................................................................... 22
1.3.5 Convolutional Neural Networks .................................................................................................. 23
1.3.6 Transfer learning .......................................................................................................... 25
1.3.6.1 ImageNet ...................................................................................................... 25
1.3.6.2 Pretrained model ....................................................................................................... 25
1.3.6.2.1 VGG-16........................................................................................................ 25
1.3.6.2.2 Inception ............................................................................................................ 26
1.4 CONCLUSION .......................................................................................... 26
2 EMOTIONAL FACIAL EXPRESSIONS RECOGNITION ..................................... 27
2.1 INTRODUCTION ............................................................................................... 27
2.2 FACIAL EXPRESSIONS RECOGNITION APPLICATION DOMAIN ........................................................................... 27
4
2.3 PAUL EKMAN’S BASIC EMOTIONS ............................................................................................................ 27
2.4 EMOTIONAL FACIAL EXPRESSIONS RECOGNITION PROBLEMS .......................................................................... 29
2.5 FACIAL EXPRESSIONS RECOGNITION PROCESS ............................................................................................. 29
2.5.1 Face Detection ....................................................................................................... 30
2.5.1.1 Knowledge-based methods .............................................................................................................. 30
2.5.1.2 Feature invariant approaches ........................................................................................................... 30
2.5.2 Feature Extraction ....................................................................................................... 31
2.5.2.1 Appearance based methods ............................................................................................................. 31
2.5.2.1.1 Gabor Features ............................................................................................................................ 32
2.5.2.1.2 Haar features................................................................................33
2.5.2.1.3 Local Binary Pattern (LBP) features ............................................................................................... 34
2.5.2.2 Geometric feature based methods.................................................................................................... 35
2.5.3 Expression classification / recognition ........................................................................................ 35
2.6 CONCLUSION ........................................................................................................ 36
3 DATASET AND IMPLEMENTATION TOOLS ...................................................... 37
3.1 INTRODUCTION .................................................................................................................................. 37
3.2 AVAILABLE EMOTIONAL DATASET............................................................................................................ 37
3.2.1 Cohn-Kanade facial expression database .................................................................................... 37
3.2.2 Japanese Female Facial Expression (JAFFE) Dataset .................................................................... 39
3.3 IMPLEMENTATION FRAMEWORK AND TOOLS ............................................................................................. 39
3.3.1 Python ....................................................................................................................................... 40
3.3.2 Scikit-learn ................................................................................................................................. 40
3.3.3 Tensorflow ................................................................................................................................. 40
3.3.4 Keras ......................................................................................................................................... 40
3.3.5 Jupyter notebook ....................................................................................................................... 41
3.3.6 Google Colab ............................................................................................................................. 41
3.3.7 Kaggle ....................................................................................................................................... 42
3.4 MODEL EVALUATION METRICS ................................................................................................................ 42
3.4.1 Accuracy .................................................................................................................................... 42
3.4.2 Precision .................................................................................................................................... 42
3.4.3 Recall ......................................................................................................................................... 42
3.4.4 F1-score ..................................................................................................................................... 43
3.4.5 Confusion matrix ........................................................................................................................ 43
3.5 PROPOSED APPROACHES ....................................................................................................................... 43
3.5.1 Machine learning approaches .................................................................................................... 44
3.5.2 Deep learning approaches .......................................................................................................... 44
3.6 CONCLUSION ..................................................................................................................... 44
4 EXPERIMENTS AND RESULTS .............................................................................. 45
4.1 INTRODUCTION .................................................................................................................................. 45
4.2 MACHINE LEARNING APPROACHES ........................................................................................................... 45
4.2.1 Decision tree classifier ................................................................................................................ 45
4.2.2 XGBOOST classifier ..................................................................................................................... 45
4.2.3 Random forest classifier ............................................................................................................. 46
4.2.4 SVM classifier ........................................................................................................................ 46
4.2.5 Machine learning algorithms results ........................................................................................... 46
4.3 DEEP LEARNING APPROACHES ................................................................................................................ 47
4.3.1 Ck 48 dataset ............................................................................................................................. 47
4.3.1.1 Convolution neural network ............................................................................................................. 47
4.3.1.1.1 Model and architecture interpretation ......................................................................................... 48
4.3.1.1.2 Model compiling ........................................................................................................ 49
4.3.1.2 Transfer learning ....................................................................................................52
4.3.1.2.1 VGG-16 pretrained model ............................................................................................................ 53
4.3.1.2.2 Inception V3 pretrained model..................................................................................................... 54
4.3.2 JAFFE datasets ....................................................................................................... 56
4.3.2.1 Convolution neural networks ............................................................................................................ 56
4.3.2.1.1 First CNN architecture................................................................................................... 56
4.3.2.1.2 Second CNN architecture ............................................................................................................. 57
4.4 RESULTS COMPARISONS ........................................................................................................................ 60
4.4.1 First dataset (CK 48) ................................................................................................... 60
4.4.2 Second dataset (JAFFE)................................................................................................. 60
4.5 CONCLUSION ..................................................................................................................................... 61
CONCLUSION ................................................................................................................... 6
BIBLIOGRAPHY............................................................................................Côte titre : MAI/0328 En ligne : https://drive.google.com/file/d/1t_VL8jADg2PCheEX0lY6XF8hvoSu3pQp/view?usp=shari [...] Format de la ressource électronique : Emotional Facial Expression Recognition [texte imprimé] / Hefassa, Maroua, Auteur ; Touahria,Mohamed, Directeur de thèse . - [S.l.] : Setif:UFA, 2019 . - 1 vol (63 f .) ; 29 cm.
Langues : Français (fre)
Catégories : Thèses & Mémoires:Informatique Mots-clés : Apprentissage automatique
Réseaux de neurones convolutionnels
Reconnais-sance des expressions facialesIndex. décimale : 004 - Informatique Résumé : L’expression faciale est l’un des moyens puissants et naturels permettant aux êtres humains de communiquer leurs émotions et leurs intentions. La capacité à reconnaître les ex-pressions faciales émotionnelles est complexe lors des interactions. Dans le domaine de l'informatique affective, il s’agit de créer un modèle montrant l'importance de l'expression faciale. Dans notre étude, la méthode de reconnaissance des expressions faciales émotion-nelles est appliquée aux jeux de données Cohn Kanade et Japanese Female Facial Expression pour classifier les expressions faciales universellement reconnues. Dans nos expériences, nous proposons des architectures de réseaux de neurones convolutionnels profonds et ajustons deux modèles de pré-entraînement formés sur deux jeux de données tels que l’Inception et VGG-16 qui ont donné de meilleurs résultats. L'apprentissage en profondeur a le potentiel d'améliorer l'interaction homme-machine car sa capacité à apprendre des fonctionnalités permettra aux machines de développer leur perception. De plus, en ayant la perception, les machines fourni-ront potentiellement des réponses plus faciles, améliorant ainsi l'expérience de l'utilisateur. Note de contenu :
Sommaire
ACKNOWLEDGEMENTS ....................................................................................................1
ABSTRACT .................................................................................................2
CONTENTS ...................................................................................................3
LIST OF FIGURES ..............................................................................................................6
LIST OF TABLES ................................................................................................................7
INTRODUCTION ................................................................................................................8
1 THEORETICAL BACKGROUND ............................................................................ 10
1.1 INTRODUCTION ................................................................................... 10
1.2 MACHINE LEARNING CATEGORIES ........................................................................................................... 10
1.2.1 Supervised Learning ......................................................................................................... 10
1.2.2 Unsupervised Learning ............................................................................................................... 11
1.3 MACHINE LEARNING TASKS .................................................................................................. 11
1.3.1 Classification ................................................................................................... 11
1.3.1.1 Support Vector Machine .......................................................................................................... 12
1.3.1.2 Naïve Bayes Classifier ....................................................................................................... 13
1.3.1.3 Decision Tree ........................................................................................................ 14
1.3.1.4 Random Forest ................................................................................................ 14
1.3.1.5 Neural Network ................................................................................................. 15
1.3.1.6 Boosting ............................................................................................................... 16
1.3.2 Regression ............................................................................................................ 16
1.3.3 Clustering............................................................................................... 17
1.3.4 Deep Learning ........................................................................................................ 17
1.3.4.1 Optimization in deep learning ........................................................................................................... 18 1.3.4.2 Regularization for deep learning ....................................................................................................... 18
1.3.4.2.1 Dropout............................................................................................ 18
1.3.4.2.2 Batch normalization ................................................................................................ 19
1.3.4.2.3 Data Augmentation ................................................................................................... 19
1.3.4.3 Model parameters..................................................................................20
1.3.4.3.1 epoch ................................................................................................. 20
1.3.4.3.2 Batch ........................................................................................ 20
1.3.4.3.3 Batch size .........................................................................................
1.3.4.3.4 Loss function ..................................................................................................
20 1.3.4.3.5 Activation function ........................................................................................................... 20 1.3.4.4 Deep Learning Architectures ............................................................................................................. 21 1.3.4.4.1 Autoencoders (AE) ....................................................................................................... 21
1.3.4.4.2 Deep Belief Network (DBN) .......................................................................................................... 22
1.3.5 Convolutional Neural Networks .................................................................................................. 23
1.3.6 Transfer learning .......................................................................................................... 25
1.3.6.1 ImageNet ...................................................................................................... 25
1.3.6.2 Pretrained model ....................................................................................................... 25
1.3.6.2.1 VGG-16........................................................................................................ 25
1.3.6.2.2 Inception ............................................................................................................ 26
1.4 CONCLUSION .......................................................................................... 26
2 EMOTIONAL FACIAL EXPRESSIONS RECOGNITION ..................................... 27
2.1 INTRODUCTION ............................................................................................... 27
2.2 FACIAL EXPRESSIONS RECOGNITION APPLICATION DOMAIN ........................................................................... 27
4
2.3 PAUL EKMAN’S BASIC EMOTIONS ............................................................................................................ 27
2.4 EMOTIONAL FACIAL EXPRESSIONS RECOGNITION PROBLEMS .......................................................................... 29
2.5 FACIAL EXPRESSIONS RECOGNITION PROCESS ............................................................................................. 29
2.5.1 Face Detection ....................................................................................................... 30
2.5.1.1 Knowledge-based methods .............................................................................................................. 30
2.5.1.2 Feature invariant approaches ........................................................................................................... 30
2.5.2 Feature Extraction ....................................................................................................... 31
2.5.2.1 Appearance based methods ............................................................................................................. 31
2.5.2.1.1 Gabor Features ............................................................................................................................ 32
2.5.2.1.2 Haar features................................................................................33
2.5.2.1.3 Local Binary Pattern (LBP) features ............................................................................................... 34
2.5.2.2 Geometric feature based methods.................................................................................................... 35
2.5.3 Expression classification / recognition ........................................................................................ 35
2.6 CONCLUSION ........................................................................................................ 36
3 DATASET AND IMPLEMENTATION TOOLS ...................................................... 37
3.1 INTRODUCTION .................................................................................................................................. 37
3.2 AVAILABLE EMOTIONAL DATASET............................................................................................................ 37
3.2.1 Cohn-Kanade facial expression database .................................................................................... 37
3.2.2 Japanese Female Facial Expression (JAFFE) Dataset .................................................................... 39
3.3 IMPLEMENTATION FRAMEWORK AND TOOLS ............................................................................................. 39
3.3.1 Python ....................................................................................................................................... 40
3.3.2 Scikit-learn ................................................................................................................................. 40
3.3.3 Tensorflow ................................................................................................................................. 40
3.3.4 Keras ......................................................................................................................................... 40
3.3.5 Jupyter notebook ....................................................................................................................... 41
3.3.6 Google Colab ............................................................................................................................. 41
3.3.7 Kaggle ....................................................................................................................................... 42
3.4 MODEL EVALUATION METRICS ................................................................................................................ 42
3.4.1 Accuracy .................................................................................................................................... 42
3.4.2 Precision .................................................................................................................................... 42
3.4.3 Recall ......................................................................................................................................... 42
3.4.4 F1-score ..................................................................................................................................... 43
3.4.5 Confusion matrix ........................................................................................................................ 43
3.5 PROPOSED APPROACHES ....................................................................................................................... 43
3.5.1 Machine learning approaches .................................................................................................... 44
3.5.2 Deep learning approaches .......................................................................................................... 44
3.6 CONCLUSION ..................................................................................................................... 44
4 EXPERIMENTS AND RESULTS .............................................................................. 45
4.1 INTRODUCTION .................................................................................................................................. 45
4.2 MACHINE LEARNING APPROACHES ........................................................................................................... 45
4.2.1 Decision tree classifier ................................................................................................................ 45
4.2.2 XGBOOST classifier ..................................................................................................................... 45
4.2.3 Random forest classifier ............................................................................................................. 46
4.2.4 SVM classifier ........................................................................................................................ 46
4.2.5 Machine learning algorithms results ........................................................................................... 46
4.3 DEEP LEARNING APPROACHES ................................................................................................................ 47
4.3.1 Ck 48 dataset ............................................................................................................................. 47
4.3.1.1 Convolution neural network ............................................................................................................. 47
4.3.1.1.1 Model and architecture interpretation ......................................................................................... 48
4.3.1.1.2 Model compiling ........................................................................................................ 49
4.3.1.2 Transfer learning ....................................................................................................52
4.3.1.2.1 VGG-16 pretrained model ............................................................................................................ 53
4.3.1.2.2 Inception V3 pretrained model..................................................................................................... 54
4.3.2 JAFFE datasets ....................................................................................................... 56
4.3.2.1 Convolution neural networks ............................................................................................................ 56
4.3.2.1.1 First CNN architecture................................................................................................... 56
4.3.2.1.2 Second CNN architecture ............................................................................................................. 57
4.4 RESULTS COMPARISONS ........................................................................................................................ 60
4.4.1 First dataset (CK 48) ................................................................................................... 60
4.4.2 Second dataset (JAFFE)................................................................................................. 60
4.5 CONCLUSION ..................................................................................................................................... 61
CONCLUSION ................................................................................................................... 6
BIBLIOGRAPHY............................................................................................Côte titre : MAI/0328 En ligne : https://drive.google.com/file/d/1t_VL8jADg2PCheEX0lY6XF8hvoSu3pQp/view?usp=shari [...] Format de la ressource électronique : Exemplaires (1)
Code-barres Cote Support Localisation Section Disponibilité MAI/0328 MAI/0328 Mémoire Bibliothéque des sciences Français Disponible
Disponible