University Sétif 1 FERHAT ABBAS Faculty of Sciences
Résultat de la recherche
1 résultat(s) recherche sur le mot-clé 'Langues des signe ysteme de reconnaissance Apprentissage profond Apprentissage automatique, Gestes en ASL,'
Ajouter le résultat dans votre panier Affiner la recherche Générer le flux rss de la recherche
Partager le résultat de cette recherche
Titre : Gesture Recognition in American Sign Language Using Deep Learning Approaches Type de document : texte imprimé Auteurs : Laouarem ,Ayoub, Auteur ; Moussaou,iAbdelouahab, Directeur de thèse Editeur : Setif:UFA Année de publication : 2019 Importance : 1 vol (73 f .) Format : 29 cm Langues : Français (fre) Catégories : Thèses & Mémoires:Informatique Mots-clés : Langues des signe
ysteme de reconnaissance
Apprentissage profond
Apprentissage
automatique, Gestes en ASL,Index. décimale : 004 Informatique Résumé : Les langues des signes sont des langues naturelles utilisees principalement par les personnes
sourdes et malentendantes. Il est utilise par environ 70 millions de personnes dans
le monde. Par consequent, un systeme de reconnaissance pourrait ^etre utile pour les sourds
et les personnes normales.
Ce travail presente un systeme de reconnaissance qui applique un apprentissage en
profondeur pour detecter et predire automatiquement le geste ASL ou ces gestes sont des
alphabets et des chires. L'approche a ete formee et testee a l'aide de deux jeux de donnees
(lettres et chires), comprenant une image de vingt-six lettres (de A a Z) et dix chires (de
zero a neuf). En plus de l'approche profonde qui etait les reseaux de neurones convolutionnels,
deux methodes classiques de classication/algorithmes d'apprentissage automatique
(machine a vecteurs de support et for^et aleatoire) etait construits, et leur rapport de classi
cation etait bon et acceptable. CNN a pu reconna^tre les 26 lettres et les 10 chires avec
une grande precision, comme suit: 99,61% et 98,55% respectivement.Note de contenu : Dedications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ii
Acknowledgements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iii
Abstract . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iv
Table of Contents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . vi
List of Figures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . x
List of Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xii
List of Abbreviations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xiii
Chapter
General Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1 Theoretical Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Machine Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2.1 What is Machine Learning? . . . . . . . . . . . . . . . . . . . . . . 3
1.2.1.1 General Denitions . . . . . . . . . . . . . . . . . . . . . . 4
1.2.1.2 ML system Example . . . . . . . . . . . . . . . . . . . . . 4
1.2.2 Why Machine Learning? . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.3 ML Types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.2.3.1 Supervised Learning . . . . . . . . . . . . . . . . . . . . . 5
1.2.3.2 Unsupervised Learning . . . . . . . . . . . . . . . . . . . . 7
1.2.3.3 Reinforcement Learning . . . . . . . . . . . . . . . . . . . 8
1.2.4 Some ML Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.2.4.1 Decision Tree . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.2.4.2 K-Nearest Neighbor . . . . . . . . . . . . . . . . . . . . . 9
1.2.4.3 Logistic Regression . . . . . . . . . . . . . . . . . . . . . . 10
vi
1.2.4.4 Support Vector Machine . . . . . . . . . . . . . . . . . . . 11
1.2.4.5 Random Forest . . . . . . . . . . . . . . . . . . . . . . . . 15
1.2.4.6 Neural Networks . . . . . . . . . . . . . . . . . . . . . . . 15
1.2.5 Overtting and Undertting . . . . . . . . . . . . . . . . . . . . . . 21
1.3 Deep Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.3.1 Denition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.3.2 Basic Notion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.3.2.1 Layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.3.2.2 Activation function . . . . . . . . . . . . . . . . . . . . . . 22
1.3.2.3 Loss function . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.3.2.4 Optimization methods . . . . . . . . . . . . . . . . . . . . 23
1.3.2.5 Hyper-parameters . . . . . . . . . . . . . . . . . . . . . . 24
1.3.2.6 Dropout . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
1.3.3 Deep Learning Architectures . . . . . . . . . . . . . . . . . . . . . . 24
1.3.3.1 Convolutional Neural Networks . . . . . . . . . . . . . . . 25
1.3.3.2 Recurrent Neural Networks . . . . . . . . . . . . . . . . . 28
1.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2 Literature Review . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.2 American Sign Language . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.3 ASL Gesture Recognition . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.3.1 Data Acquisition . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.3.2 Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.3.3 Characteristics Extraction . . . . . . . . . . . . . . . . . . . . . . . 35
2.3.4 Classication and Decision . . . . . . . . . . . . . . . . . . . . . . . 36
2.4 Related work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3 Methodology and Implementation Frameworks . . . . . . . . . . . . . . . . . . . 41
vii
Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.2 Dataset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.3 Development environment . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.3.1 Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.3.1.1 Kaggle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.3.1.2 Google Colaboratory . . . . . . . . . . . . . . . . . . . . . 43
3.3.1.3 Personal Computer . . . . . . . . . . . . . . . . . . . . . . 44
3.3.2 Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.3.2.1 Python . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.3.2.2 Python Libraries . . . . . . . . . . . . . . . . . . . . . . . 44
3.4 Methodology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.4.1 Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.4.2 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.4.3 Approaches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.4.3.1 Machine Learning Approaches . . . . . . . . . . . . . . . . 47
3.4.3.2 Deep Learning Approaches . . . . . . . . . . . . . . . . . 49
3.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
4 Experimental Results and Discussion . . . . . . . . . . . . . . . . . . . . . . . . 52
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.2 Evaluation Metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.3 Experimental Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.3.1 Machine Learning Approaches . . . . . . . . . . . . . . . . . . . . . 53
4.3.2 Deep Learning Approaches . . . . . . . . . . . . . . . . . . . . . . . 56
4.3.2.1 Experiment Setting . . . . . . . . . . . . . . . . . . . . . . 56
4.3.2.2 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
4.4 Results Comparison and Discussion . . . . . . . . . . . . . . . . . . . . . . 63
4.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
General Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
viii
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
Appendix A . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
ixCôte titre : MAI/0281 En ligne : https://drive.google.com/file/d/1lzJD-AnAJVYuJ8in5O4ChWvLp8HkmdQ9/view?usp=shari [...] Format de la ressource électronique : Gesture Recognition in American Sign Language Using Deep Learning Approaches [texte imprimé] / Laouarem ,Ayoub, Auteur ; Moussaou,iAbdelouahab, Directeur de thèse . - [S.l.] : Setif:UFA, 2019 . - 1 vol (73 f .) ; 29 cm.
Langues : Français (fre)
Catégories : Thèses & Mémoires:Informatique Mots-clés : Langues des signe
ysteme de reconnaissance
Apprentissage profond
Apprentissage
automatique, Gestes en ASL,Index. décimale : 004 Informatique Résumé : Les langues des signes sont des langues naturelles utilisees principalement par les personnes
sourdes et malentendantes. Il est utilise par environ 70 millions de personnes dans
le monde. Par consequent, un systeme de reconnaissance pourrait ^etre utile pour les sourds
et les personnes normales.
Ce travail presente un systeme de reconnaissance qui applique un apprentissage en
profondeur pour detecter et predire automatiquement le geste ASL ou ces gestes sont des
alphabets et des chires. L'approche a ete formee et testee a l'aide de deux jeux de donnees
(lettres et chires), comprenant une image de vingt-six lettres (de A a Z) et dix chires (de
zero a neuf). En plus de l'approche profonde qui etait les reseaux de neurones convolutionnels,
deux methodes classiques de classication/algorithmes d'apprentissage automatique
(machine a vecteurs de support et for^et aleatoire) etait construits, et leur rapport de classi
cation etait bon et acceptable. CNN a pu reconna^tre les 26 lettres et les 10 chires avec
une grande precision, comme suit: 99,61% et 98,55% respectivement.Note de contenu : Dedications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ii
Acknowledgements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iii
Abstract . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iv
Table of Contents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . vi
List of Figures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . x
List of Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xii
List of Abbreviations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xiii
Chapter
General Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1 Theoretical Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Machine Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2.1 What is Machine Learning? . . . . . . . . . . . . . . . . . . . . . . 3
1.2.1.1 General Denitions . . . . . . . . . . . . . . . . . . . . . . 4
1.2.1.2 ML system Example . . . . . . . . . . . . . . . . . . . . . 4
1.2.2 Why Machine Learning? . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.3 ML Types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.2.3.1 Supervised Learning . . . . . . . . . . . . . . . . . . . . . 5
1.2.3.2 Unsupervised Learning . . . . . . . . . . . . . . . . . . . . 7
1.2.3.3 Reinforcement Learning . . . . . . . . . . . . . . . . . . . 8
1.2.4 Some ML Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.2.4.1 Decision Tree . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.2.4.2 K-Nearest Neighbor . . . . . . . . . . . . . . . . . . . . . 9
1.2.4.3 Logistic Regression . . . . . . . . . . . . . . . . . . . . . . 10
vi
1.2.4.4 Support Vector Machine . . . . . . . . . . . . . . . . . . . 11
1.2.4.5 Random Forest . . . . . . . . . . . . . . . . . . . . . . . . 15
1.2.4.6 Neural Networks . . . . . . . . . . . . . . . . . . . . . . . 15
1.2.5 Overtting and Undertting . . . . . . . . . . . . . . . . . . . . . . 21
1.3 Deep Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.3.1 Denition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.3.2 Basic Notion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.3.2.1 Layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.3.2.2 Activation function . . . . . . . . . . . . . . . . . . . . . . 22
1.3.2.3 Loss function . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.3.2.4 Optimization methods . . . . . . . . . . . . . . . . . . . . 23
1.3.2.5 Hyper-parameters . . . . . . . . . . . . . . . . . . . . . . 24
1.3.2.6 Dropout . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
1.3.3 Deep Learning Architectures . . . . . . . . . . . . . . . . . . . . . . 24
1.3.3.1 Convolutional Neural Networks . . . . . . . . . . . . . . . 25
1.3.3.2 Recurrent Neural Networks . . . . . . . . . . . . . . . . . 28
1.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2 Literature Review . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.2 American Sign Language . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.3 ASL Gesture Recognition . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.3.1 Data Acquisition . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.3.2 Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.3.3 Characteristics Extraction . . . . . . . . . . . . . . . . . . . . . . . 35
2.3.4 Classication and Decision . . . . . . . . . . . . . . . . . . . . . . . 36
2.4 Related work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3 Methodology and Implementation Frameworks . . . . . . . . . . . . . . . . . . . 41
vii
Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.2 Dataset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.3 Development environment . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.3.1 Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.3.1.1 Kaggle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.3.1.2 Google Colaboratory . . . . . . . . . . . . . . . . . . . . . 43
3.3.1.3 Personal Computer . . . . . . . . . . . . . . . . . . . . . . 44
3.3.2 Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.3.2.1 Python . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.3.2.2 Python Libraries . . . . . . . . . . . . . . . . . . . . . . . 44
3.4 Methodology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.4.1 Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.4.2 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.4.3 Approaches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.4.3.1 Machine Learning Approaches . . . . . . . . . . . . . . . . 47
3.4.3.2 Deep Learning Approaches . . . . . . . . . . . . . . . . . 49
3.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
4 Experimental Results and Discussion . . . . . . . . . . . . . . . . . . . . . . . . 52
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.2 Evaluation Metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.3 Experimental Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.3.1 Machine Learning Approaches . . . . . . . . . . . . . . . . . . . . . 53
4.3.2 Deep Learning Approaches . . . . . . . . . . . . . . . . . . . . . . . 56
4.3.2.1 Experiment Setting . . . . . . . . . . . . . . . . . . . . . . 56
4.3.2.2 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
4.4 Results Comparison and Discussion . . . . . . . . . . . . . . . . . . . . . . 63
4.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
General Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
viii
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
Appendix A . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
ixCôte titre : MAI/0281 En ligne : https://drive.google.com/file/d/1lzJD-AnAJVYuJ8in5O4ChWvLp8HkmdQ9/view?usp=shari [...] Format de la ressource électronique : Exemplaires (1)
Code-barres Cote Support Localisation Section Disponibilité MAI/0281 MAI/0281 Mémoire Bibliothéque des sciences Français Disponible
Disponible