Knowledge and BERT-based Approach for Implicit Emotion Recognition / Marouane Sid Ali Zenina

Public ISBD Titre : Knowledge and BERT-based Approach for Implicit Emotion Recognition Type de document : texte imprimé Auteurs : Marouane Sid Ali Zenina, Auteur ; Yusufu Ssemugooma ; Lakhfif ,Abdelaziz, Directeur de thèse Editeur : Setif:UFA Année de publication : 2024 Importance : 1 vol (62 f .) Format : 29 cm Langues : Anglais (eng) Catégories : Thèses & Mémoires:Informatique Mots-clés : Implicit emotion recognition Transformers BERT RoBERTa DeBERTa Natural language processing Index. décimale : 004 - Informatique Résumé : This thesis investigates transformers-based models, particularly BERT and its variants RoBERTa and DeBERTa for the domain of implicit emotion recognition, which is one the most challenging tasks due to the complexities involved in understanding emotions that are not explicitly stated. However, BERT and its variants showed a great potential in this domain due to their enhanced capabilities. Our findings show that our best model achieved a 75.99% f1-score indicating a good performance in recognizing implicit emotions. Note de contenu : Sommaire General Introduction 1 1 Social Media 3 1.1 Introduction to Social Media . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2 Impact of Social Media . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2.1 Positive Effects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2.2 Negative Effects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.2.3 Social Media, A Treasure Trove for NLP : . . . . . . . . . . . . . . 6 1.3 The Landscape of Social Media Platforms . . . . . . . . . . . . . . . . . . 6 1.3.1 Types of Social Media Platforms . . . . . . . . . . . . . . . . . . . 6 1.4 Accessing Social Media Data for NLP Research . . . . . . . . . . . . . . . 8 1.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2 Literature Review 9 2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.1.1 What are Emotions ? . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.1.2 Why do Emotions matter ? . . . . . . . . . . . . . . . . . . . . . . . 10 2.2 Emotion Recognition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 2.2.1 Emotion Recognition Techniques . . . . . . . . . . . . . . . . . . . 11 2.2.2 Emotion Recognition Theories . . . . . . . . . . . . . . . . . . . . . 12 2.2.3 Emotion Recognition from Text . . . . . . . . . . . . . . . . . . . . 14 2.3 Implicit Emotion Shared Task 2018 (IEST 2018) . . . . . . . . . . . . . . . 15 2.3.1 Overview of IEST 2018 . . . . . . . . . . . . . . . . . . . . . . . . . 15 2.3.2 Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 2.3.3 Participating Teams . . . . . . . . . . . . . . . . . . . . . . . . . . 16 2.4 Advancements in Implicit Emotion Recognition Beyond IEST 2018 . . . . 20 2.4.1 Research Gaps and Future Directions . . . . . . . . . . . . . . . . . 24 2.4.2 Future Directions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 2.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 3 PRE-TRAINED MODELS 26 3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 3.2 Understanding Pre-trained Models . . . . . . . . . . . . . . . . . . . . . . 26 3.2.1 Pre-trained Models’ Architectures . . . . . . . . . . . . . . . . . . . 26 3.2.2 Pre-trained Models . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 3.3 BERT Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 3.3.1 Model Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 3.3.2 BERT Training And Fine-Tuning . . . . . . . . . . . . . . . . . . . 35 3.3.3 BERT-Based Model for Text Classification . . . . . . . . . . . . . . 38 3.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 4 Methodology and Experiments 41 4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 4.2 Dataset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 4.2.1 Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 4.2.2 Dataset Characteristics . . . . . . . . . . . . . . . . . . . . . . . . . 42 4.2.3 Data Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 4.3 Development Environment . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 4.3.1 Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 4.3.2 Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 4.4 Methodology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 4.4.1 Objective . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 4.4.2 BERT Vs RoBERTa Vs DeBERTa . . . . . . . . . . . . . . . . . . . 47 4.4.3 Models setup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 4.4.4 Results and Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . 51 4.4.5 Our Models vs. State-of-the-Art . . . . . . . . . . . . . . . . . . . . 58 4.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 Côte titre : MAI/0870 Knowledge and BERT-based Approach for Implicit Emotion Recognition [texte imprimé] / Marouane Sid Ali Zenina, Auteur ; Yusufu Ssemugooma ; Lakhfif ,Abdelaziz, Directeur de thèse . - [S.l.] : Setif:UFA, 2024 . - 1 vol (62 f .) ; 29 cm. Langues : Anglais (eng) Catégories : Thèses & Mémoires:Informatique Mots-clés : Implicit emotion recognition Transformers BERT RoBERTa DeBERTa Natural language processing Index. décimale : 004 - Informatique Résumé : This thesis investigates transformers-based models, particularly BERT and its variants RoBERTa and DeBERTa for the domain of implicit emotion recognition, which is one the most challenging tasks due to the complexities involved in understanding emotions that are not explicitly stated. However, BERT and its variants showed a great potential in this domain due to their enhanced capabilities. Our findings show that our best model achieved a 75.99% f1-score indicating a good performance in recognizing implicit emotions. Note de contenu : Sommaire General Introduction 1 1 Social Media 3 1.1 Introduction to Social Media . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2 Impact of Social Media . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2.1 Positive Effects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2.2 Negative Effects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.2.3 Social Media, A Treasure Trove for NLP : . . . . . . . . . . . . . . 6 1.3 The Landscape of Social Media Platforms . . . . . . . . . . . . . . . . . . 6 1.3.1 Types of Social Media Platforms . . . . . . . . . . . . . . . . . . . 6 1.4 Accessing Social Media Data for NLP Research . . . . . . . . . . . . . . . 8 1.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2 Literature Review 9 2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.1.1 What are Emotions ? . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.1.2 Why do Emotions matter ? . . . . . . . . . . . . . . . . . . . . . . . 10 2.2 Emotion Recognition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 2.2.1 Emotion Recognition Techniques . . . . . . . . . . . . . . . . . . . 11 2.2.2 Emotion Recognition Theories . . . . . . . . . . . . . . . . . . . . . 12 2.2.3 Emotion Recognition from Text . . . . . . . . . . . . . . . . . . . . 14 2.3 Implicit Emotion Shared Task 2018 (IEST 2018) . . . . . . . . . . . . . . . 15 2.3.1 Overview of IEST 2018 . . . . . . . . . . . . . . . . . . . . . . . . . 15 2.3.2 Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 2.3.3 Participating Teams . . . . . . . . . . . . . . . . . . . . . . . . . . 16 2.4 Advancements in Implicit Emotion Recognition Beyond IEST 2018 . . . . 20 2.4.1 Research Gaps and Future Directions . . . . . . . . . . . . . . . . . 24 2.4.2 Future Directions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 2.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 3 PRE-TRAINED MODELS 26 3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 3.2 Understanding Pre-trained Models . . . . . . . . . . . . . . . . . . . . . . 26 3.2.1 Pre-trained Models’ Architectures . . . . . . . . . . . . . . . . . . . 26 3.2.2 Pre-trained Models . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 3.3 BERT Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 3.3.1 Model Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 3.3.2 BERT Training And Fine-Tuning . . . . . . . . . . . . . . . . . . . 35 3.3.3 BERT-Based Model for Text Classification . . . . . . . . . . . . . . 38 3.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 4 Methodology and Experiments 41 4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 4.2 Dataset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 4.2.1 Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 4.2.2 Dataset Characteristics . . . . . . . . . . . . . . . . . . . . . . . . . 42 4.2.3 Data Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 4.3 Development Environment . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 4.3.1 Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 4.3.2 Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 4.4 Methodology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 4.4.1 Objective . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 4.4.2 BERT Vs RoBERTa Vs DeBERTa . . . . . . . . . . . . . . . . . . . 47 4.4.3 Models setup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 4.4.4 Results and Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . 51 4.4.5 Our Models vs. State-of-the-Art . . . . . . . . . . . . . . . . . . . . 58 4.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 Côte titre : MAI/0870

Exemplaires (1)

Code-barres	Cote	Support	Localisation	Section	Disponibilité
MAI/0870	MAI/0870	Mémoire	Bibliothéque des sciences	Anglais	Disponible Disponible

---

1 (1 - 1 / 1)