University Sétif 1 FERHAT ABBAS Faculty of Sciences
Détail de l'auteur
Auteur Abdallah Marouki |
Documents disponibles écrits par cet auteur
Ajouter le résultat dans votre panier Affiner la recherche
Titre : Classification of Practical Work Tasks Using Deep Learning Type de document : texte imprimé Auteurs : Heythem Azzouz, Auteur ; Abdallah Marouki ; Douar ,Amel, Directeur de thèse Editeur : Setif:UFA Année de publication : 2024 Importance : 1 vol (68 f .) Format : 29 cm Langues : Anglais (eng) Catégories : Thèses & Mémoires:Informatique Mots-clés : Deep learning
Recurrent neural networks (RNNs)
Natural language processing (NLP)
Text classification
Educational technology
Practical work tasks (PWTs)
Chemistry educationIndex. décimale : 004 - Informatique Résumé : The bilevel knapsack problem (BKP) is a complex combinatorial optimization
problem characterized by a hierarchical two-level decisionmaking
structure, where decisions made at the upper level (leader)
directly influence the lower level (follower). Traditional knapsack
problem-solving methods are inadequate for addressing the intricacies
of the BKP due to this interaction. This thesis study an exact
algorithm, DPBKP, designed to solve the BKP effectively based on a
reformulation of the problem into an integer programming problem.
This thesis provides numerical experiments on randomly generated
instances.Note de contenu : Sommaire
1 Deep Learning 19
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2 Historical Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
3 Definition and Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
4 Fundamentals of Deep Learning . . . . . . . . . . . . . . . . . . . . . . . . . 21
4.1 Neural Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
4.2 Activation Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
4.3 Gradient Descent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
4.4 Backpropagation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
5 Deep Learning Architectures . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
5.1 Recurrent Neural Networks (RNNs) . . . . . . . . . . . . . . . . . . . 25
5.2 Convolutional Neural Networks (CNNs) . . . . . . . . . . . . . . . . . 32
6 Deep Learning process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
6.1 Data Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
6.2 Hyperparameter Tuning . . . . . . . . . . . . . . . . . . . . . . . . . 34
6.3 Model Training and Evaluation . . . . . . . . . . . . . . . . . . . . . 34
7 Applications of deep learning techniques . . . . . . . . . . . . . . . . . . . . . 35
7.1 RNN Application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
7.2 LSTM Application . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
7.3 GRU Application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
7.4 CNN Application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
8 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2 Natural Language Processing and its applications 37
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2 Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3 History of NLP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
4 NLP Techniques for Text Preprocessing . . . . . . . . . . . . . . . . . . . . . 39
5 Text Representation for Deep Learning . . . . . . . . . . . . . . . . . . . . . . 41
5.1 Traditional Text Representation Methods . . . . . . . . . . . . . . . . 41
5.2 Word Embeddings . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
5.3 Traditional vs. Word Embeddings . . . . . . . . . . . . . . . . . . . . 43
6 Data Augmentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
6.1 Easy Data Augmentation(EDA) . . . . . . . . . . . . . . . . . . . . . 44
6.2 Back-translation Technique . . . . . . . . . . . . . . . . . . . . . . . 45
7 NLP Applications in Text Classification . . . . . . . . . . . . . . . . . . . . . 45
7.1 Sentiment Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
7.2 News Categorization . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
7.3 Topic Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
7.4 Question Answering (QA) . . . . . . . . . . . . . . . . . . . . . . . . 48
7.5 Natural Language Inference (NLI) . . . . . . . . . . . . . . . . . . . . 48
8 NLP and Education . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
8.1 Automated Essay Scoring (ETS) . . . . . . . . . . . . . . . . . . . . . 49
8.2 Intelligent Tutoring Systems (ITS) . . . . . . . . . . . . . . . . . . . . 50
8.3 Language Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
8.4 Question Generation and Answering . . . . . . . . . . . . . . . . . . . 51
8.5 Text Summarization . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
8.6 Sentiment Analysis in Educational Feedback . . . . . . . . . . . . . . 52
9 BERT and GPT: Transformative Models in NLP . . . . . . . . . . . . . . . . . 52
9.1 BERT (Bidirectional Encoder Representations from Transformers) . . . 52
9.2 GPT (Generative Pre-trained Transformer) . . . . . . . . . . . . . . . 53
10 Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
10.1 Evaluation of BERT and ChatGPT models in inference, paraphrase and
similarity tasks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
10.2 Adaptive Learning Using Artificial Intelligence in e-Learning: A Literature
Review . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
10.3 Integrating AI and NLP with Project-Based Learning in STREAM Education
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
10.4 Role of Artificial Intelligence in Online Education: A Systematic Mapping
Study . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
10.5 Integrating Natural Language Processing into E-learning — A Case of
Czech . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
10.6 3DVL@ES: A 3D Web-Based Virtual Laboratory for Collaborative Learning
in Experimental Science Practical Work . . . . . . . . . . . . . . . 55
10.7 synthesis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
11 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3 Contributions and implementation 57
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
2 Tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
2.1 Python . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
2.2 Anaconda . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
2.3 Jupyter Notebook . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
2.4 Google Colab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
2.5 NumPy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
2.6 Pandas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
2.7 Matplotlib . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
2.8 NLTK . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
2.9 TensorFlow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
2.10 ChatGPT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
3 First Contribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
3.1 Data-Set Collection Methodology: Steps, Advantages, and Limitations 64
3.2 Data-Set collection . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
3.3 Data-Set Description . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
4 Second Contribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
4.1 Data characteristic . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
4.2 Why did we choose RNNs models? . . . . . . . . . . . . . . . . . . . 77
4.3 Models Implementation . . . . . . . . . . . . . . . . . . . . . . . . . 79
4.4 Comprehensive comparison . . . . . . . . . . . . . . . . . . . . . . . 109Côte titre : MAI/0860 Classification of Practical Work Tasks Using Deep Learning [texte imprimé] / Heythem Azzouz, Auteur ; Abdallah Marouki ; Douar ,Amel, Directeur de thèse . - [S.l.] : Setif:UFA, 2024 . - 1 vol (68 f .) ; 29 cm.
Langues : Anglais (eng)
Catégories : Thèses & Mémoires:Informatique Mots-clés : Deep learning
Recurrent neural networks (RNNs)
Natural language processing (NLP)
Text classification
Educational technology
Practical work tasks (PWTs)
Chemistry educationIndex. décimale : 004 - Informatique Résumé : The bilevel knapsack problem (BKP) is a complex combinatorial optimization
problem characterized by a hierarchical two-level decisionmaking
structure, where decisions made at the upper level (leader)
directly influence the lower level (follower). Traditional knapsack
problem-solving methods are inadequate for addressing the intricacies
of the BKP due to this interaction. This thesis study an exact
algorithm, DPBKP, designed to solve the BKP effectively based on a
reformulation of the problem into an integer programming problem.
This thesis provides numerical experiments on randomly generated
instances.Note de contenu : Sommaire
1 Deep Learning 19
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2 Historical Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
3 Definition and Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
4 Fundamentals of Deep Learning . . . . . . . . . . . . . . . . . . . . . . . . . 21
4.1 Neural Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
4.2 Activation Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
4.3 Gradient Descent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
4.4 Backpropagation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
5 Deep Learning Architectures . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
5.1 Recurrent Neural Networks (RNNs) . . . . . . . . . . . . . . . . . . . 25
5.2 Convolutional Neural Networks (CNNs) . . . . . . . . . . . . . . . . . 32
6 Deep Learning process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
6.1 Data Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
6.2 Hyperparameter Tuning . . . . . . . . . . . . . . . . . . . . . . . . . 34
6.3 Model Training and Evaluation . . . . . . . . . . . . . . . . . . . . . 34
7 Applications of deep learning techniques . . . . . . . . . . . . . . . . . . . . . 35
7.1 RNN Application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
7.2 LSTM Application . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
7.3 GRU Application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
7.4 CNN Application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
8 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2 Natural Language Processing and its applications 37
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2 Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3 History of NLP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
4 NLP Techniques for Text Preprocessing . . . . . . . . . . . . . . . . . . . . . 39
5 Text Representation for Deep Learning . . . . . . . . . . . . . . . . . . . . . . 41
5.1 Traditional Text Representation Methods . . . . . . . . . . . . . . . . 41
5.2 Word Embeddings . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
5.3 Traditional vs. Word Embeddings . . . . . . . . . . . . . . . . . . . . 43
6 Data Augmentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
6.1 Easy Data Augmentation(EDA) . . . . . . . . . . . . . . . . . . . . . 44
6.2 Back-translation Technique . . . . . . . . . . . . . . . . . . . . . . . 45
7 NLP Applications in Text Classification . . . . . . . . . . . . . . . . . . . . . 45
7.1 Sentiment Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
7.2 News Categorization . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
7.3 Topic Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
7.4 Question Answering (QA) . . . . . . . . . . . . . . . . . . . . . . . . 48
7.5 Natural Language Inference (NLI) . . . . . . . . . . . . . . . . . . . . 48
8 NLP and Education . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
8.1 Automated Essay Scoring (ETS) . . . . . . . . . . . . . . . . . . . . . 49
8.2 Intelligent Tutoring Systems (ITS) . . . . . . . . . . . . . . . . . . . . 50
8.3 Language Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
8.4 Question Generation and Answering . . . . . . . . . . . . . . . . . . . 51
8.5 Text Summarization . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
8.6 Sentiment Analysis in Educational Feedback . . . . . . . . . . . . . . 52
9 BERT and GPT: Transformative Models in NLP . . . . . . . . . . . . . . . . . 52
9.1 BERT (Bidirectional Encoder Representations from Transformers) . . . 52
9.2 GPT (Generative Pre-trained Transformer) . . . . . . . . . . . . . . . 53
10 Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
10.1 Evaluation of BERT and ChatGPT models in inference, paraphrase and
similarity tasks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
10.2 Adaptive Learning Using Artificial Intelligence in e-Learning: A Literature
Review . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
10.3 Integrating AI and NLP with Project-Based Learning in STREAM Education
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
10.4 Role of Artificial Intelligence in Online Education: A Systematic Mapping
Study . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
10.5 Integrating Natural Language Processing into E-learning — A Case of
Czech . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
10.6 3DVL@ES: A 3D Web-Based Virtual Laboratory for Collaborative Learning
in Experimental Science Practical Work . . . . . . . . . . . . . . . 55
10.7 synthesis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
11 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3 Contributions and implementation 57
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
2 Tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
2.1 Python . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
2.2 Anaconda . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
2.3 Jupyter Notebook . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
2.4 Google Colab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
2.5 NumPy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
2.6 Pandas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
2.7 Matplotlib . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
2.8 NLTK . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
2.9 TensorFlow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
2.10 ChatGPT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
3 First Contribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
3.1 Data-Set Collection Methodology: Steps, Advantages, and Limitations 64
3.2 Data-Set collection . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
3.3 Data-Set Description . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
4 Second Contribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
4.1 Data characteristic . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
4.2 Why did we choose RNNs models? . . . . . . . . . . . . . . . . . . . 77
4.3 Models Implementation . . . . . . . . . . . . . . . . . . . . . . . . . 79
4.4 Comprehensive comparison . . . . . . . . . . . . . . . . . . . . . . . 109Côte titre : MAI/0860 Exemplaires (1)
Code-barres Cote Support Localisation Section Disponibilité MAI/0860 MAI/0860 Mémoire Bibliothéque des sciences Anglais Disponible
Disponible
