Titre :	Classification of Practical Work Tasks Using Deep Learning
Type de document :	texte imprimé
Auteurs :	Heythem Azzouz, Auteur ; Abdallah Marouki ; Douar ,Amel, Directeur de thèse
Editeur :	Setif:UFA
Année de publication :	2024
Importance :	1 vol (68 f .)
Format :	29 cm
Langues :	Anglais (eng)
Catégories :	Thèses & Mémoires:Informatique
Mots-clés :	Deep learning Recurrent neural networks (RNNs) Natural language processing (NLP) Text classification Educational technology Practical work tasks (PWTs) Chemistry education
Index. décimale :	004 - Informatique
Résumé :	The bilevel knapsack problem (BKP) is a complex combinatorial optimization problem characterized by a hierarchical two-level decisionmaking structure, where decisions made at the upper level (leader) directly influence the lower level (follower). Traditional knapsack problem-solving methods are inadequate for addressing the intricacies of the BKP due to this interaction. This thesis study an exact algorithm, DPBKP, designed to solve the BKP effectively based on a reformulation of the problem into an integer programming problem. This thesis provides numerical experiments on randomly generated instances.
Note de contenu :	Sommaire 1 Deep Learning 19 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 2 Historical Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 3 Definition and Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 4 Fundamentals of Deep Learning . . . . . . . . . . . . . . . . . . . . . . . . . 21 4.1 Neural Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 4.2 Activation Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 4.3 Gradient Descent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 4.4 Backpropagation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 5 Deep Learning Architectures . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 5.1 Recurrent Neural Networks (RNNs) . . . . . . . . . . . . . . . . . . . 25 5.2 Convolutional Neural Networks (CNNs) . . . . . . . . . . . . . . . . . 32 6 Deep Learning process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 6.1 Data Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 6.2 Hyperparameter Tuning . . . . . . . . . . . . . . . . . . . . . . . . . 34 6.3 Model Training and Evaluation . . . . . . . . . . . . . . . . . . . . . 34 7 Applications of deep learning techniques . . . . . . . . . . . . . . . . . . . . . 35 7.1 RNN Application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 7.2 LSTM Application . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 7.3 GRU Application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 7.4 CNN Application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 8 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 2 Natural Language Processing and its applications 37 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 2 Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 3 History of NLP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 4 NLP Techniques for Text Preprocessing . . . . . . . . . . . . . . . . . . . . . 39 5 Text Representation for Deep Learning . . . . . . . . . . . . . . . . . . . . . . 41 5.1 Traditional Text Representation Methods . . . . . . . . . . . . . . . . 41 5.2 Word Embeddings . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 5.3 Traditional vs. Word Embeddings . . . . . . . . . . . . . . . . . . . . 43 6 Data Augmentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 6.1 Easy Data Augmentation(EDA) . . . . . . . . . . . . . . . . . . . . . 44 6.2 Back-translation Technique . . . . . . . . . . . . . . . . . . . . . . . 45 7 NLP Applications in Text Classification . . . . . . . . . . . . . . . . . . . . . 45 7.1 Sentiment Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 7.2 News Categorization . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 7.3 Topic Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 7.4 Question Answering (QA) . . . . . . . . . . . . . . . . . . . . . . . . 48 7.5 Natural Language Inference (NLI) . . . . . . . . . . . . . . . . . . . . 48 8 NLP and Education . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 8.1 Automated Essay Scoring (ETS) . . . . . . . . . . . . . . . . . . . . . 49 8.2 Intelligent Tutoring Systems (ITS) . . . . . . . . . . . . . . . . . . . . 50 8.3 Language Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 8.4 Question Generation and Answering . . . . . . . . . . . . . . . . . . . 51 8.5 Text Summarization . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 8.6 Sentiment Analysis in Educational Feedback . . . . . . . . . . . . . . 52 9 BERT and GPT: Transformative Models in NLP . . . . . . . . . . . . . . . . . 52 9.1 BERT (Bidirectional Encoder Representations from Transformers) . . . 52 9.2 GPT (Generative Pre-trained Transformer) . . . . . . . . . . . . . . . 53 10 Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 10.1 Evaluation of BERT and ChatGPT models in inference, paraphrase and similarity tasks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 10.2 Adaptive Learning Using Artificial Intelligence in e-Learning: A Literature Review . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 10.3 Integrating AI and NLP with Project-Based Learning in STREAM Education . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 10.4 Role of Artificial Intelligence in Online Education: A Systematic Mapping Study . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 10.5 Integrating Natural Language Processing into E-learning — A Case of Czech . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 10.6 3DVL@ES: A 3D Web-Based Virtual Laboratory for Collaborative Learning in Experimental Science Practical Work . . . . . . . . . . . . . . . 55 10.7 synthesis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 11 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 3 Contributions and implementation 57 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 2 Tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 2.1 Python . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 2.2 Anaconda . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 2.3 Jupyter Notebook . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 2.4 Google Colab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 2.5 NumPy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 2.6 Pandas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 2.7 Matplotlib . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 2.8 NLTK . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 2.9 TensorFlow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 2.10 ChatGPT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 3 First Contribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 3.1 Data-Set Collection Methodology: Steps, Advantages, and Limitations 64 3.2 Data-Set collection . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 3.3 Data-Set Description . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 4 Second Contribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 4.1 Data characteristic . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 4.2 Why did we choose RNNs models? . . . . . . . . . . . . . . . . . . . 77 4.3 Models Implementation . . . . . . . . . . . . . . . . . . . . . . . . . 79 4.4 Comprehensive comparison . . . . . . . . . . . . . . . . . . . . . . . 109
Côte titre :	MAI/0860

Classification of Practical Work Tasks Using Deep Learning [texte imprimé] / Heythem Azzouz, Auteur ; Abdallah Marouki ; Douar ,Amel, Directeur de thèse . - [S.l.] : Setif:UFA, 2024 . - 1 vol (68 f .) ; 29 cm.
Langues : Anglais (eng)

Catégories :	Thèses & Mémoires:Informatique
Mots-clés :	Deep learning Recurrent neural networks (RNNs) Natural language processing (NLP) Text classification Educational technology Practical work tasks (PWTs) Chemistry education
Index. décimale :	004 - Informatique
Résumé :	The bilevel knapsack problem (BKP) is a complex combinatorial optimization problem characterized by a hierarchical two-level decisionmaking structure, where decisions made at the upper level (leader) directly influence the lower level (follower). Traditional knapsack problem-solving methods are inadequate for addressing the intricacies of the BKP due to this interaction. This thesis study an exact algorithm, DPBKP, designed to solve the BKP effectively based on a reformulation of the problem into an integer programming problem. This thesis provides numerical experiments on randomly generated instances.
Note de contenu :	Sommaire 1 Deep Learning 19 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 2 Historical Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 3 Definition and Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 4 Fundamentals of Deep Learning . . . . . . . . . . . . . . . . . . . . . . . . . 21 4.1 Neural Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 4.2 Activation Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 4.3 Gradient Descent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 4.4 Backpropagation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 5 Deep Learning Architectures . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 5.1 Recurrent Neural Networks (RNNs) . . . . . . . . . . . . . . . . . . . 25 5.2 Convolutional Neural Networks (CNNs) . . . . . . . . . . . . . . . . . 32 6 Deep Learning process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 6.1 Data Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 6.2 Hyperparameter Tuning . . . . . . . . . . . . . . . . . . . . . . . . . 34 6.3 Model Training and Evaluation . . . . . . . . . . . . . . . . . . . . . 34 7 Applications of deep learning techniques . . . . . . . . . . . . . . . . . . . . . 35 7.1 RNN Application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 7.2 LSTM Application . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 7.3 GRU Application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 7.4 CNN Application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 8 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 2 Natural Language Processing and its applications 37 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 2 Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 3 History of NLP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 4 NLP Techniques for Text Preprocessing . . . . . . . . . . . . . . . . . . . . . 39 5 Text Representation for Deep Learning . . . . . . . . . . . . . . . . . . . . . . 41 5.1 Traditional Text Representation Methods . . . . . . . . . . . . . . . . 41 5.2 Word Embeddings . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 5.3 Traditional vs. Word Embeddings . . . . . . . . . . . . . . . . . . . . 43 6 Data Augmentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 6.1 Easy Data Augmentation(EDA) . . . . . . . . . . . . . . . . . . . . . 44 6.2 Back-translation Technique . . . . . . . . . . . . . . . . . . . . . . . 45 7 NLP Applications in Text Classification . . . . . . . . . . . . . . . . . . . . . 45 7.1 Sentiment Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 7.2 News Categorization . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 7.3 Topic Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 7.4 Question Answering (QA) . . . . . . . . . . . . . . . . . . . . . . . . 48 7.5 Natural Language Inference (NLI) . . . . . . . . . . . . . . . . . . . . 48 8 NLP and Education . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 8.1 Automated Essay Scoring (ETS) . . . . . . . . . . . . . . . . . . . . . 49 8.2 Intelligent Tutoring Systems (ITS) . . . . . . . . . . . . . . . . . . . . 50 8.3 Language Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 8.4 Question Generation and Answering . . . . . . . . . . . . . . . . . . . 51 8.5 Text Summarization . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 8.6 Sentiment Analysis in Educational Feedback . . . . . . . . . . . . . . 52 9 BERT and GPT: Transformative Models in NLP . . . . . . . . . . . . . . . . . 52 9.1 BERT (Bidirectional Encoder Representations from Transformers) . . . 52 9.2 GPT (Generative Pre-trained Transformer) . . . . . . . . . . . . . . . 53 10 Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 10.1 Evaluation of BERT and ChatGPT models in inference, paraphrase and similarity tasks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 10.2 Adaptive Learning Using Artificial Intelligence in e-Learning: A Literature Review . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 10.3 Integrating AI and NLP with Project-Based Learning in STREAM Education . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 10.4 Role of Artificial Intelligence in Online Education: A Systematic Mapping Study . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 10.5 Integrating Natural Language Processing into E-learning — A Case of Czech . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 10.6 3DVL@ES: A 3D Web-Based Virtual Laboratory for Collaborative Learning in Experimental Science Practical Work . . . . . . . . . . . . . . . 55 10.7 synthesis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 11 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 3 Contributions and implementation 57 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 2 Tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 2.1 Python . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 2.2 Anaconda . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 2.3 Jupyter Notebook . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 2.4 Google Colab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 2.5 NumPy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 2.6 Pandas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 2.7 Matplotlib . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 2.8 NLTK . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 2.9 TensorFlow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 2.10 ChatGPT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 3 First Contribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 3.1 Data-Set Collection Methodology: Steps, Advantages, and Limitations 64 3.2 Data-Set collection . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 3.3 Data-Set Description . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 4 Second Contribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 4.1 Data characteristic . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 4.2 Why did we choose RNNs models? . . . . . . . . . . . . . . . . . . . 77 4.3 Models Implementation . . . . . . . . . . . . . . . . . . . . . . . . . 79 4.4 Comprehensive comparison . . . . . . . . . . . . . . . . . . . . . . . 109
Côte titre :	MAI/0860