University Sétif 1 FERHAT ABBAS Faculty of Sciences
Détail de l'auteur
Auteur Mostepha Bouchama |
Documents disponibles écrits par cet auteur
Ajouter le résultat dans votre panier Affiner la recherche
Titre : Graph Neural Networks for Botnet Detection Type de document : document électronique Auteurs : Mostepha Bouchama ; Zakaria Bouchelaghem, Auteur ; Drif,Ahlem, Directeur de thèse Editeur : Setif:UFA Année de publication : 2025 Importance : 1 vol (111 f .) Format : 29 cm Langues : Anglais (eng) Catégories : Thèses & Mémoires:Informatique Mots-clés : Machine Learning
Deep Learning
Graph Neural Networks
Bots
Botnet Detection
Network Traffic Behavior.Index. décimale : 004 Informatique Résumé :
Bots and botnets are among the most prevalent cybersecurity risks, a topic of
significant concern for security communities, and a persistent threat that continues to impact
digital systems. The detection of botnets is crucial to ensure the security and reliability of
these systems, as various detection methods and research have been conducted to mitigate
their risks. In this master’s thesis, we have proposed a new architecture based on Graph
Neural Networks (GNNs) for the detection of botnets, focusing on their temporal network
traffic behavior. Our architecture effectively captures both the temporal dynamics of network
traffic and the structural relationships between machines in a network. Experiments on a
real-world dataset show that our proposed architecture is efficient and achieves 81.25%
accuracy, which is superior results compared to other state-of-the-art approaches.Note de contenu : Sommaire
I A Survey on Deep Learning and Graph Neural Networks 18
1 Graph Neural Networks - Theoretical Background 19
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.2 Machine Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.2.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.2.2 Types of Machine Learning Models . . . . . . . . . . . . . . . . 20
1.3 Deep Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.3.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.3.2 Recurrent Neural Networks . . . . . . . . . . . . . . . . . . . . . 20
1.3.2.1 Gated Recurrent Unit . . . . . . . . . . . . . . . . . . . 21
1.3.3 Convolutional Neural Networks . . . . . . . . . . . . . . . . . . 22
1.3.4 Activation Functions . . . . . . . . . . . . . . . . . . . . . . . . 23
1.3.4.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . 23
1.3.4.2 Common Activation Functions . . . . . . . . . . . . . . 23
1.3.5 Loss Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
1.3.6 Backpropagation . . . . . . . . . . . . . . . . . . . . . . . . . . 24
1.4 Graph Neural Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
1.4.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
1.4.2 From Classic Neural Networks to GNN . . . . . . . . . . . . . . 25
1.4.3 GNN Architecture . . . . . . . . . . . . . . . . . . . . . . . . . 26
1.4.3.1 Node Feature Matrix . . . . . . . . . . . . . . . . . . . 27
1.4.3.2 Adjacency Matrix . . . . . . . . . . . . . . . . . . . . 27
1.4.4 Concept Keys of GNN . . . . . . . . . . . . . . . . . . . . . . . 28
1.4.4.1 Permutation Invariance and Permutation Equivariance . 28
1.4.4.2 Embedding Space . . . . . . . . . . . . . . . . . . . . 28
1.4.4.3 Message Passing Framework . . . . . . . . . . . . . . . 29
1.4.4.4 Multilayers of Nonlinear Transformation . . . . . . . . 31
1.4.5 Graph Embeddings Algorithms . . . . . . . . . . . . . . . . . . . 32
1.4.5.1 Graph Convolution Networks . . . . . . . . . . . . . . 32
1.4.5.2 Simple Graph Convolution . . . . . . . . . . . . . . . . 33
1.4.5.3 Graph Attention Networks . . . . . . . . . . . . . . . . 34
1.4.5.4 Mutual-Interaction Graph Neural Networks . . . . . . . 35
1.4.5.5 Other Graph Node Embeddings Algorithms . . . . . . . 36
1.4.6 Graph Neural Networks Tasks . . . . . . . . . . . . . . . . . . . 36
1.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2 Botnet Detection Method: Background and Related Work 37
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.2 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.3 Botnet Architectures . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
2.3.1 Centralized Architecture . . . . . . . . . . . . . . . . . . . . . . 38
2.3.1.1 HTTP-Based Botnets . . . . . . . . . . . . . . . . . . . 39
2.3.2 Distributed Architecture . . . . . . . . . . . . . . . . . . . . . . 39
2.3.3 Hybrid Architecture . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.4 Botnet Malicious Activities . . . . . . . . . . . . . . . . . . . . . . . . . 40
2.4.1 Distributed Denial of Service (DDoS) . . . . . . . . . . . . . . . 40
2.4.2 Sniffing and Keylogging Botnet Attacks . . . . . . . . . . . . . . 40
2.4.3 Botnet-Driven Phishing . . . . . . . . . . . . . . . . . . . . . . . 41
2.4.4 Large-Scale Spam Attacks . . . . . . . . . . . . . . . . . . . . . 41
2.4.5 Data Breach Perpetrated via Botnets . . . . . . . . . . . . . . . . 41
2.4.6 Cryptocurrency Mining and Clipping . . . . . . . . . . . . . . . 42
2.4.7 Brute Force Attacks . . . . . . . . . . . . . . . . . . . . . . . . . 42
2.5 Traditional Detection Methods . . . . . . . . . . . . . . . . . . . . . . . 42
2.5.1 Intrusion Detection Systems . . . . . . . . . . . . . . . . . . . . 42
2.5.1.1 Common Methods of Intrusion . . . . . . . . . . . . . 43
2.5.1.2 The Working of Intrusion Detection System (IDS) . . . 43
2.5.1.3 Intrusion Detection System Evasion Techniques . . . . 44
2.5.1.4 Why Are Intrusion Detection Systems (IDS) Important? 45
2.5.1.5 Benefits of IDS . . . . . . . . . . . . . . . . . . . . . . 45
2.5.1.6 Disadvantages of IDS . . . . . . . . . . . . . . . . . . 45
2.5.2 Machine Learning-Based Methods . . . . . . . . . . . . . . . . . 46
2.6 Graph-Based Botnet Detection . . . . . . . . . . . . . . . . . . . . . . . 48
2.6.1 Advantages of Graph Neural Networks . . . . . . . . . . . . . . . 48
2.7 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
II Our Contribution 50
3 Behavioral-Temporal Graph Neural Network Model for Botnet Detection 51
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.2 Problem Formulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.3 The Proposed Framework . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.3.1 Behavioral Analysis Detection . . . . . . . . . . . . . . . . . . . 53
3.3.1.1 Comparison of Network Traffic Characteristics . . . . . 53
3.3.1.2 Advanced Comparison of Network Traffic Characteristics 55
3.3.1.3 Tracking Tools for Botnet Detection . . . . . . . . . . . 55
3.3.2 CTU-13 Dataset . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.3.2.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.3.2.2 Testbed Network Design . . . . . . . . . . . . . . . . . 58
3.3.2.3 Network Traffic Collection . . . . . . . . . . . . . . . . 58
3.3.2.4 Ground-Truth Labeling . . . . . . . . . . . . . . . . . . 59
3.3.2.5 Conversion to NetFlow Format . . . . . . . . . . . . . 59
3.3.2.6 Contents and Characteristics of the CTU-13 Dataset . . 59
3.3.3 Data Filtering and Pre-Processing . . . . . . . . . . . . . . . . . 64
3.3.3.1 Row Filtering . . . . . . . . . . . . . . . . . . . . . . . 64
3.3.3.2 Data Imputing . . . . . . . . . . . . . . . . . . . . . . 65
3.3.3.3 Standardization . . . . . . . . . . . . . . . . . . . . . . 65
3.3.4 Behavioral Analysis . . . . . . . . . . . . . . . . . . . . . . . . . 66
3.3.4.1 Comparison of Network Traffic Features in CTU-13 Dataset 66
3.3.5 Feature Extraction . . . . . . . . . . . . . . . . . . . . . . . . . 71
3.3.5.1 Node Features . . . . . . . . . . . . . . . . . . . . . . 71
3.3.6 Exploratory Data Analysis . . . . . . . . . . . . . . . . . . . . . 72
3.3.6.1 Class Distribution . . . . . . . . . . . . . . . . . . . . 72
3.3.6.2 Correlation . . . . . . . . . . . . . . . . . . . . . . . . 73
3.3.7 Graph Construction . . . . . . . . . . . . . . . . . . . . . . . . . 73
3.3.8 The Behavioral-Temporal Graph Neural Network (B-TGNN)
Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
3.3.8.1 Gated Recurrent Unit . . . . . . . . . . . . . . . . . . . 76
3.3.8.2 Convolutional Neural Network . . . . . . . . . . . . . . 77
3.3.8.3 Graph Neural Network . . . . . . . . . . . . . . . . . . 78
3.3.9 Static Graph-Based Model (Additional Model) . . . . . . . . . . 80
3.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
4 Implementation and Experimentation 83
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
4.2 Environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
4.2.1 Programming Languages and Packages . . . . . . . . . . . . . . 83
4.2.2 IDE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
4.3 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
4.3.1 The Proposed Model Configuration . . . . . . . . . . . . . . . . 85
4.3.1.1 Node Feature Map Extractor Configuration . . . . . . . 85
4.3.1.2 GNN Model Configuration . . . . . . . . . . . . . . . . 86
4.3.1.3 Hyperparameters Setting . . . . . . . . . . . . . . . . . 87
4.3.2 Static Graph-Based Model Configuration . . . . . . . . . . . . . 88
4.3.2.1 Hyperparameters Setting . . . . . . . . . . . . . . . . . 89
4.4 Evaluation Metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
4.4.1 Classification Accuracy . . . . . . . . . . . . . . . . . . . . . . . 90
4.4.2 Confusion Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . 91
4.4.3 Classification Report . . . . . . . . . . . . . . . . . . . . . . . . 91
4.5 Results and Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
4.5.1 The Proposed Model Evaluation . . . . . . . . . . . . . . . . . . 93
4.5.2 Static Graph-Based Model Evaluation . . . . . . . . . . . . . . . 95
4.6 The Performance Comparison . . . . . . . . . . . . . . . . . . . . . . . . 97
4.7 The Performance Comparison Between our Proposed Framework and
Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
4.8 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101Côte titre : MAI/1007 Graph Neural Networks for Botnet Detection [document électronique] / Mostepha Bouchama ; Zakaria Bouchelaghem, Auteur ; Drif,Ahlem, Directeur de thèse . - [S.l.] : Setif:UFA, 2025 . - 1 vol (111 f .) ; 29 cm.
Langues : Anglais (eng)
Catégories : Thèses & Mémoires:Informatique Mots-clés : Machine Learning
Deep Learning
Graph Neural Networks
Bots
Botnet Detection
Network Traffic Behavior.Index. décimale : 004 Informatique Résumé :
Bots and botnets are among the most prevalent cybersecurity risks, a topic of
significant concern for security communities, and a persistent threat that continues to impact
digital systems. The detection of botnets is crucial to ensure the security and reliability of
these systems, as various detection methods and research have been conducted to mitigate
their risks. In this master’s thesis, we have proposed a new architecture based on Graph
Neural Networks (GNNs) for the detection of botnets, focusing on their temporal network
traffic behavior. Our architecture effectively captures both the temporal dynamics of network
traffic and the structural relationships between machines in a network. Experiments on a
real-world dataset show that our proposed architecture is efficient and achieves 81.25%
accuracy, which is superior results compared to other state-of-the-art approaches.Note de contenu : Sommaire
I A Survey on Deep Learning and Graph Neural Networks 18
1 Graph Neural Networks - Theoretical Background 19
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.2 Machine Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.2.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.2.2 Types of Machine Learning Models . . . . . . . . . . . . . . . . 20
1.3 Deep Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.3.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.3.2 Recurrent Neural Networks . . . . . . . . . . . . . . . . . . . . . 20
1.3.2.1 Gated Recurrent Unit . . . . . . . . . . . . . . . . . . . 21
1.3.3 Convolutional Neural Networks . . . . . . . . . . . . . . . . . . 22
1.3.4 Activation Functions . . . . . . . . . . . . . . . . . . . . . . . . 23
1.3.4.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . 23
1.3.4.2 Common Activation Functions . . . . . . . . . . . . . . 23
1.3.5 Loss Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
1.3.6 Backpropagation . . . . . . . . . . . . . . . . . . . . . . . . . . 24
1.4 Graph Neural Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
1.4.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
1.4.2 From Classic Neural Networks to GNN . . . . . . . . . . . . . . 25
1.4.3 GNN Architecture . . . . . . . . . . . . . . . . . . . . . . . . . 26
1.4.3.1 Node Feature Matrix . . . . . . . . . . . . . . . . . . . 27
1.4.3.2 Adjacency Matrix . . . . . . . . . . . . . . . . . . . . 27
1.4.4 Concept Keys of GNN . . . . . . . . . . . . . . . . . . . . . . . 28
1.4.4.1 Permutation Invariance and Permutation Equivariance . 28
1.4.4.2 Embedding Space . . . . . . . . . . . . . . . . . . . . 28
1.4.4.3 Message Passing Framework . . . . . . . . . . . . . . . 29
1.4.4.4 Multilayers of Nonlinear Transformation . . . . . . . . 31
1.4.5 Graph Embeddings Algorithms . . . . . . . . . . . . . . . . . . . 32
1.4.5.1 Graph Convolution Networks . . . . . . . . . . . . . . 32
1.4.5.2 Simple Graph Convolution . . . . . . . . . . . . . . . . 33
1.4.5.3 Graph Attention Networks . . . . . . . . . . . . . . . . 34
1.4.5.4 Mutual-Interaction Graph Neural Networks . . . . . . . 35
1.4.5.5 Other Graph Node Embeddings Algorithms . . . . . . . 36
1.4.6 Graph Neural Networks Tasks . . . . . . . . . . . . . . . . . . . 36
1.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2 Botnet Detection Method: Background and Related Work 37
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.2 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.3 Botnet Architectures . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
2.3.1 Centralized Architecture . . . . . . . . . . . . . . . . . . . . . . 38
2.3.1.1 HTTP-Based Botnets . . . . . . . . . . . . . . . . . . . 39
2.3.2 Distributed Architecture . . . . . . . . . . . . . . . . . . . . . . 39
2.3.3 Hybrid Architecture . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.4 Botnet Malicious Activities . . . . . . . . . . . . . . . . . . . . . . . . . 40
2.4.1 Distributed Denial of Service (DDoS) . . . . . . . . . . . . . . . 40
2.4.2 Sniffing and Keylogging Botnet Attacks . . . . . . . . . . . . . . 40
2.4.3 Botnet-Driven Phishing . . . . . . . . . . . . . . . . . . . . . . . 41
2.4.4 Large-Scale Spam Attacks . . . . . . . . . . . . . . . . . . . . . 41
2.4.5 Data Breach Perpetrated via Botnets . . . . . . . . . . . . . . . . 41
2.4.6 Cryptocurrency Mining and Clipping . . . . . . . . . . . . . . . 42
2.4.7 Brute Force Attacks . . . . . . . . . . . . . . . . . . . . . . . . . 42
2.5 Traditional Detection Methods . . . . . . . . . . . . . . . . . . . . . . . 42
2.5.1 Intrusion Detection Systems . . . . . . . . . . . . . . . . . . . . 42
2.5.1.1 Common Methods of Intrusion . . . . . . . . . . . . . 43
2.5.1.2 The Working of Intrusion Detection System (IDS) . . . 43
2.5.1.3 Intrusion Detection System Evasion Techniques . . . . 44
2.5.1.4 Why Are Intrusion Detection Systems (IDS) Important? 45
2.5.1.5 Benefits of IDS . . . . . . . . . . . . . . . . . . . . . . 45
2.5.1.6 Disadvantages of IDS . . . . . . . . . . . . . . . . . . 45
2.5.2 Machine Learning-Based Methods . . . . . . . . . . . . . . . . . 46
2.6 Graph-Based Botnet Detection . . . . . . . . . . . . . . . . . . . . . . . 48
2.6.1 Advantages of Graph Neural Networks . . . . . . . . . . . . . . . 48
2.7 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
II Our Contribution 50
3 Behavioral-Temporal Graph Neural Network Model for Botnet Detection 51
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.2 Problem Formulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.3 The Proposed Framework . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.3.1 Behavioral Analysis Detection . . . . . . . . . . . . . . . . . . . 53
3.3.1.1 Comparison of Network Traffic Characteristics . . . . . 53
3.3.1.2 Advanced Comparison of Network Traffic Characteristics 55
3.3.1.3 Tracking Tools for Botnet Detection . . . . . . . . . . . 55
3.3.2 CTU-13 Dataset . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.3.2.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.3.2.2 Testbed Network Design . . . . . . . . . . . . . . . . . 58
3.3.2.3 Network Traffic Collection . . . . . . . . . . . . . . . . 58
3.3.2.4 Ground-Truth Labeling . . . . . . . . . . . . . . . . . . 59
3.3.2.5 Conversion to NetFlow Format . . . . . . . . . . . . . 59
3.3.2.6 Contents and Characteristics of the CTU-13 Dataset . . 59
3.3.3 Data Filtering and Pre-Processing . . . . . . . . . . . . . . . . . 64
3.3.3.1 Row Filtering . . . . . . . . . . . . . . . . . . . . . . . 64
3.3.3.2 Data Imputing . . . . . . . . . . . . . . . . . . . . . . 65
3.3.3.3 Standardization . . . . . . . . . . . . . . . . . . . . . . 65
3.3.4 Behavioral Analysis . . . . . . . . . . . . . . . . . . . . . . . . . 66
3.3.4.1 Comparison of Network Traffic Features in CTU-13 Dataset 66
3.3.5 Feature Extraction . . . . . . . . . . . . . . . . . . . . . . . . . 71
3.3.5.1 Node Features . . . . . . . . . . . . . . . . . . . . . . 71
3.3.6 Exploratory Data Analysis . . . . . . . . . . . . . . . . . . . . . 72
3.3.6.1 Class Distribution . . . . . . . . . . . . . . . . . . . . 72
3.3.6.2 Correlation . . . . . . . . . . . . . . . . . . . . . . . . 73
3.3.7 Graph Construction . . . . . . . . . . . . . . . . . . . . . . . . . 73
3.3.8 The Behavioral-Temporal Graph Neural Network (B-TGNN)
Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
3.3.8.1 Gated Recurrent Unit . . . . . . . . . . . . . . . . . . . 76
3.3.8.2 Convolutional Neural Network . . . . . . . . . . . . . . 77
3.3.8.3 Graph Neural Network . . . . . . . . . . . . . . . . . . 78
3.3.9 Static Graph-Based Model (Additional Model) . . . . . . . . . . 80
3.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
4 Implementation and Experimentation 83
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
4.2 Environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
4.2.1 Programming Languages and Packages . . . . . . . . . . . . . . 83
4.2.2 IDE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
4.3 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
4.3.1 The Proposed Model Configuration . . . . . . . . . . . . . . . . 85
4.3.1.1 Node Feature Map Extractor Configuration . . . . . . . 85
4.3.1.2 GNN Model Configuration . . . . . . . . . . . . . . . . 86
4.3.1.3 Hyperparameters Setting . . . . . . . . . . . . . . . . . 87
4.3.2 Static Graph-Based Model Configuration . . . . . . . . . . . . . 88
4.3.2.1 Hyperparameters Setting . . . . . . . . . . . . . . . . . 89
4.4 Evaluation Metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
4.4.1 Classification Accuracy . . . . . . . . . . . . . . . . . . . . . . . 90
4.4.2 Confusion Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . 91
4.4.3 Classification Report . . . . . . . . . . . . . . . . . . . . . . . . 91
4.5 Results and Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
4.5.1 The Proposed Model Evaluation . . . . . . . . . . . . . . . . . . 93
4.5.2 Static Graph-Based Model Evaluation . . . . . . . . . . . . . . . 95
4.6 The Performance Comparison . . . . . . . . . . . . . . . . . . . . . . . . 97
4.7 The Performance Comparison Between our Proposed Framework and
Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
4.8 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101Côte titre : MAI/1007 Exemplaires (1)
Code-barres Cote Support Localisation Section Disponibilité MAI/1007 MAI/1007 Mémoire Bibliothèque des sciences Anglais Disponible
Disponible

