|
| Titre : |
Deep AutoEncoders Recommender System |
| Type de document : |
texte imprimé |
| Auteurs : |
Khadidja Marmioui, Auteur ; Ouissam Hamoudi ; Mediani,Chahrazed, Directeur de thèse |
| Editeur : |
Setif:UFA |
| Année de publication : |
2024 |
| Importance : |
1 vol (52 f .) |
| Format : |
29 cm |
| Langues : |
Anglais (eng) |
| Catégories : |
Thèses & Mémoires:Informatique
|
| Mots-clés : |
Recommender systems
Collaborative filtering
Deep learning
Unsupervised
Autoencoders |
| Index. décimale : |
004 - Informatique |
| Résumé : |
Recommender systems have been very useful tools in various applications such as online
marketing, e-commerce services, and social networking applications. They are information
filtering technologies used to recommend products to users using specific techniques. Recommender
systems are classified into three types: collaborative, content-based, and hybrid.
In recent years, many studies have been conducted to improve recommender systems by integrating
deep learning techniques. As an unsupervised deep learning method, autoencoders
have been widely used for their excellent performance in data dimensionality reduction and
data reconstruction. In this thesis, we propose the construction of a collaborative recommender
system for filtering online resources. Our model architecture is based on an autoencoder,
specifically basic, deep, and denoising autoencoders, leveraging their capabilities to
improve recommendation accuracy and efficiency. |
| Note de contenu : |
Sommaire
General introduction 9
1 Recommendation systems 11
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.2 Recommendation systems definition . . . . . . . . . . . . . . . . . . . . . . . 12
1.3 Phases of recommendation process . . . . . . . . . . . . . . . . . . . . . . . 13
1.3.1 Information collectionphase . . . . . . . . . . . . . . . . . . . . . . . 13
1.3.1.1 Explicit feedback . . . . . . . . . . . . . . . . . . . . . . . . 13
1.3.1.2 Implicit feedback . . . . . . . . . . . . . . . . . . . . . . . . 13
1.3.2 Learning phase . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.3.3 Prediction/recommendation phase . . . . . . . . . . . . . . . . . . . . 13
1.4 Recommender System Approaches . . . . . . . . . . . . . . . . . . . . . . . . 13
1.4.1 Collaborative filtering . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.4.1.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.4.1.2 Types of recommendation based on collaborative filtering . . 15
1.4.1.2.1 Memory-based: . . . . . . . . . . . . . . . . . . . . 15
1.4.1.2.2 Model-based: . . . . . . . . . . . . . . . . . . . . . 16
1.4.1.3 The advantages of collaborative . . . . . . . . . . . . . . . . 16
1.4.1.4 The disadvantages of collaborative . . . . . . . . . . . . . . 16
1.4.2 Content-based filtering . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.4.2.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.4.2.2 The advantages of Content-based . . . . . . . . . . . . . . 18
1.4.2.3 The disadvantages of Content-based . . . . . . . . . . . . . 18
1.4.3 Hybrid filtering technique . . . . . . . . . . . . . . . . . . . . . . . . 18
1.4.3.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.4.3.2 The advantages of Hybrid . . . . . . . . . . . . . . . . . . . 19
1.4.3.3 The disadvantages of Hybrid . . . . . . . . . . . . . . . . . 19
1.5 Recommender System Applications . . . . . . . . . . . . . . . . . . . . . . . 19
1.5.1 E-Commerce & Retail: Personalized Merchandising: . . . . . . . . . . 19
1.5.2 Media & Entertainment: Personalized Content: . . . . . . . . . . . . 19
1.5.3 Personalized Banking: . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.6 Matrix Factorization for Recommendation . . . . . . . . . . . . . . . . . . . 20
1.7 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2 Overview on Artificial Intelligence, Machine Learning, and Deep Learning 21
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.2 Artificial Intelligence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.3 Machine Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.3.1 Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.3.2 Types of Machine Learning . . . . . . . . . . . . . . . . . . . . . . . 23
2.3.2.1 Supervised learning . . . . . . . . . . . . . . . . . . . . . . . 23
2.3.2.2 Unsupervised learning . . . . . . . . . . . . . . . . . . . . . 24
2.3.2.3 Semi-supervised learning . . . . . . . . . . . . . . . . . . . . 24
2.3.2.4 Reinforcement learning . . . . . . . . . . . . . . . . . . . . . 24
2.3.3 Machine Learning Algorithms . . . . . . . . . . . . . . . . . . . . . . 24
2.3.3.1 Decision trees . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.3.3.2 Support Vector Machines (SVM) . . . . . . . . . . . . . . . 25
2.3.3.3 K-means clustering . . . . . . . . . . . . . . . . . . . . . . . 25
2.4 Deep Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.4.1 Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.4.2 Artificial Neural Networks (ANN) . . . . . . . . . . . . . . . . . . . 26
2.4.3 Layers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.4.3.1 Input layer . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.4.3.2 Hidden layer . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.4.3.3 Output layer . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.4.4 Deep learning architectures . . . . . . . . . . . . . . . . . . . . . . . 28
2.4.4.1 Convolutional Neural Networks (CNN) . . . . . . . . . . . . 28
2.4.4.2 Recurrent Neural Networks (RNN) . . . . . . . . . . . . . . 29
2.4.4.3 Autoencoders (AE) . . . . . . . . . . . . . . . . . . . . . . . 29
2.4.4.3.1 Undercomplete Autoencoder: . . . . . . . . . . . . 30
2.4.4.3.2 Sparse AutoEncoder (SAE): . . . . . . . . . . . . . 30
2.4.4.3.3 Denoising Autoencoder (DAE): . . . . . . . . . . . 30
2.4.4.3.4 Contractive Autoencoder(CAE): . . . . . . . . . . 31
2.4.4.3.5 Variational AutoEncoder(VAE): . . . . . . . . . . . 31
2.5 Contribution of deep learning in Recommender Systems . . . . . . . . . . . . 31
2.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3 Proposed Methodology 32
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.2 Related works . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.3 Problem formulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.4 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.4.1 Autoencoder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.4.2 Deep Autoencoder . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.4.3 Denoising Autoencoder . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.4.4 Loss function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.5 The general architecture of our system . . . . . . . . . . . . . . . . . . . . . 37
3.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
4 Experiments and Results 38
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
4.2 Tools and Environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
4.2.1 Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
4.2.2 Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
4.2.2.1 Python . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
4.2.2.2 Kaggle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
4.2.2.3 Anaconda . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
4.2.2.4 Jupyter Notebook . . . . . . . . . . . . . . . . . . . . . . . 40
4.2.2.5 Pandas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
4.2.2.6 Numpy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
4.2.2.7 Matplotlib . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
4.2.2.8 Scikit-Learn . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
4.2.2.9 Tensorflow . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
4.2.2.10 Keras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
4.3 Dataset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
4.4 Evaluation metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
4.4.1 Root Mean Square Error (RMSE) . . . . . . . . . . . . . . . . . . . . 42
4.5 Proposed Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
4.6 Experiments and Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
4.6.1 Experiment 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
4.6.2 Experiment 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
4.6.3 Experiment 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.6.4 Experiment 4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.7 Comparison with Baselines . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
4.8 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 |
| Côte titre : |
MAI/0877 |
Deep AutoEncoders Recommender System [texte imprimé] / Khadidja Marmioui, Auteur ; Ouissam Hamoudi ; Mediani,Chahrazed, Directeur de thèse . - [S.l.] : Setif:UFA, 2024 . - 1 vol (52 f .) ; 29 cm. Langues : Anglais ( eng)
| Catégories : |
Thèses & Mémoires:Informatique
|
| Mots-clés : |
Recommender systems
Collaborative filtering
Deep learning
Unsupervised
Autoencoders |
| Index. décimale : |
004 - Informatique |
| Résumé : |
Recommender systems have been very useful tools in various applications such as online
marketing, e-commerce services, and social networking applications. They are information
filtering technologies used to recommend products to users using specific techniques. Recommender
systems are classified into three types: collaborative, content-based, and hybrid.
In recent years, many studies have been conducted to improve recommender systems by integrating
deep learning techniques. As an unsupervised deep learning method, autoencoders
have been widely used for their excellent performance in data dimensionality reduction and
data reconstruction. In this thesis, we propose the construction of a collaborative recommender
system for filtering online resources. Our model architecture is based on an autoencoder,
specifically basic, deep, and denoising autoencoders, leveraging their capabilities to
improve recommendation accuracy and efficiency. |
| Note de contenu : |
Sommaire
General introduction 9
1 Recommendation systems 11
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.2 Recommendation systems definition . . . . . . . . . . . . . . . . . . . . . . . 12
1.3 Phases of recommendation process . . . . . . . . . . . . . . . . . . . . . . . 13
1.3.1 Information collectionphase . . . . . . . . . . . . . . . . . . . . . . . 13
1.3.1.1 Explicit feedback . . . . . . . . . . . . . . . . . . . . . . . . 13
1.3.1.2 Implicit feedback . . . . . . . . . . . . . . . . . . . . . . . . 13
1.3.2 Learning phase . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.3.3 Prediction/recommendation phase . . . . . . . . . . . . . . . . . . . . 13
1.4 Recommender System Approaches . . . . . . . . . . . . . . . . . . . . . . . . 13
1.4.1 Collaborative filtering . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.4.1.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.4.1.2 Types of recommendation based on collaborative filtering . . 15
1.4.1.2.1 Memory-based: . . . . . . . . . . . . . . . . . . . . 15
1.4.1.2.2 Model-based: . . . . . . . . . . . . . . . . . . . . . 16
1.4.1.3 The advantages of collaborative . . . . . . . . . . . . . . . . 16
1.4.1.4 The disadvantages of collaborative . . . . . . . . . . . . . . 16
1.4.2 Content-based filtering . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.4.2.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.4.2.2 The advantages of Content-based . . . . . . . . . . . . . . 18
1.4.2.3 The disadvantages of Content-based . . . . . . . . . . . . . 18
1.4.3 Hybrid filtering technique . . . . . . . . . . . . . . . . . . . . . . . . 18
1.4.3.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.4.3.2 The advantages of Hybrid . . . . . . . . . . . . . . . . . . . 19
1.4.3.3 The disadvantages of Hybrid . . . . . . . . . . . . . . . . . 19
1.5 Recommender System Applications . . . . . . . . . . . . . . . . . . . . . . . 19
1.5.1 E-Commerce & Retail: Personalized Merchandising: . . . . . . . . . . 19
1.5.2 Media & Entertainment: Personalized Content: . . . . . . . . . . . . 19
1.5.3 Personalized Banking: . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.6 Matrix Factorization for Recommendation . . . . . . . . . . . . . . . . . . . 20
1.7 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2 Overview on Artificial Intelligence, Machine Learning, and Deep Learning 21
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.2 Artificial Intelligence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.3 Machine Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.3.1 Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.3.2 Types of Machine Learning . . . . . . . . . . . . . . . . . . . . . . . 23
2.3.2.1 Supervised learning . . . . . . . . . . . . . . . . . . . . . . . 23
2.3.2.2 Unsupervised learning . . . . . . . . . . . . . . . . . . . . . 24
2.3.2.3 Semi-supervised learning . . . . . . . . . . . . . . . . . . . . 24
2.3.2.4 Reinforcement learning . . . . . . . . . . . . . . . . . . . . . 24
2.3.3 Machine Learning Algorithms . . . . . . . . . . . . . . . . . . . . . . 24
2.3.3.1 Decision trees . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.3.3.2 Support Vector Machines (SVM) . . . . . . . . . . . . . . . 25
2.3.3.3 K-means clustering . . . . . . . . . . . . . . . . . . . . . . . 25
2.4 Deep Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.4.1 Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.4.2 Artificial Neural Networks (ANN) . . . . . . . . . . . . . . . . . . . 26
2.4.3 Layers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.4.3.1 Input layer . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.4.3.2 Hidden layer . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.4.3.3 Output layer . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.4.4 Deep learning architectures . . . . . . . . . . . . . . . . . . . . . . . 28
2.4.4.1 Convolutional Neural Networks (CNN) . . . . . . . . . . . . 28
2.4.4.2 Recurrent Neural Networks (RNN) . . . . . . . . . . . . . . 29
2.4.4.3 Autoencoders (AE) . . . . . . . . . . . . . . . . . . . . . . . 29
2.4.4.3.1 Undercomplete Autoencoder: . . . . . . . . . . . . 30
2.4.4.3.2 Sparse AutoEncoder (SAE): . . . . . . . . . . . . . 30
2.4.4.3.3 Denoising Autoencoder (DAE): . . . . . . . . . . . 30
2.4.4.3.4 Contractive Autoencoder(CAE): . . . . . . . . . . 31
2.4.4.3.5 Variational AutoEncoder(VAE): . . . . . . . . . . . 31
2.5 Contribution of deep learning in Recommender Systems . . . . . . . . . . . . 31
2.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3 Proposed Methodology 32
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.2 Related works . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.3 Problem formulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.4 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.4.1 Autoencoder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.4.2 Deep Autoencoder . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.4.3 Denoising Autoencoder . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.4.4 Loss function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.5 The general architecture of our system . . . . . . . . . . . . . . . . . . . . . 37
3.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
4 Experiments and Results 38
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
4.2 Tools and Environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
4.2.1 Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
4.2.2 Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
4.2.2.1 Python . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
4.2.2.2 Kaggle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
4.2.2.3 Anaconda . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
4.2.2.4 Jupyter Notebook . . . . . . . . . . . . . . . . . . . . . . . 40
4.2.2.5 Pandas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
4.2.2.6 Numpy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
4.2.2.7 Matplotlib . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
4.2.2.8 Scikit-Learn . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
4.2.2.9 Tensorflow . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
4.2.2.10 Keras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
4.3 Dataset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
4.4 Evaluation metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
4.4.1 Root Mean Square Error (RMSE) . . . . . . . . . . . . . . . . . . . . 42
4.5 Proposed Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
4.6 Experiments and Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
4.6.1 Experiment 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
4.6.2 Experiment 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
4.6.3 Experiment 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.6.4 Experiment 4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.7 Comparison with Baselines . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
4.8 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 |
| Côte titre : |
MAI/0877 |
|
Ajouter le résultat dans votre panier Affiner la recherche
