University Sétif 1 FERHAT ABBAS Faculty of Sciences
Détail de l'éditeur
Setif:UFA |
Documents disponibles chez cet éditeur
![](./images/expand_all.gif)
![](./images/collapse_all.gif)
Titre : Détection de l'Intensité des Emotions dans les Tweets Type de document : texte imprimé Auteurs : Dahel, Sami, Auteur ; Lakhfif ,Abdelaziz, Directeur de thèse Editeur : Setif:UFA Année de publication : 2018 Importance : 1 vol (38 f .) Format : 29 cm Langues : Français (fre) Langues originales : Français (fre) Catégories : Thèses & Mémoires:Informatique Mots-clés : Algorithmes d’apprentissage
Classification automatique
Fouille d'opinionIndex. décimale : 004 - Informatique Résumé : Résumé
Notre mémoire sur la fouille d’opinion et l'analyse de sentiment. Il est l'un des domaines de recherche les plus actifs actuellement, il a pour but d'analyser les sentiments des gens, des attitudes, des émotions sur twitter. La classification est une activité importante dans le domaine de fouille d’opinion pour cela, je représente un approches connues pour effectuer une classification automatique de textes d’opinion avec quatre algorithmes knn, regression linear, naive bayes et les arbres de décision. Le but de ce travail est de connaitre les sources informationnelles en repérant d’abord les phrases porteuses d’opinion, de détecter la subjectivité puis d’attribuer une polarité (positive, négative ou neutre)à l’opinion,et comparer les résultats d’évaluation dans différents algorithmes d’apprentissage.Note de contenu : Sommaire
Résumé ....................................................................................................................................... i
Liste des tableaux : ................................................................................................................. vii
Introduction général : ............................................................................................................. 1
CahpitreI
1.1 Analyse de sentiment : ....................................................................................................... 3
1.2 Niveaux d'étude : ................................................................................................................ 3
1.3 Composantes de sentiment : ............................................................................................. 4
1.4 Technique d'analyse des sentiments: ................................................................................ 4
1.4.1 Apprentissage automatique : ................................................................................ 4
1.4.2 Le méthode lexique : ............................................................................................. 6
1.4.3 Méthodes hybrides : ............................................................................................
1.5 Analyse de sentiment et le commerce : ............................................................................
1.6 Analyse de sentiment et politique : ................................................................................... 8
1.7 Analyse de sentiment et publicité en ligne : .....................................................................
ChapitreII
2.1 Définition : .......................................................................................................................
2.2 Le développement des réseaux sociaux : .......................................................................... 9
2.3 L'impact des réseaux sociaux dans notre vie: ................................................................ 10
2.3.1 Impact des médias sociaux sur l'éducation .......................................................... 10
2.3.2 Impact sur le business : .......................................................................................
2.3.3 Impact des médias sociaux sur la société: ........................................................... 11
2.3.4. Impact des médias sociaux sur les jeunes : ......................................................... 12
2.4 Les avantages et les inconvénients de réseaux sociaux : .............................................. 12
2.4.1 Avantages: .......................................................................................................... 12
2.4.2 Inconvénients: .................................................................................................... 13
2.5 Twitter : ............................................................................................................................. 13
2.5.1 Présentation de twitter : ..................................................................................... 13
2.5.2 Eléments de twitter: ........................................................................................... 14
2.5.3 L'impact de twitter dans notre vie : .................................................................... 15
2.5.3.1. Outils de communication ............................................................................. 15
2.5.3.2. Outils d'information .................................................................................... 15
2.5.3.3. Outils de rapprochement ............................................................................. 15
2.5.3.4. Des outils de partage : ................................................................................. 15
2.5.3.5. Des outils valorisants : ................................................................................. 15
2.5.3.6. Des outils relationnels : ............................................................................... 16
2.5.3.7. Un remède à la solitude : ............................................................................. 16
2.5.4. Les inconvénients de Twitter: ............................................................................. 16
2.5.4.1. L'intimidation : ............................................................................................ 16
2.5.4.2. La vengeance : ................................................................................................ 16
2.5.4.3. La vie professionnelle : .................................................................................... 16
ChapitreIII
3.1 Data mining : ................................................................................................................... 17
3.2 description data mining : ............................................................................................... 17
3.3 Noms alternatifs et leurs histoires intérieures: .............................................................. 17
3.4 types de données applique le data mining ...................................................................... 18
3.5 Fouille de Texte (Text Mining) : ..................................................................................... 18
3.5.1. le text mining : ................................................................................................... 18
3.5.2 L’utilité du text mining : ...................................................................................... 18
3.6 Modèle de processus DM : ............................................................................................... 19
3.7 Techniques du Data mining: ........................................................................................... 20
3.8 Fouille de texte et fouille de données : ............................................................................ 21
ChapitreIV
4.1 Twitter api : ...................................................................................................................... 22
4.2 Domaines d'application de l'API : .................................................................................. 22
4.3 Création d'une application twitter : ............................................................................... 22
4.4 Environnement logiciel : .................................................................................................. 25
4.4.1 Le Jupyter : ......................................................................................................... 25
4.5 Langage de programmation: ........................................................................................... 26
4.5.1 Python : .............................................................................................................. 26
4.5.2 Bibliothèques : ................................................................................................... 26
4.6 Connexion python avec twitter : .................................................................................... 27
4.7 analyse les commentaires : .............................................................................................. 27
4.8 Présentation des donner : ................................................................................................ 28
4.9 Pré traitement : ................................................................................................................. 28
4.10 Représentation : .............................................................................................................. 30
4.11 Expérimentation : ........................................................................................................... 31
4.12 Résultats : ........................................................................................................................ 32
4.13. Discutions résultat : ....................................................................................................... 36
Conclusion général : ............................................................................................................... 38
BibliographieCôte titre : MAI/0219 En ligne : https://drive.google.com/file/d/14YJtlkvooSN_EsgOiIXC2Q2xrz6yivbR/view?usp=shari [...] Format de la ressource électronique : Détection de l'Intensité des Emotions dans les Tweets [texte imprimé] / Dahel, Sami, Auteur ; Lakhfif ,Abdelaziz, Directeur de thèse . - [S.l.] : Setif:UFA, 2018 . - 1 vol (38 f .) ; 29 cm.
Langues : Français (fre) Langues originales : Français (fre)
Catégories : Thèses & Mémoires:Informatique Mots-clés : Algorithmes d’apprentissage
Classification automatique
Fouille d'opinionIndex. décimale : 004 - Informatique Résumé : Résumé
Notre mémoire sur la fouille d’opinion et l'analyse de sentiment. Il est l'un des domaines de recherche les plus actifs actuellement, il a pour but d'analyser les sentiments des gens, des attitudes, des émotions sur twitter. La classification est une activité importante dans le domaine de fouille d’opinion pour cela, je représente un approches connues pour effectuer une classification automatique de textes d’opinion avec quatre algorithmes knn, regression linear, naive bayes et les arbres de décision. Le but de ce travail est de connaitre les sources informationnelles en repérant d’abord les phrases porteuses d’opinion, de détecter la subjectivité puis d’attribuer une polarité (positive, négative ou neutre)à l’opinion,et comparer les résultats d’évaluation dans différents algorithmes d’apprentissage.Note de contenu : Sommaire
Résumé ....................................................................................................................................... i
Liste des tableaux : ................................................................................................................. vii
Introduction général : ............................................................................................................. 1
CahpitreI
1.1 Analyse de sentiment : ....................................................................................................... 3
1.2 Niveaux d'étude : ................................................................................................................ 3
1.3 Composantes de sentiment : ............................................................................................. 4
1.4 Technique d'analyse des sentiments: ................................................................................ 4
1.4.1 Apprentissage automatique : ................................................................................ 4
1.4.2 Le méthode lexique : ............................................................................................. 6
1.4.3 Méthodes hybrides : ............................................................................................
1.5 Analyse de sentiment et le commerce : ............................................................................
1.6 Analyse de sentiment et politique : ................................................................................... 8
1.7 Analyse de sentiment et publicité en ligne : .....................................................................
ChapitreII
2.1 Définition : .......................................................................................................................
2.2 Le développement des réseaux sociaux : .......................................................................... 9
2.3 L'impact des réseaux sociaux dans notre vie: ................................................................ 10
2.3.1 Impact des médias sociaux sur l'éducation .......................................................... 10
2.3.2 Impact sur le business : .......................................................................................
2.3.3 Impact des médias sociaux sur la société: ........................................................... 11
2.3.4. Impact des médias sociaux sur les jeunes : ......................................................... 12
2.4 Les avantages et les inconvénients de réseaux sociaux : .............................................. 12
2.4.1 Avantages: .......................................................................................................... 12
2.4.2 Inconvénients: .................................................................................................... 13
2.5 Twitter : ............................................................................................................................. 13
2.5.1 Présentation de twitter : ..................................................................................... 13
2.5.2 Eléments de twitter: ........................................................................................... 14
2.5.3 L'impact de twitter dans notre vie : .................................................................... 15
2.5.3.1. Outils de communication ............................................................................. 15
2.5.3.2. Outils d'information .................................................................................... 15
2.5.3.3. Outils de rapprochement ............................................................................. 15
2.5.3.4. Des outils de partage : ................................................................................. 15
2.5.3.5. Des outils valorisants : ................................................................................. 15
2.5.3.6. Des outils relationnels : ............................................................................... 16
2.5.3.7. Un remède à la solitude : ............................................................................. 16
2.5.4. Les inconvénients de Twitter: ............................................................................. 16
2.5.4.1. L'intimidation : ............................................................................................ 16
2.5.4.2. La vengeance : ................................................................................................ 16
2.5.4.3. La vie professionnelle : .................................................................................... 16
ChapitreIII
3.1 Data mining : ................................................................................................................... 17
3.2 description data mining : ............................................................................................... 17
3.3 Noms alternatifs et leurs histoires intérieures: .............................................................. 17
3.4 types de données applique le data mining ...................................................................... 18
3.5 Fouille de Texte (Text Mining) : ..................................................................................... 18
3.5.1. le text mining : ................................................................................................... 18
3.5.2 L’utilité du text mining : ...................................................................................... 18
3.6 Modèle de processus DM : ............................................................................................... 19
3.7 Techniques du Data mining: ........................................................................................... 20
3.8 Fouille de texte et fouille de données : ............................................................................ 21
ChapitreIV
4.1 Twitter api : ...................................................................................................................... 22
4.2 Domaines d'application de l'API : .................................................................................. 22
4.3 Création d'une application twitter : ............................................................................... 22
4.4 Environnement logiciel : .................................................................................................. 25
4.4.1 Le Jupyter : ......................................................................................................... 25
4.5 Langage de programmation: ........................................................................................... 26
4.5.1 Python : .............................................................................................................. 26
4.5.2 Bibliothèques : ................................................................................................... 26
4.6 Connexion python avec twitter : .................................................................................... 27
4.7 analyse les commentaires : .............................................................................................. 27
4.8 Présentation des donner : ................................................................................................ 28
4.9 Pré traitement : ................................................................................................................. 28
4.10 Représentation : .............................................................................................................. 30
4.11 Expérimentation : ........................................................................................................... 31
4.12 Résultats : ........................................................................................................................ 32
4.13. Discutions résultat : ....................................................................................................... 36
Conclusion général : ............................................................................................................... 38
BibliographieCôte titre : MAI/0219 En ligne : https://drive.google.com/file/d/14YJtlkvooSN_EsgOiIXC2Q2xrz6yivbR/view?usp=shari [...] Format de la ressource électronique : Exemplaires (1)
Code-barres Cote Support Localisation Section Disponibilité MAI/0219 MAI/0219 Mémoire Bibliothéque des sciences Français Disponible
Disponible
Titre : Détection de l'intensité des émotions dans les tweets arabes Type de document : texte imprimé Auteurs : Boudoukha,Imane, Auteur ; Lakhfif, Abdelaziz, Directeur de thèse Editeur : Setif:UFA Année de publication : 2020 Importance : 1 vol (71 f .) Format : 29 cm Langues : Français (fre) Catégories : Thèses & Mémoires:Informatique Mots-clés : prédiction
Emotion
Intensité
Apprentissage automatiqueIndex. décimale : 004 - Informatique Résumé :
Une utilisation particulière de la machine et du deep learning est la régression.
Dans ce mémoire, nous voulons proposer un nouveau modèle de régression basé sur
l’apprentissage automatique qui sera capable de prédire et d’identifier les intensités des
différentes émotions dans les Tweets arabes avec une faible erreur qui surpassent les
approches de pointe et les travaux précédents.
Nous utilisons ici cinq algorithmes de régression qui ont été formés sur un ensemble de
données extrait de Twitter celle de SharedTask [8]. Afin d’évaluer notre modèle, nous
avons comparé les résultats de la concurrence avec les performances de notre modèle.
Notre modèle proposé(avec des résultats statistiquement significatifs) a surpassé les
travaux publiés précédemment en utilisant les mêmes données, où nous avons obtenu
une erreur allant jusqu’à 1,01% .
Ce modèle prédit spécifiquement, pour un utilisateur, la proportion de commentaires
qui seront publiés avec une émotion particulière ; cette proportion est définie comme
une intensité émotionnelle de l’utilisateur dans une période de temps donnée.
Contrairement à d’autres modèles, qui se concentrent sur une seule émotion, le modèle
proposé considère un schéma de base de quatre émotions et les utilise de manière interdépendante.
Cet outil peut finalement aider à accélérer les systèmes de recommandation, incluent
une surveillance massive de l’opinion et des recommandations pour améliorer le bienêtre
émotionnel des utilisateurs de médias sociaux (par exemple, la recommandation de
souvenirs joyeux), faciliter les transactions commerciales et même améliorer le domaine
de TALN en particulier l’arabe.Côte titre : MAI/0414 En ligne : https://drive.google.com/file/d/1ChbmetuMoko4aAm0ZsYSivurdbaRvKxH/view?usp=shari [...] Format de la ressource électronique : Détection de l'intensité des émotions dans les tweets arabes [texte imprimé] / Boudoukha,Imane, Auteur ; Lakhfif, Abdelaziz, Directeur de thèse . - [S.l.] : Setif:UFA, 2020 . - 1 vol (71 f .) ; 29 cm.
Langues : Français (fre)
Catégories : Thèses & Mémoires:Informatique Mots-clés : prédiction
Emotion
Intensité
Apprentissage automatiqueIndex. décimale : 004 - Informatique Résumé :
Une utilisation particulière de la machine et du deep learning est la régression.
Dans ce mémoire, nous voulons proposer un nouveau modèle de régression basé sur
l’apprentissage automatique qui sera capable de prédire et d’identifier les intensités des
différentes émotions dans les Tweets arabes avec une faible erreur qui surpassent les
approches de pointe et les travaux précédents.
Nous utilisons ici cinq algorithmes de régression qui ont été formés sur un ensemble de
données extrait de Twitter celle de SharedTask [8]. Afin d’évaluer notre modèle, nous
avons comparé les résultats de la concurrence avec les performances de notre modèle.
Notre modèle proposé(avec des résultats statistiquement significatifs) a surpassé les
travaux publiés précédemment en utilisant les mêmes données, où nous avons obtenu
une erreur allant jusqu’à 1,01% .
Ce modèle prédit spécifiquement, pour un utilisateur, la proportion de commentaires
qui seront publiés avec une émotion particulière ; cette proportion est définie comme
une intensité émotionnelle de l’utilisateur dans une période de temps donnée.
Contrairement à d’autres modèles, qui se concentrent sur une seule émotion, le modèle
proposé considère un schéma de base de quatre émotions et les utilise de manière interdépendante.
Cet outil peut finalement aider à accélérer les systèmes de recommandation, incluent
une surveillance massive de l’opinion et des recommandations pour améliorer le bienêtre
émotionnel des utilisateurs de médias sociaux (par exemple, la recommandation de
souvenirs joyeux), faciliter les transactions commerciales et même améliorer le domaine
de TALN en particulier l’arabe.Côte titre : MAI/0414 En ligne : https://drive.google.com/file/d/1ChbmetuMoko4aAm0ZsYSivurdbaRvKxH/view?usp=shari [...] Format de la ressource électronique : Exemplaires (1)
Code-barres Cote Support Localisation Section Disponibilité MAI/0414 MAI/0414 Mémoire Bibliothéque des sciences Français Disponible
Disponible
Titre : Détection des objets dans des images Type de document : texte imprimé Auteurs : Belmahdi, Zakaria borhane eddine, Auteur ; Hadi, Fairouz, Directeur de thèse Editeur : Setif:UFA Année de publication : 2020 Importance : 1 vol (75 f .) Format : 29 cm Langues : Français (fre) Catégories : Thèses & Mémoires:Informatique Mots-clés : Traitement d’image
Vision par ordinateur
Boint d’intérêtIndex. décimale : 004 - Informatique Résumé :
Ce mémoire s’inscrit dans la problématique de la détection des objets dans des images.
Le travail présenté dans ce mémoire a pour objectif de faire une étude comparative entre
les différents algorithmes : SIFT, SURF, AKAZE, BRISK, KAZE, ORB et FREAKCôte titre : MAI/0358 En ligne : https://drive.google.com/file/d/15u3Wwve817st3dq3Zo9QDxHft0fL_HkK/view?usp=shari [...] Format de la ressource électronique : Détection des objets dans des images [texte imprimé] / Belmahdi, Zakaria borhane eddine, Auteur ; Hadi, Fairouz, Directeur de thèse . - [S.l.] : Setif:UFA, 2020 . - 1 vol (75 f .) ; 29 cm.
Langues : Français (fre)
Catégories : Thèses & Mémoires:Informatique Mots-clés : Traitement d’image
Vision par ordinateur
Boint d’intérêtIndex. décimale : 004 - Informatique Résumé :
Ce mémoire s’inscrit dans la problématique de la détection des objets dans des images.
Le travail présenté dans ce mémoire a pour objectif de faire une étude comparative entre
les différents algorithmes : SIFT, SURF, AKAZE, BRISK, KAZE, ORB et FREAKCôte titre : MAI/0358 En ligne : https://drive.google.com/file/d/15u3Wwve817st3dq3Zo9QDxHft0fL_HkK/view?usp=shari [...] Format de la ressource électronique : Exemplaires (1)
Code-barres Cote Support Localisation Section Disponibilité MAI/0358 MAI/0358 Mémoire Bibliothéque des sciences Français Disponible
Disponible
Titre : Detection of anomaly from application log data Type de document : texte imprimé Auteurs : Segueni ,Mossadek-Chakib, Auteur ; Toumi,Lyazid, Directeur de thèse Editeur : Setif:UFA Année de publication : 2019 Importance : 1 vol (59 f .) Format : 29 cm Langues : Français (fre) Catégories : Thèses & Mémoires:Informatique Mots-clés : Application log
Anomaly detection
Machine leaning
Classification
ClusteringIndex. décimale : 004 - Informatique Résumé : Dans cette enquête, nous fournissons un cadre d’apprentissage automatique pour détecter les logiciels malveillants. Nous
ont collecté, analysé et traité de nombreux programmes propres et malveillants pour trouver les meilleures fonctionnalités
et créer des modèles pour classer un programme particulier dans une catégorie de malware ou propre.
De nombreuses techniques de détection anormales ont été développées spécifiquement pour certaines zones de
application, tandis que d'autres sont plus générales. Cette enquête tente de fournir une analyse complète et
vue coordonnée de la recherche de détection d'anomalies. Nous avons compilé les technologies existantes dans
différentes catégories. Pour chaque catégorie, nous avons identifié des hypothèses clés, qui sont utilisées par
techniques permettant de distinguer les comportements naturels des comportements anormaux. De plus, pour chaque catégorie,
nous déterminons les avantages et les inconvénients de ces techniques.
Notre approche utilise la technique de classification KNN et la classification K-MEANS.
Nous espérons que cette enquête fournira une meilleure compréhension de ce domaine et aidera à découvrir
mieux travailler sur les fonctionnalités
Envoyer des commentaires
Historique
Enregistré
CommunautéNote de contenu : Sommaire
Contents
General Introduction: ................................................................................................................................. 9
Chapter 1: Detection of anomalies. ........................................................................................................... 10
1 Introduction: ....................................................................................................................................... 11
2 Log data ............................................................................................................................................... 11
3 Anomalies in log data: ......................................................................................................................... 13
4 Axes of anomalies in log data: ............................................................................................................ 14
4.1 Unstructured Text: ...................................................................................................................... 14
4.2 Redundant information: ............................................................................................................. 15
4.3 Big data: ...................................................................................................................................... 15
5 Types of anomalies: ............................................................................................................................ 16
5.1 Point anomaly: ............................................................................................................................ 16
5.2 Contextual anomaly: ................................................................................................................... 17
5.3 Collective anomaly: ..................................................................................................................... 17
6 Detection Methods: ............................................................................................................................ 18
6.1 Scanning: ..................................................................................................................................... 19
6.2 Activity monitoring: .................................................................................................................... 19
6.3 Integrity checking: ....................................................................................................................... 19
7 Conclusion ........................................................................................................................................... 19
Chapter2 : techniques of anomalies detection. ......................................................................................... 20
1 INTRODUCTION .............................................................................................................................. 21
2 Machine learning: ............................................................................................................................... 22
3 Learning models: ................................................................................................................................ 23
3.1 Supervised machine learning: ..................................................................................................... 24
3.1.1 Advantage and inconvenient: [8] [10] [11] ...................................................................... 24
3.2 Unsupervised machine learning: ................................................................................................. 25
3.2.1 Advantage and inconvenient: ........................................................................................... 25
3.3 Semi-supervised machine learning (one-class classification): .................................................... 26
3.3.1 Advantage and inconvenient: [13] ...................................................................................... 26
3.4 Hybrid machine learning:............................................................................................................ 27
4 Classification approaches:................................................................................................................... 27
5 Clustering approaches: ........................................................................................................................ 27
6 Distance-based approaches: ................................................................................................................ 29
5
7 Density-based approaches: .................................................................................................................. 29
8 Spectral decomposition: ...................................................................................................................... 29
9 Depth-based approaches: .................................................................................................................... 29
10 Distribution-based/ Statistical approaches: ..................................................................................... 29
11 Neural Network Based Anomaly Detection:................................................................................... 30
12 Conclusion: ..................................................................................................................................... 30
Chapter3: K-MEANS and KNN methods. ................................................................................................. 31
1 Introduction: ........................................................................................................................................ 32
2 Algorithm K-means: ........................................................................................................................... 32
2.1 Use Cases of K-means: .............................................................................................................. 35
2.2 Advantages of K-Means: .......................................................................................................... 36
2.3 Inconvenient of K-Means: ........................................................................................................ 36
2.4 Versions of K-means: ................................................................................................................ 36
2.4.1 Global K-means: ............................................................................................................... 36
2.4.2 Modified fast global K-means: ......................................................................................... 37
3 Algorithm K-NN: ................................................................................................................................ 37
3.1 Application domain: .................................................................................................................... 39
3.2 Working principle: ...................................................................................................................... 39
3.3 Pseudo code for the Algorithm KNN: ......................................................................................... 40
3.4 Advantages and disadvantages: .................................................................................................. 41
3.5 KNN density based algorithm for anomalies detection: ............................................................. 41
3.5.1 Pseudo code of LOF ............................................................................................................ 42
4 Conclusion: ......................................................................................................................................... 43
1 Introduction: ........................................................................................................................................ 45
2 Dataset: ............................................................................................................................................... 45
2.1 Database analysis and cleaning: .................................................................................................. 46
3 Transformation of data: ....................................................................................................................... 48
4 First case K-MEANS: ......................................................................................................................... 49
4.1 Result: ......................................................................................................................................... 49
5 Second case KNN: .............................................................................................................................. 51
5.1 Results ......................................................................................................................................... 52
6 Comparison with other results: ........................................................................................................... 53
7 Conclusion: ......................................................................................................................................... 54
Côte titre : MAI/0301 En ligne : https://drive.google.com/file/d/1tdUtKJNTgnJSyyT37vb9L-n5S-dQW6SQ/view?usp=shari [...] Format de la ressource électronique : Detection of anomaly from application log data [texte imprimé] / Segueni ,Mossadek-Chakib, Auteur ; Toumi,Lyazid, Directeur de thèse . - [S.l.] : Setif:UFA, 2019 . - 1 vol (59 f .) ; 29 cm.
Langues : Français (fre)
Catégories : Thèses & Mémoires:Informatique Mots-clés : Application log
Anomaly detection
Machine leaning
Classification
ClusteringIndex. décimale : 004 - Informatique Résumé : Dans cette enquête, nous fournissons un cadre d’apprentissage automatique pour détecter les logiciels malveillants. Nous
ont collecté, analysé et traité de nombreux programmes propres et malveillants pour trouver les meilleures fonctionnalités
et créer des modèles pour classer un programme particulier dans une catégorie de malware ou propre.
De nombreuses techniques de détection anormales ont été développées spécifiquement pour certaines zones de
application, tandis que d'autres sont plus générales. Cette enquête tente de fournir une analyse complète et
vue coordonnée de la recherche de détection d'anomalies. Nous avons compilé les technologies existantes dans
différentes catégories. Pour chaque catégorie, nous avons identifié des hypothèses clés, qui sont utilisées par
techniques permettant de distinguer les comportements naturels des comportements anormaux. De plus, pour chaque catégorie,
nous déterminons les avantages et les inconvénients de ces techniques.
Notre approche utilise la technique de classification KNN et la classification K-MEANS.
Nous espérons que cette enquête fournira une meilleure compréhension de ce domaine et aidera à découvrir
mieux travailler sur les fonctionnalités
Envoyer des commentaires
Historique
Enregistré
CommunautéNote de contenu : Sommaire
Contents
General Introduction: ................................................................................................................................. 9
Chapter 1: Detection of anomalies. ........................................................................................................... 10
1 Introduction: ....................................................................................................................................... 11
2 Log data ............................................................................................................................................... 11
3 Anomalies in log data: ......................................................................................................................... 13
4 Axes of anomalies in log data: ............................................................................................................ 14
4.1 Unstructured Text: ...................................................................................................................... 14
4.2 Redundant information: ............................................................................................................. 15
4.3 Big data: ...................................................................................................................................... 15
5 Types of anomalies: ............................................................................................................................ 16
5.1 Point anomaly: ............................................................................................................................ 16
5.2 Contextual anomaly: ................................................................................................................... 17
5.3 Collective anomaly: ..................................................................................................................... 17
6 Detection Methods: ............................................................................................................................ 18
6.1 Scanning: ..................................................................................................................................... 19
6.2 Activity monitoring: .................................................................................................................... 19
6.3 Integrity checking: ....................................................................................................................... 19
7 Conclusion ........................................................................................................................................... 19
Chapter2 : techniques of anomalies detection. ......................................................................................... 20
1 INTRODUCTION .............................................................................................................................. 21
2 Machine learning: ............................................................................................................................... 22
3 Learning models: ................................................................................................................................ 23
3.1 Supervised machine learning: ..................................................................................................... 24
3.1.1 Advantage and inconvenient: [8] [10] [11] ...................................................................... 24
3.2 Unsupervised machine learning: ................................................................................................. 25
3.2.1 Advantage and inconvenient: ........................................................................................... 25
3.3 Semi-supervised machine learning (one-class classification): .................................................... 26
3.3.1 Advantage and inconvenient: [13] ...................................................................................... 26
3.4 Hybrid machine learning:............................................................................................................ 27
4 Classification approaches:................................................................................................................... 27
5 Clustering approaches: ........................................................................................................................ 27
6 Distance-based approaches: ................................................................................................................ 29
5
7 Density-based approaches: .................................................................................................................. 29
8 Spectral decomposition: ...................................................................................................................... 29
9 Depth-based approaches: .................................................................................................................... 29
10 Distribution-based/ Statistical approaches: ..................................................................................... 29
11 Neural Network Based Anomaly Detection:................................................................................... 30
12 Conclusion: ..................................................................................................................................... 30
Chapter3: K-MEANS and KNN methods. ................................................................................................. 31
1 Introduction: ........................................................................................................................................ 32
2 Algorithm K-means: ........................................................................................................................... 32
2.1 Use Cases of K-means: .............................................................................................................. 35
2.2 Advantages of K-Means: .......................................................................................................... 36
2.3 Inconvenient of K-Means: ........................................................................................................ 36
2.4 Versions of K-means: ................................................................................................................ 36
2.4.1 Global K-means: ............................................................................................................... 36
2.4.2 Modified fast global K-means: ......................................................................................... 37
3 Algorithm K-NN: ................................................................................................................................ 37
3.1 Application domain: .................................................................................................................... 39
3.2 Working principle: ...................................................................................................................... 39
3.3 Pseudo code for the Algorithm KNN: ......................................................................................... 40
3.4 Advantages and disadvantages: .................................................................................................. 41
3.5 KNN density based algorithm for anomalies detection: ............................................................. 41
3.5.1 Pseudo code of LOF ............................................................................................................ 42
4 Conclusion: ......................................................................................................................................... 43
1 Introduction: ........................................................................................................................................ 45
2 Dataset: ............................................................................................................................................... 45
2.1 Database analysis and cleaning: .................................................................................................. 46
3 Transformation of data: ....................................................................................................................... 48
4 First case K-MEANS: ......................................................................................................................... 49
4.1 Result: ......................................................................................................................................... 49
5 Second case KNN: .............................................................................................................................. 51
5.1 Results ......................................................................................................................................... 52
6 Comparison with other results: ........................................................................................................... 53
7 Conclusion: ......................................................................................................................................... 54
Côte titre : MAI/0301 En ligne : https://drive.google.com/file/d/1tdUtKJNTgnJSyyT37vb9L-n5S-dQW6SQ/view?usp=shari [...] Format de la ressource électronique : Exemplaires (1)
Code-barres Cote Support Localisation Section Disponibilité MAI/0301 MAI/0301 Mémoire Bibliothéque des sciences Anglais Disponible
Disponible
Titre : Detection of source diffusion in a network using graph theory Type de document : texte imprimé Auteurs : Ouahdi, Khouloud, Auteur ; Benrguia ,Badreddine, Directeur de thèse Editeur : Setif:UFA Année de publication : 2018 Importance : 1 vol (47 f .) Format : 29 cm Langues : Français (fre) Langues originales : Français (fre) Catégories : Thèses & Mémoires:Informatique Mots-clés : théorie des graphes
Réseau de Barabasi Albert
processus de diffusion
Modèle épidémique
Détection de source
Formule de PintoIndex. décimale : 004 - Informatique Résumé : Résumé
Ce mémoire étudie les concepts de détection d’un virus dans un réseau basé sur un modèle de diffusion épidémique et on l'implémente avec le langage de programmation Python.
Dans la première partie, nous présentons la théorie des graphes, dans laquelle nous voyons qu’est ce un graphe, ses éléments, et nous faisons classification des graphes selon leurs type.
Dans la deuxième partie, nous voyons l'algorithme de diffusion épidémique basé sur le modèle épidémique SI, puis nous fournissons un algorithme de détection de source basé sur l'algorithme de la formule Pinto et l'algorithme de diffusion précédent.
Dans la dernière partie, nous présentons à la fois l'algorithme de diffusion et l'algorithme de détection de source avec le langage de programmation Python, puis nous simulons les deux.Note de contenu : Sommaire
General introduction .......................................................................................................... 1
Graph theory ....................................................................................................... 3
1.1. Introduction ............................................................................................................ 3
1.2. Graph theory ........................................................................................................................ 3
1.3. Graph .................................................................................................................................... 4
1.3.1. Definition: ..................................................................................................................... 4
1.3.2. Some graph properties ................................................................................................. 4
1.3.3. graphs types .................................................................................................................. 5
1.3.3.1. Geographic graphs: .............................................................................................. 5
1.3.3.2. Random graphs ( real world graphs) ............................................................... 11
1.3.3.3. Erdõs Rényi graph: ............................................................................................ 12
1.3.3.4. Small world ......................................................................................................... 14
1.3.3.5. Scale-Free:........................................................................................................... 16
1.3.3.6. Comparison: ....................................................................................................... 20
1.4. Conclusion: ......................................................................................................................... 20
Diffusion and detection processes .................................................................................................... 21
2.1. Introduction ........................................................................................................................ 21
2.1.1. Spatial diffusion types ................................................................................................ 22
2.1.2. Epidemic models: ....................................................................................................... 23
2.1.2.1. SI model : ............................................................................................................ 23
2.1.2.2. SIR model: .......................................................................................................... 23
2.1.3. Diffusion algorithms : ................................................................................................ 25
2.1.3.1. Standard diffusion algorithm ............................................................................ 25
3.1.1.1. Diffusion algorithm with time notion ............................................................... 26
3.2. Source localization: ............................................................................................................ 27
3.2.1. Sensors (observers) : .................................................................................................. 29
3.2.2. Detection algorithms (Our contribution): ................................................................... 29
3.3. Conclusion: ......................................................................................................................... 30
Implementation of source detection algorithm ................................................................................. 31
3.1. Introduction: ....................................................................................................................... 31
3.2.1. Python language: ........................................................................................................ 31
3.2.1.1. History of python: .............................................................................................. 32
3.2.1.2. Python characteristics: ...................................................................................... 33
3.2.2. Anaconda: ................................................................................................................... 34
3.2.4. Spyder: ........................................................................................................................ 36
3.2.5. Networkx: .................................................................................................................... 36
3.2.6. Matplotlib: .................................................................................................................. 37
3.2.7. Tkinter: ....................................................................................................................... 38
3.2.8. Pandas: ........................................................................................................................ 38
3.3. Algorithm Simulation: ....................................................................................................... 39
3.3.1. High degree selected observers Algorithm: ............................................................. 39
3.3.1.1. Diffusion part: .................................................................................................... 39
3.3.1.2. Detection part: .................................................................................................... 40
3.3.1.3. Execution: ........................................................................................................... 43
3.3.2. Random selected observers Algorithm: ................................................................... 43
3.3.2.1. Diffusion part: .................................................................................................... 43
3.3.2.2. Detection part: .................................................................................................... 44
3.3.2.3. Execution: ........................................................................................................... 44
3.5. Conclusion: .............................................................................................................. 46
General conclusion ....................................................................................................... 47Côte titre : MAI/0255 En ligne : https://drive.google.com/file/d/1Ld-4mSQw-yOSt2LEjdNb6XrCKKM1vgQE/view?usp=shari [...] Format de la ressource électronique : Detection of source diffusion in a network using graph theory [texte imprimé] / Ouahdi, Khouloud, Auteur ; Benrguia ,Badreddine, Directeur de thèse . - [S.l.] : Setif:UFA, 2018 . - 1 vol (47 f .) ; 29 cm.
Langues : Français (fre) Langues originales : Français (fre)
Catégories : Thèses & Mémoires:Informatique Mots-clés : théorie des graphes
Réseau de Barabasi Albert
processus de diffusion
Modèle épidémique
Détection de source
Formule de PintoIndex. décimale : 004 - Informatique Résumé : Résumé
Ce mémoire étudie les concepts de détection d’un virus dans un réseau basé sur un modèle de diffusion épidémique et on l'implémente avec le langage de programmation Python.
Dans la première partie, nous présentons la théorie des graphes, dans laquelle nous voyons qu’est ce un graphe, ses éléments, et nous faisons classification des graphes selon leurs type.
Dans la deuxième partie, nous voyons l'algorithme de diffusion épidémique basé sur le modèle épidémique SI, puis nous fournissons un algorithme de détection de source basé sur l'algorithme de la formule Pinto et l'algorithme de diffusion précédent.
Dans la dernière partie, nous présentons à la fois l'algorithme de diffusion et l'algorithme de détection de source avec le langage de programmation Python, puis nous simulons les deux.Note de contenu : Sommaire
General introduction .......................................................................................................... 1
Graph theory ....................................................................................................... 3
1.1. Introduction ............................................................................................................ 3
1.2. Graph theory ........................................................................................................................ 3
1.3. Graph .................................................................................................................................... 4
1.3.1. Definition: ..................................................................................................................... 4
1.3.2. Some graph properties ................................................................................................. 4
1.3.3. graphs types .................................................................................................................. 5
1.3.3.1. Geographic graphs: .............................................................................................. 5
1.3.3.2. Random graphs ( real world graphs) ............................................................... 11
1.3.3.3. Erdõs Rényi graph: ............................................................................................ 12
1.3.3.4. Small world ......................................................................................................... 14
1.3.3.5. Scale-Free:........................................................................................................... 16
1.3.3.6. Comparison: ....................................................................................................... 20
1.4. Conclusion: ......................................................................................................................... 20
Diffusion and detection processes .................................................................................................... 21
2.1. Introduction ........................................................................................................................ 21
2.1.1. Spatial diffusion types ................................................................................................ 22
2.1.2. Epidemic models: ....................................................................................................... 23
2.1.2.1. SI model : ............................................................................................................ 23
2.1.2.2. SIR model: .......................................................................................................... 23
2.1.3. Diffusion algorithms : ................................................................................................ 25
2.1.3.1. Standard diffusion algorithm ............................................................................ 25
3.1.1.1. Diffusion algorithm with time notion ............................................................... 26
3.2. Source localization: ............................................................................................................ 27
3.2.1. Sensors (observers) : .................................................................................................. 29
3.2.2. Detection algorithms (Our contribution): ................................................................... 29
3.3. Conclusion: ......................................................................................................................... 30
Implementation of source detection algorithm ................................................................................. 31
3.1. Introduction: ....................................................................................................................... 31
3.2.1. Python language: ........................................................................................................ 31
3.2.1.1. History of python: .............................................................................................. 32
3.2.1.2. Python characteristics: ...................................................................................... 33
3.2.2. Anaconda: ................................................................................................................... 34
3.2.4. Spyder: ........................................................................................................................ 36
3.2.5. Networkx: .................................................................................................................... 36
3.2.6. Matplotlib: .................................................................................................................. 37
3.2.7. Tkinter: ....................................................................................................................... 38
3.2.8. Pandas: ........................................................................................................................ 38
3.3. Algorithm Simulation: ....................................................................................................... 39
3.3.1. High degree selected observers Algorithm: ............................................................. 39
3.3.1.1. Diffusion part: .................................................................................................... 39
3.3.1.2. Detection part: .................................................................................................... 40
3.3.1.3. Execution: ........................................................................................................... 43
3.3.2. Random selected observers Algorithm: ................................................................... 43
3.3.2.1. Diffusion part: .................................................................................................... 43
3.3.2.2. Detection part: .................................................................................................... 44
3.3.2.3. Execution: ........................................................................................................... 44
3.5. Conclusion: .............................................................................................................. 46
General conclusion ....................................................................................................... 47Côte titre : MAI/0255 En ligne : https://drive.google.com/file/d/1Ld-4mSQw-yOSt2LEjdNb6XrCKKM1vgQE/view?usp=shari [...] Format de la ressource électronique : Exemplaires (1)
Code-barres Cote Support Localisation Section Disponibilité MAI/0255 MAI/0255 Mémoire Bibliothéque des sciences Français Disponible
DisponiblePermalinkPermalinkPermalinkDétermination du coefficient effectif de recombinaison de l’ionosphère après une éruption solaire. / Roumaissa Kiche
![]()
PermalinkDétermination des distributions spatiales et énergétiques des neutrons autour d’un réacteur nucléaire / Layachi Boukerdja
![]()
PermalinkDétermination des éléments essentiels dans les feuilles d’armoise par la technique K0-NAA / Amina Rahal
PermalinkDétermination expérimentale de la SSD effective et des paramètres des faisceaux d’électrons 6, 9, 12, 16, 20 MeV / Amrane, Ismahene
PermalinkDétermination d'un facteur d'intérêt d'un véhicule dans l'internet des véhicules / Zier,abdelhak
![]()
PermalinkDétermination d’une formule empirique pour les sections efficaces des réactions (n,p)à 14.5 MeV / Soumia Belguet
![]()
PermalinkDétermination des paramètres physiques d’un réacteur de recherche par un calcul probabiliste (MCNP) / Boukhalfa,Siham
Permalink