University Sétif 1 FERHAT ABBAS Faculty of Sciences
Résultat de la recherche
1 résultat(s) recherche sur le mot-clé 'Codage Information, Théorie de l' Théorie de l'information'
Ajouter le résultat dans votre panier Affiner la recherche Générer le flux rss de la recherche
Partager le résultat de cette recherche
Théorie de l'information et du codage / Olivier Rioul
Titre : Théorie de l'information et du codage Type de document : texte imprimé Auteurs : Olivier Rioul, Auteur Editeur : Paris : Hermès science publications-Lavoisier Année de publication : 2007 Importance : 1 vol. (286 p.) Présentation : ill. Format : 24 cm ISBN/ISSN/EAN : 978-2-7462-1719-5 Note générale : 978-2-7462-1719-5 Langues : Français (fre) Catégories : Informatique Mots-clés : Codage
Information, Théorie de l'
Théorie de l'informationIndex. décimale : 003.54 Théorie de l'information Résumé :
La théorie de l'information fournit les principes mathématiques nécessaires à la compréhension des systèmes de communication. Elle énonce, en particulier, les limites de performances possibles pour la compression et la transmission de données, clés de la conception des techniques modernes des télécommunications. Cet ouvrage présente les outils généraux de la théorie de l'information et met en évidence leurs applications au codage de source (compression d'information) et de canal (transmission d'information). Des exercices et problèmes complètent le texte.
Ce livre est une référence en français qui traite de la théorie de l'information en détail, depuis la présentation des outils de base de la théorie (entropie, divergence, information mutuelle, théorème du traitement de données, information de Fisher et variance entropique) jusqu'à la démonstration des théorèmes de Shannon (pour le codage de source avec ou sans pertes, le codage de canal et le codage conjoint source/canal). Il s'adresse aussi bien aux chercheurs et ingénieurs des télécommunications qu'aux étudiants de second cycle des universités et écoles d'ingénieurs.Note de contenu :
Sommaire
Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
PREMIÈRE PARTIE. OUTILS DE LA THÉORIE DE L’INFORMATION . . . . 15
Chapitre 1. Entropie et entropie relative . . . . . . . . . . . . . . . . . . . . . 17
1.1. Rappels sur les variables aléatoires . . . . . . . . . . . . . . . . . . . . 17
1.1.1. Variables aléatoires discrètes . . . . . . . . . . . . . . . . . . . . . 17
1.1.2. Variables aléatoires continues . . . . . . . . . . . . . . . . . . . . 20
1.1.3. Notation unifiée . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.2. Entropie H(X) d’une variable aléatoire . . . . . . . . . . . . . . . . . 23
1.3. Entropie différentielle . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
1.4. Entropie relative ou divergence D(p, q) . . . . . . . . . . . . . . . . . 30
Chapitre 2. Traitement et information . . . . . . . . . . . . . . . . . . . . . . 35
2.1. Traitements et canaux . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.1.1. Traitements et canaux discrets . . . . . . . . . . . . . . . . . . . . 37
2.1.2. Traitements et canaux continus . . . . . . . . . . . . . . . . . . . . 42
2.1.3. Traitements et canaux réciproques . . . . . . . . . . . . . . . . . . 44
2.2. Information mutuelle I(X, Y ) . . . . . . . . . . . . . . . . . . . . . . 46
Chapitre 3. Information et entropie . . . . . . . . . . . . . . . . . . . . . . . 51
3.1. Information mutuelle et entropies . . . . . . . . . . . . . . . . . . . . . 51
3.2. Information et incertitude . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.3. Diagrammes de Venn . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.4. Information transmise sur des canaux discrets . . . . . . . . . . . . . . 58
3.5. Information et entropies différentielles . . . . . . . . . . . . . . . . . . 60
Chapitre 4. Concavité et Maximum d’entropie
6 Théorie de l’Information et du Codage
4.1. Propriétés de concavité et de convexité . . . . . . . . . . . . . . . . . . 67
4.2. Inégalité de Gibbs et borne de Shannon . . . . . . . . . . . . . . . . . 71
4.3. Inégalités de Fano . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
Chapitre 5. Chaînes de traitement et perte d’information . . . . . . . . . . 83
5.1. Chaînes de Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
5.1.1. Deux traitements successifs X → Y → Z . . . . . . . . . . . . . 83
5.1.2. Plusieurs traitements successifs X1 → X2 → · · · → Xn . . . . . 88
5.2. Développement de l’information sur plusieurs v.a. . . . . . . . . . . . 91
5.3. Traitement de données et information mutuelle . . . . . . . . . . . . . 97
5.4. Traitement de données et divergence . . . . . . . . . . . . . . . . . . . 102
Chapitre 6. Information de Fisher et e.q.m. minimale . . . . . . . . . . . . . 105
6.1. Information de Fisher paramétrique Jθ(X) . . . . . . . . . . . . . . . 105
6.2. Inégalité de Cramér-Rao . . . . . . . . . . . . . . . . . . . . . . . . . . 110
6.3. Traitement de données et information de Fisher . . . . . . . . . . . . . 113
6.4. Erreur quadratique moyenne minimale Var(θ|X) . . . . . . . . . . . . 116
6.5. Traitement de données et e.q.m. minimale . . . . . . . . . . . . . . . . 120
6.6. Information de Fisher non paramétrique et e.q.m.m. . . . . . . . . . . 121
Chapitre 7. Variance entropique et identité de de Bruijn . . . . . . . . . . . 125
7.1. Entropie et mélange de variables aléatoires . . . . . . . . . . . . . . . 125
7.2. Variance entropique . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
7.3. Inégalité de l’information de Fisher . . . . . . . . . . . . . . . . . . . 133
7.4. Informations de Fisher et de Shannon . . . . . . . . . . . . . . . . . . 137
7.5. Identité de de Bruijn . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
DEUXIÈME PARTIE. LIMITES ET THÉORÈMES DE SHANNON . . . . . . . 145
Chapitre 8. Sources et canaux . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
8.1. Modèles de sources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
8.2. Modèles de canaux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
8.3. Entropie et information mutuelle des composantes . . . . . . . . . . . 159
Chapitre 9. Codage de source et de canal . . . . . . . . . . . . . . . . . . . . 165
9.1. Le problème général du codage . . . . . . . . . . . . . . . . . . . . . . 165
9.2. Codage de source . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
9.3. Codage de canal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
9.4. Codage de source/canal conjoint . . . . . . . . . . . . . . . . . . . . . 174
Chapitre 10. Limites de Shannon . . . . . . . . . . . . . . . . . . . . . . . . . 177
10.1. L’inégalité fondamentale du codage : OPTA . . . . . . . . . . . . . . . 177
10.2. Codage de source : fonction taux-distortion R(D) . . . . . . . . . . . 180
10.3. Codage de canal : fonction capacité-coût C(P) . . . . . . . . . . . . . 182
10.4. Allure des fonctions R(D) et C(P) . . . . . . . . . . . . . . . . . . . 184
10.5. Influence de la dimension . . . . . . . . . . . . . . . . . . . . . . . . . 190
10.6. Influence de la mémoire . . . . . . . . . . . . . . . . . . . . . . . . . . 192
Chapitre 11. Calcul théorique des limites de Shannon . . . . . . . . . . . . 197
11.1. R(D) pour une source sans mémoire . . . . . . . . . . . . . . . . . . . 197
11.2. C(P) pour un canal additif sans mémoire . . . . . . . . . . . . . . . . 202
11.3. Divers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207
Chapitre 12. Séquences typiques . . . . . . . . . . . . . . . . . . . . . . . . . 211
12.1. Séquences typiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
12.2. Séquences conjointement typiques . . . . . . . . . . . . . . . . . . . . 213
12.3. Inégalités de dépendance typique . . . . . . . . . . . . . . . . . . . . . 215
Chapitre 13. Théorèmes de Shannon . . . . . . . . . . . . . . . . . . . . . . . 217
13.1. Codage de source sans pertes . . . . . . . . . . . . . . . . . . . . . . . 217
13.2. Codage de canal sans contrainte de coût . . . . . . . . . . . . . . . . . 221
13.3. Codage de canal : cas général . . . . . . . . . . . . . . . . . . . . . . . 225
13.4. Codage de source avec pertes (cas général) . . . . . . . . . . . . . . . 226
13.5. Commentaires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
13.6. Codage source/canal . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232
13.7. L’éloge de la paresse . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235
Annexes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239
A. Exercices pour la première partie . . . . . . . . . . . . . . . . . . . . . . 239
B. Problèmes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255
B.1. Codage optimal pour le canal à effacement . . . . . . . . . . . . . 255
B.2. Capacité de Hartley du canal uniforme . . . . . . . . . . . . . . . 256
B.3. Calcul de capacité de canaux symétriques . . . . . . . . . . . . . . 257
B.4. Encadrement de la fonction taux-distorsion . . . . . . . . . . . . . 259
B.5. Encadrement de la capacité . . . . . . . . . . . . . . . . . . . . . . 260
B.6. Algorithme de Blahut-Arimoto . . . . . . . . . . . . . . . . . . . . 260
B.7. Capacité avec voie de retour . . . . . . . . . . . . . . . . . . . . . 263
B.8. Capacité d’un canal à états . . . . . . . . . . . . . . . . . . . . . . 264
B.9. Capacité d’un canal à états connus . . . . . . . . . . . . . . . . . . 266
B.10. Capacité du canal gaussien à évanouissements . . . . . . . . . . . 267
B.11. Capacité du canal de Gilbert-Elliott . . . . . . . . . . . . . . . . . 268
B.12. Entropie d’une source stationnaire . . . . . . . . . . . . . . . . . . 269
B.13. Capacité d’un canal binaire avec mémoire . . . . . . . . . . . . . 270
B.14. Systèmes sûrs en cryptographie à clef secrète . . . . . . . . . . . . 271
héorie de l’Information et du Codage
B.15. Codage source-canal tandem dans le cas gaussien . . . . . . . . . 273
B.16. Région de capacité d’un canal à accès multiple . . . . . . . . . . . 274
Bibliographie annotée . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279
IndCôte titre : Fs/12226-12230,Fs/12662 Théorie de l'information et du codage [texte imprimé] / Olivier Rioul, Auteur . - Paris : Hermès science publications-Lavoisier, 2007 . - 1 vol. (286 p.) : ill. ; 24 cm.
ISBN : 978-2-7462-1719-5
978-2-7462-1719-5
Langues : Français (fre)
Catégories : Informatique Mots-clés : Codage
Information, Théorie de l'
Théorie de l'informationIndex. décimale : 003.54 Théorie de l'information Résumé :
La théorie de l'information fournit les principes mathématiques nécessaires à la compréhension des systèmes de communication. Elle énonce, en particulier, les limites de performances possibles pour la compression et la transmission de données, clés de la conception des techniques modernes des télécommunications. Cet ouvrage présente les outils généraux de la théorie de l'information et met en évidence leurs applications au codage de source (compression d'information) et de canal (transmission d'information). Des exercices et problèmes complètent le texte.
Ce livre est une référence en français qui traite de la théorie de l'information en détail, depuis la présentation des outils de base de la théorie (entropie, divergence, information mutuelle, théorème du traitement de données, information de Fisher et variance entropique) jusqu'à la démonstration des théorèmes de Shannon (pour le codage de source avec ou sans pertes, le codage de canal et le codage conjoint source/canal). Il s'adresse aussi bien aux chercheurs et ingénieurs des télécommunications qu'aux étudiants de second cycle des universités et écoles d'ingénieurs.Note de contenu :
Sommaire
Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
PREMIÈRE PARTIE. OUTILS DE LA THÉORIE DE L’INFORMATION . . . . 15
Chapitre 1. Entropie et entropie relative . . . . . . . . . . . . . . . . . . . . . 17
1.1. Rappels sur les variables aléatoires . . . . . . . . . . . . . . . . . . . . 17
1.1.1. Variables aléatoires discrètes . . . . . . . . . . . . . . . . . . . . . 17
1.1.2. Variables aléatoires continues . . . . . . . . . . . . . . . . . . . . 20
1.1.3. Notation unifiée . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.2. Entropie H(X) d’une variable aléatoire . . . . . . . . . . . . . . . . . 23
1.3. Entropie différentielle . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
1.4. Entropie relative ou divergence D(p, q) . . . . . . . . . . . . . . . . . 30
Chapitre 2. Traitement et information . . . . . . . . . . . . . . . . . . . . . . 35
2.1. Traitements et canaux . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.1.1. Traitements et canaux discrets . . . . . . . . . . . . . . . . . . . . 37
2.1.2. Traitements et canaux continus . . . . . . . . . . . . . . . . . . . . 42
2.1.3. Traitements et canaux réciproques . . . . . . . . . . . . . . . . . . 44
2.2. Information mutuelle I(X, Y ) . . . . . . . . . . . . . . . . . . . . . . 46
Chapitre 3. Information et entropie . . . . . . . . . . . . . . . . . . . . . . . 51
3.1. Information mutuelle et entropies . . . . . . . . . . . . . . . . . . . . . 51
3.2. Information et incertitude . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.3. Diagrammes de Venn . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.4. Information transmise sur des canaux discrets . . . . . . . . . . . . . . 58
3.5. Information et entropies différentielles . . . . . . . . . . . . . . . . . . 60
Chapitre 4. Concavité et Maximum d’entropie
6 Théorie de l’Information et du Codage
4.1. Propriétés de concavité et de convexité . . . . . . . . . . . . . . . . . . 67
4.2. Inégalité de Gibbs et borne de Shannon . . . . . . . . . . . . . . . . . 71
4.3. Inégalités de Fano . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
Chapitre 5. Chaînes de traitement et perte d’information . . . . . . . . . . 83
5.1. Chaînes de Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
5.1.1. Deux traitements successifs X → Y → Z . . . . . . . . . . . . . 83
5.1.2. Plusieurs traitements successifs X1 → X2 → · · · → Xn . . . . . 88
5.2. Développement de l’information sur plusieurs v.a. . . . . . . . . . . . 91
5.3. Traitement de données et information mutuelle . . . . . . . . . . . . . 97
5.4. Traitement de données et divergence . . . . . . . . . . . . . . . . . . . 102
Chapitre 6. Information de Fisher et e.q.m. minimale . . . . . . . . . . . . . 105
6.1. Information de Fisher paramétrique Jθ(X) . . . . . . . . . . . . . . . 105
6.2. Inégalité de Cramér-Rao . . . . . . . . . . . . . . . . . . . . . . . . . . 110
6.3. Traitement de données et information de Fisher . . . . . . . . . . . . . 113
6.4. Erreur quadratique moyenne minimale Var(θ|X) . . . . . . . . . . . . 116
6.5. Traitement de données et e.q.m. minimale . . . . . . . . . . . . . . . . 120
6.6. Information de Fisher non paramétrique et e.q.m.m. . . . . . . . . . . 121
Chapitre 7. Variance entropique et identité de de Bruijn . . . . . . . . . . . 125
7.1. Entropie et mélange de variables aléatoires . . . . . . . . . . . . . . . 125
7.2. Variance entropique . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
7.3. Inégalité de l’information de Fisher . . . . . . . . . . . . . . . . . . . 133
7.4. Informations de Fisher et de Shannon . . . . . . . . . . . . . . . . . . 137
7.5. Identité de de Bruijn . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
DEUXIÈME PARTIE. LIMITES ET THÉORÈMES DE SHANNON . . . . . . . 145
Chapitre 8. Sources et canaux . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
8.1. Modèles de sources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
8.2. Modèles de canaux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
8.3. Entropie et information mutuelle des composantes . . . . . . . . . . . 159
Chapitre 9. Codage de source et de canal . . . . . . . . . . . . . . . . . . . . 165
9.1. Le problème général du codage . . . . . . . . . . . . . . . . . . . . . . 165
9.2. Codage de source . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
9.3. Codage de canal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
9.4. Codage de source/canal conjoint . . . . . . . . . . . . . . . . . . . . . 174
Chapitre 10. Limites de Shannon . . . . . . . . . . . . . . . . . . . . . . . . . 177
10.1. L’inégalité fondamentale du codage : OPTA . . . . . . . . . . . . . . . 177
10.2. Codage de source : fonction taux-distortion R(D) . . . . . . . . . . . 180
10.3. Codage de canal : fonction capacité-coût C(P) . . . . . . . . . . . . . 182
10.4. Allure des fonctions R(D) et C(P) . . . . . . . . . . . . . . . . . . . 184
10.5. Influence de la dimension . . . . . . . . . . . . . . . . . . . . . . . . . 190
10.6. Influence de la mémoire . . . . . . . . . . . . . . . . . . . . . . . . . . 192
Chapitre 11. Calcul théorique des limites de Shannon . . . . . . . . . . . . 197
11.1. R(D) pour une source sans mémoire . . . . . . . . . . . . . . . . . . . 197
11.2. C(P) pour un canal additif sans mémoire . . . . . . . . . . . . . . . . 202
11.3. Divers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207
Chapitre 12. Séquences typiques . . . . . . . . . . . . . . . . . . . . . . . . . 211
12.1. Séquences typiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
12.2. Séquences conjointement typiques . . . . . . . . . . . . . . . . . . . . 213
12.3. Inégalités de dépendance typique . . . . . . . . . . . . . . . . . . . . . 215
Chapitre 13. Théorèmes de Shannon . . . . . . . . . . . . . . . . . . . . . . . 217
13.1. Codage de source sans pertes . . . . . . . . . . . . . . . . . . . . . . . 217
13.2. Codage de canal sans contrainte de coût . . . . . . . . . . . . . . . . . 221
13.3. Codage de canal : cas général . . . . . . . . . . . . . . . . . . . . . . . 225
13.4. Codage de source avec pertes (cas général) . . . . . . . . . . . . . . . 226
13.5. Commentaires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
13.6. Codage source/canal . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232
13.7. L’éloge de la paresse . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235
Annexes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239
A. Exercices pour la première partie . . . . . . . . . . . . . . . . . . . . . . 239
B. Problèmes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255
B.1. Codage optimal pour le canal à effacement . . . . . . . . . . . . . 255
B.2. Capacité de Hartley du canal uniforme . . . . . . . . . . . . . . . 256
B.3. Calcul de capacité de canaux symétriques . . . . . . . . . . . . . . 257
B.4. Encadrement de la fonction taux-distorsion . . . . . . . . . . . . . 259
B.5. Encadrement de la capacité . . . . . . . . . . . . . . . . . . . . . . 260
B.6. Algorithme de Blahut-Arimoto . . . . . . . . . . . . . . . . . . . . 260
B.7. Capacité avec voie de retour . . . . . . . . . . . . . . . . . . . . . 263
B.8. Capacité d’un canal à états . . . . . . . . . . . . . . . . . . . . . . 264
B.9. Capacité d’un canal à états connus . . . . . . . . . . . . . . . . . . 266
B.10. Capacité du canal gaussien à évanouissements . . . . . . . . . . . 267
B.11. Capacité du canal de Gilbert-Elliott . . . . . . . . . . . . . . . . . 268
B.12. Entropie d’une source stationnaire . . . . . . . . . . . . . . . . . . 269
B.13. Capacité d’un canal binaire avec mémoire . . . . . . . . . . . . . 270
B.14. Systèmes sûrs en cryptographie à clef secrète . . . . . . . . . . . . 271
héorie de l’Information et du Codage
B.15. Codage source-canal tandem dans le cas gaussien . . . . . . . . . 273
B.16. Région de capacité d’un canal à accès multiple . . . . . . . . . . . 274
Bibliographie annotée . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279
IndCôte titre : Fs/12226-12230,Fs/12662 Exemplaires (6)
Code-barres Cote Support Localisation Section Disponibilité Fs/12226 Fs/12226-12230 livre Bibliothéque des sciences Français Disponible
DisponibleFs/12227 Fs/12226-12230 livre Bibliothéque des sciences Français Disponible
DisponibleFs/12228 Fs/12226-12230 livre Bibliothéque des sciences Français Disponible
DisponibleFs/12229 Fs/12226-12230 livre Bibliothéque des sciences Français Disponible
DisponibleFs/12230 Fs/12226-12230 livre Bibliothéque des sciences Français Disponible
DisponibleFs/12662 Fs/12662 livre Bibliothéque des sciences Français Disponible
Disponible