University Sétif 1 FERHAT ABBAS Faculty of Sciences
Détail de l'auteur
Auteur ISSAAD, Fouzia |
Documents disponibles écrits par cet auteur
Ajouter le résultat dans votre panier Affiner la recherche
Système interactif pour le contrôle gestuel des applications multimédia / ISSAAD, Fouzia
Titre : Système interactif pour le contrôle gestuel des applications multimédia Type de document : texte imprimé Auteurs : ISSAAD, Fouzia ; A Moussaoui, Directeur de thèse Editeur : Setif:UFA Année de publication : 2012 Importance : 1 vol (55f.) Format : 29 cm Langues : Français (fre) Catégories : Thèses & Mémoires:Informatique Mots-clés : Génie logiciel
systeme interactif
controle gestuel
multimédiaIndex. décimale : 004 Informatique Résumé :
Conclusion
Les techniques d’interaction et les périphériques de communication sont aujourd’hui divers
et performants, leur évolution sujet de nombreux travaux ces dernières années. Le choix des
techniques d’interaction d’une application est souvent réalisé en fonction du domaine d’application
et d’un contexte d’interaction prédéfini. Les futurs systèmes informatiques devront
être en mesure de proposer une interaction adaptée au contexte d’interaction en cours On
doit repenser la communication en fonction de l’utilisateur, des capacités du système et de la
nature de l’environnement, d’où un contexte d’interaction à considérer et exploiter dans sa
globalité.
Aujourd’hui, la Communication Homme-Machine (CHM) représente un enjeu technologique,
social et industriel majeur. Le problème n’est plus seulement d’accroître ses performances,
mais de faciliter les échanges d’information avec l’utilisateur humain, en s’adaptant
à ses besoins et à ses capacités. Les problèmes d’interfaces homme/machine, d’abord traités
selon des approches purement techniques d’où l’utilisateur était exclu, conduisirent à des
solutions en réservant l’usage aux spécialistes. Puis sont apparus les ordinateurs personnels
(1972) ; à partir de 1984, leurs interfaces graphiques ont généralisé l’usage de la souris. Aujourd’hui,
on a la possibilité d’utiliser d’autres modes de communication que les claviers/
écran/ souris – par exemple les gestes – l’utilisateur communiquant directement avec l’ordinateur,
ainsi mieux adapté aux besoins communicationnels et aux modes de raisonnement
des utilisateurs. Notre travail est basé sur le développement d’une application d’interfacehomme
machine axée sur une interaction multimodale utilisant la vision par ordinateur pour
la détection des gestes des mains comme la gestion des événements à appliquer sur une interface.
Les résultats obtenus à la fin de de processus de détection de la main, on auras dû appliquer
les commandes face à ces gestes. L’application a été effectuée avec le langage de
programmation java, dans l’environnement de développement Eclipse. En perspective, on
peut étendre cette application pour la traduction du langage des signes vers un langage compréhensible
par la majorité (langage naturel).Note de contenu :
Table des matières
I CHM : Communication Homme machine 1
1 Paradigmes d’interaction récents 3
1.1 Un bref historique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Quelques terminologies . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.1 Média . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.2 Modalité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3 Une palette des interfaces gestuelles . . . . . . . . . . . . . . . . . . . . . 5
1.3.1 Gestes en mi-aire (in mid-air) . . . . . . . . . . . . . . . . . . . . 5
1.3.2 Gestes basés-touches sur des interfaces . . . . . . . . . . . . . . . 6
1.3.3 Interaction multimodale . . . . . . . . . . . . . . . . . . . . . . . 6
1.3.4 La réalité virtuelle . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.3.5 Les applications de la réalité virtuelle . . . . . . . . . . . . . . . . 11
1.3.6 La réalité virtuelle immersive . . . . . . . . . . . . . . . . . . . . 13
2 Classification des gestes et espace taxonomique 17
2.1 Fonctions du geste . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1.1 La fonction de gestes à partir d’un point de vue linguistique . . . . 17
2.1.2 La fonction de gestes en interaction instrumentale . . . . . . . . . . 19
2.2 Morphologies du geste ou styles . . . . . . . . . . . . . . . . . . . . . . . 22
2.2.1 Les fondations de Quek : les gestes de manipulation, sémaphoriques 23
2.2.2 Les styles de geste Karam et al. . . . . . . . . . . . . . . . . . . . 23
2.2.3 Le cas de la dynamique gestuelle . . . . . . . . . . . . . . . . . . . 25
2.3 Les gestes et les technologies habilitantes . . . . . . . . . . . . . . . . . . 27
2.3.1 Les gestes et les technologies habilitantes selon Baudel . . . . . . . 27
2.3.2 Techniques d’interaction gestuelle selon Roudaut et Hinckley . . . 28
2.3.3 Les gestes et les technologies habilitantes selon Hinckley . . . . . . 29
2.4 La nécessité d’une vision unifiée . . . . . . . . . . . . . . . . . . . . . . . 31
2.4.1 Axe lexicale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.4.2 Axe syntaxique . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.4.3 Axe sémantique . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.4.4 Axe pragmatique . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.5 Etat de l’art . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.5.1 La taxonomie la plus récente [Amine 11] . . . . . . . . . . . . . . 35
3 Mise en oeuvre 41
3.1 Couleur de la peau pour la détection de la main . . . . . . . . . . . . . . . 41
3.2 Le processus de détection de la main . . . . . . . . . . . . . . . . . . . . . 41
3.2.1 La segmentation . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.2.2 Détection de contour de la posture . . . . . . . . . . . . . . . . . . 44
3.2.3 Fermeture de contour . . . . . . . . . . . . . . . . . . . . . . . . 45
3.2.4 Calcul de la surface du segment . . . . . . . . . . . . . . . . . . . 47
3.2.5 Dessiner un ellipse et un cadre autour du segment . . . . . . . . . 47
3.3 Expérimentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
Côte titre : MAI/0027 Système interactif pour le contrôle gestuel des applications multimédia [texte imprimé] / ISSAAD, Fouzia ; A Moussaoui, Directeur de thèse . - [S.l.] : Setif:UFA, 2012 . - 1 vol (55f.) ; 29 cm.
Langues : Français (fre)
Catégories : Thèses & Mémoires:Informatique Mots-clés : Génie logiciel
systeme interactif
controle gestuel
multimédiaIndex. décimale : 004 Informatique Résumé :
Conclusion
Les techniques d’interaction et les périphériques de communication sont aujourd’hui divers
et performants, leur évolution sujet de nombreux travaux ces dernières années. Le choix des
techniques d’interaction d’une application est souvent réalisé en fonction du domaine d’application
et d’un contexte d’interaction prédéfini. Les futurs systèmes informatiques devront
être en mesure de proposer une interaction adaptée au contexte d’interaction en cours On
doit repenser la communication en fonction de l’utilisateur, des capacités du système et de la
nature de l’environnement, d’où un contexte d’interaction à considérer et exploiter dans sa
globalité.
Aujourd’hui, la Communication Homme-Machine (CHM) représente un enjeu technologique,
social et industriel majeur. Le problème n’est plus seulement d’accroître ses performances,
mais de faciliter les échanges d’information avec l’utilisateur humain, en s’adaptant
à ses besoins et à ses capacités. Les problèmes d’interfaces homme/machine, d’abord traités
selon des approches purement techniques d’où l’utilisateur était exclu, conduisirent à des
solutions en réservant l’usage aux spécialistes. Puis sont apparus les ordinateurs personnels
(1972) ; à partir de 1984, leurs interfaces graphiques ont généralisé l’usage de la souris. Aujourd’hui,
on a la possibilité d’utiliser d’autres modes de communication que les claviers/
écran/ souris – par exemple les gestes – l’utilisateur communiquant directement avec l’ordinateur,
ainsi mieux adapté aux besoins communicationnels et aux modes de raisonnement
des utilisateurs. Notre travail est basé sur le développement d’une application d’interfacehomme
machine axée sur une interaction multimodale utilisant la vision par ordinateur pour
la détection des gestes des mains comme la gestion des événements à appliquer sur une interface.
Les résultats obtenus à la fin de de processus de détection de la main, on auras dû appliquer
les commandes face à ces gestes. L’application a été effectuée avec le langage de
programmation java, dans l’environnement de développement Eclipse. En perspective, on
peut étendre cette application pour la traduction du langage des signes vers un langage compréhensible
par la majorité (langage naturel).Note de contenu :
Table des matières
I CHM : Communication Homme machine 1
1 Paradigmes d’interaction récents 3
1.1 Un bref historique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Quelques terminologies . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.1 Média . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.2 Modalité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3 Une palette des interfaces gestuelles . . . . . . . . . . . . . . . . . . . . . 5
1.3.1 Gestes en mi-aire (in mid-air) . . . . . . . . . . . . . . . . . . . . 5
1.3.2 Gestes basés-touches sur des interfaces . . . . . . . . . . . . . . . 6
1.3.3 Interaction multimodale . . . . . . . . . . . . . . . . . . . . . . . 6
1.3.4 La réalité virtuelle . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.3.5 Les applications de la réalité virtuelle . . . . . . . . . . . . . . . . 11
1.3.6 La réalité virtuelle immersive . . . . . . . . . . . . . . . . . . . . 13
2 Classification des gestes et espace taxonomique 17
2.1 Fonctions du geste . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1.1 La fonction de gestes à partir d’un point de vue linguistique . . . . 17
2.1.2 La fonction de gestes en interaction instrumentale . . . . . . . . . . 19
2.2 Morphologies du geste ou styles . . . . . . . . . . . . . . . . . . . . . . . 22
2.2.1 Les fondations de Quek : les gestes de manipulation, sémaphoriques 23
2.2.2 Les styles de geste Karam et al. . . . . . . . . . . . . . . . . . . . 23
2.2.3 Le cas de la dynamique gestuelle . . . . . . . . . . . . . . . . . . . 25
2.3 Les gestes et les technologies habilitantes . . . . . . . . . . . . . . . . . . 27
2.3.1 Les gestes et les technologies habilitantes selon Baudel . . . . . . . 27
2.3.2 Techniques d’interaction gestuelle selon Roudaut et Hinckley . . . 28
2.3.3 Les gestes et les technologies habilitantes selon Hinckley . . . . . . 29
2.4 La nécessité d’une vision unifiée . . . . . . . . . . . . . . . . . . . . . . . 31
2.4.1 Axe lexicale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.4.2 Axe syntaxique . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.4.3 Axe sémantique . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.4.4 Axe pragmatique . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.5 Etat de l’art . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.5.1 La taxonomie la plus récente [Amine 11] . . . . . . . . . . . . . . 35
3 Mise en oeuvre 41
3.1 Couleur de la peau pour la détection de la main . . . . . . . . . . . . . . . 41
3.2 Le processus de détection de la main . . . . . . . . . . . . . . . . . . . . . 41
3.2.1 La segmentation . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.2.2 Détection de contour de la posture . . . . . . . . . . . . . . . . . . 44
3.2.3 Fermeture de contour . . . . . . . . . . . . . . . . . . . . . . . . 45
3.2.4 Calcul de la surface du segment . . . . . . . . . . . . . . . . . . . 47
3.2.5 Dessiner un ellipse et un cadre autour du segment . . . . . . . . . 47
3.3 Expérimentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
Côte titre : MAI/0027 Exemplaires (1)
Code-barres Cote Support Localisation Section Disponibilité MAI/0027 MAI/0027 Mémoire Bibliothéque des sciences Français Disponible
Disponible