Polytech Projets Ge

h1. Reconstruction du mouvement humain par système de vision

p=. !https://forge.clermont-universite.fr/attachments/download/16119/toto_20140501223939_20140501224037.jpeg!

---

*Projet GE2-GE3 2013* : Reconstruction du mouvement humain par système de vision

*Entreprise / Client* : INRIA, Christine Azevedo

*Auteurs* : Taoufik EL Kabir,Amine Boukouta

*Responsable Projet* : Sébastien Lengagne

*Tuteur industriel* : Pascal Fickinger

[[1. Résumé]] 

[[2. Abstract]] 

[[3. Lexique]] 

[[4. Abréviation]]

[[5. Introduction]] 

[[6. Présentation du Sujet]] 

p(((. [[1. Equipe DEMAR]] 

[[2. Contexte et enjeux]] 

[[3. Etat de l’art]] 

p((((. [[1. Kinovea]] 

[[2. Système Vicon]] 

p(((. [[4. Comparaison entre Les systèmes de vision existant et l’application à concevoir]] 

[[7. Cahier des Charges]] 

[[8. Developpement]] 

p(((. [[1. Problématiques]] 

[[2. Faisabilité]] 

p((((. [[1. Solutions envisageables]] 

[[2. Comparaison et choix de la méthode du suivi de mouvement]] 

p(((. [[3. Etude Théorique]] 

p((((. [[1. Algorithme détection par couleurs]] 

p(((. [[4. Solutions]] 

p((((. [[1. Qu’est ce que c’est OpenCV ?]] 

[[2. Développement et explication de l’algorithme suivi de mouvement choisi]]

p(((((. [[1. Suivi de l’objet et amélioration de la précision]]

[[2. Gestion des obstructions]] 

p((((. [[3. Algorithme enregistrement vidéo et synchronisation]] 

[[4. Test et validation]] 

p(((((. [[1. Programme suivi point d’intérêt]] 

[[2. Programme enregistrement et synchronisation des webcams]] 

[[3. Résultats et tests]] 

[[9. Gestion de Projet]] 

p(((. [[1. W.B.S.]] 

[[2. Gantt]] 

[[10. Notes d'application]] 

p(((. [[1. sujet 1]] 

[[2. sujet 2]] 

[[11. Bilan]]  

p(((. [[1. Etat d'avancement]] 

[[2. Limites]] 

[[3. Perspectives]] 

[[12. Bibliographie]]

---

p=. *%{color:#82B6E1}Résumé%* 

*Le projet s’inscrit dans le cadre de l’équipe DEMAR de l’INRIA (L'Institut national de recherche en informatique et en automatique), il consiste en la réalisation d’une interface qui permet l’enregistrement de plusieurs vidéos issues de webcams ainsi que le suivi du mouvement humain en trois dimensions dans des conditions cliniques. La méthode utilisée est appelée « La vision par ordinateur », elle a pour but de permettre à un ordinateur de comprendre ce qu'il « voit » lorsqu'on le connecte à une ou plusieurs webcams. OpenCV qui est une bibliothèque graphique libre, spécialisée dans le traitement d'images a été d’une grande aide lors de la réalisation du projet surtout qu’elle fourni plusieurs fonctions de traitement d’image. Le langage de programmation utilisé était le C++.*

*Ce Laboratoire serait intéressé par la réalisation de cette interface, car elle permettrait d’extraire des informations sur le mouvement des personnes pour l'évaluation clinique des performances physiques.*

p(((. *Mots clefs :*

*• Vision par ordinateur

• Modèle de l'humain

• Suivi et précision

• Obstructions*

---

p=. *%{color:#82B6E1}Abstract%* 

---

*The project joins within the framework of the team DEMAR of the INRIA (The national Institute of IT research and in automatic), it consists of the realization of an interface which allows the recording of several videos stemming from webcams as well as the follow-up of the human movement in three dimensions in clinical conditions. The used method is called " The vision by computer ", it aims at allowing a computer to understand what he "sees" when we connect it to one or several cameras. The language of used programming is C ++ as well as all the functions of the bookshop Open CV which is a free graphic library, specialized in the image processing.*

*This Laboratory would be interested in the realization of this interface, because she would allow to extract information on the movement of the people for the evaluation.*

p(((. *Keywords:*

*• Vision by computer

• Model of the human being

• Follow-up and precision

• Obstructions*

---

p=. *%{color:#82B6E1}Lexique%* 

---

- La stimulation électrique fonctionnelle : *Utilise des électrodes qui sont appliquées sur la peau afin de stimuler l'extrémité des nerfs avec du courant électrique et engendrer ainsi une contraction des muscles. Les électrodes sont liées par des câbles à un stimulateur qui engendre des impulsions électriques.*

- Paraplégiques : *La paraplégie est la paralysie plus ou moins complète des deux membres inférieurs et de la partie basse du tronc .*

- Hémiplégiques : *est une paralysie d'une ou plusieurs parties du corps d'un seul côté .*

- Sensori-moteur : *Partie du système nerveux responsable de la sensation et de la commande des mouvements.*

- Données cinématiques : *Information sur le mouvement de type : hauteur, angle de rotation, distance parcourue, vitesse de mouvement, accélération.*

- Gant : *Outil utilisé en gestion de projet pour visualiser l’état d’avancement des différentes tâches.*

- Synchronisé : *pouvoir démarrer en même temps.*

- Déficience motrice : *Atteinte de la motricité, c’est-à-dire de la capacité du corps à se mouvoir ou à se maintenir dans une position donnée de façon ordinaire.*

- Photogramme : *Image en cours de la vidéo.*

- Background : *Arrière plan.*

- Histogramme : *représente la distribution des intensités ou des couleurs de l'image. C'est un outil fondamental dutraitement d'images, avec de très nombreuses applications.*

- Frame : *Image.*

- Pixel : *l'unité de base permettant de mesurer la définition d’une image numérique.*

- CPU : *Processeur.*

---

p=. *%{color:#82B6E1}Abréviation%*

INRIA : *L'Institut national de recherche en informatique et en automatique.*

CNRS: *Centre national de la recherche scientifique.*

LIRMM: *Laboratoire d'Informatique, de Robotique et de Microélectronique de Montpellier

SEF : *stimulation électrique fonctionnelle.*

SSM : *Système Sensori-moteur.*

3D : *Trois dimensions.*

2D : *Deux dimensions.*

W.B.S : *Word Breakdown Structure.*

HSV : *Hue, Saturation, Value, en français : TSV Teinte, Saturation, Valeur.*

BGR : *Blue, Green, Red ou bleu, vert, rouge. Toutes images classiques sont en BGR, équivalent de RGB mais avec une inversion des canaux bleu et rouge.*

---

p=. *%{color:#82B6E1}Introduction%* 

*Pour une formation complète et une préparation à la vie professionnelle, la formation d’ingénieur Génie Electrique au sein de Polytech Clermont Ferrand inclue une réalisation de projet industriel en 4eme année. Ce projet se compose d’une première partie ayant pour but de répondre à un appel d’offre d’un client. Dans notre cas La réalisation technique du projet aura lieu en parallèle avec la gestion de projet. Le projet « Reconstruction du mouvement humain par système de vision » a était proposé par l’équipe DEMAR de L'Institut national de recherche en informatique et en automatique (INRIA) centre Montpellier, plus précisément par Mme Christine Azevedo. Ce projet est encadré par Mr.Lengagne, tuteur technique, et Mr.Fickinger, tuteur industriel. Ces travaux pourront être incorporés dans une publication scientifique internationale.*

*Dans ce cadre, le problème est de reconstruire le mouvement d'une personne en trois dimensions lors d'expérimentation clinique avec peu d'espace et beaucoup de personnes dans le champ de vision. L’interface réalisée permettra l’enregistrement de plusieurs vidéos issues de webcams, ainsi que suivre des points d’intérêts sur des personnes afin d’extraire des informations tels que les coordonnées d’un point sélectionné au cours du temps.*

*À nos jours ils existent des outils de suivi de trajectoire des mouvements humains uniquement en deux dimensions. On cite le logiciel « Kinovea » qui est dédié principalement aux entraîneurs, aux athlètes et aux professionnels de la médecine. Il est compatible avec Windows XP, Windows Vista et Windows 7, par contre il n'existe pas à l'heure actuelle de version pour les systèmes d'exploitation Mac ou GNU/Linux.*

*Pour traiter cette problématique l’étude choisie est la vision par ordinateur qui est la seule technologie permettant la reconnaissance des gestes humains, pour la mise en œuvre de cette méthode, il faut choisir et implémenter l’algorithme de suivi le plus adéquate à notre cahier des charges.*

*Dans un premier temps vous trouverez une présentation du projet, son origine, son contenu et son objectif. Ceci permettra de présenter le cahier des charges. Par la suite la gestion de projet développé durant ce projet. Puis on parlera sur les différentes étapes de la réalisation et de la conception du système de suivi de points d’intérêts et l’enregistrement des vidéos issues de webcams synchronisées. Ensuite nous exposerons l’application finale et les perspectives du projet.*

---

p=. *%{color:#82B6E1}Présentation du Sujet%*

---

Equipe DEMAR

*DEMAR est une équipe-projet hébergé à INRIA/LIRMM, il s'agit d'un projet commun entre le CNRS et les universités de Montpellier 2 et Montpellier 1.Cette équipe-projet appartient au département de recherche en robotique et microélectronique de LIRMM.*

*DEMAR s'intéresse au système sensori-moteur et ses déficiences selon deux axes de recherche :*

p(((. * Modélisation et identification du SSM*

* Synthèse et commande du mouvement induit par stimulation électrique fonctionnelle.*

---

Contexte et enjeux

*La capture de mouvement est une technique permettant d'enregistrer les positions d'objets ou partie du corps. La reconstruction tridimensionnelle à partir de séquences vidéo multi-caméra pour l’analyse ou le suivi du mouvement de personnages ou plus généralement d’objets déformables est un sujet d’une grande actualité au sein de la communauté internationale du domaine de par de nombreuses applications présentes et surtout à venir.*

*La stimulation électrique fonctionnelle permet de contracter artificiellement les muscles. La recherche améliore cette technique, qui reste aujourd'hui la seule façon de restaurer le mouvement de membres paralysés. Dans ce cadre les chercheurs en robotique, microélectronique et ingénierie biomédicale de l'équipe DEMAR (INRIA/LIRMM) ont recentré leurs activités autour de l'expérimentation clinique menée avec des patients paraplégiques et hémiplégiques notamment, en étroite interaction avec des médecins. Modéliser le système sensori-moteur leur permet de mieux comprendre son fonctionnement pour mieux en contrôler le comportement via la stimulation électrique, afin d'atteindre des objectifs valorisables pour les patients et les médecins.*

*Dans ce cadre l’objectif de notre projet est de créer une interface qui permet d’extraire les positions articulaires des patients ce qui va permettre de restaurer leurs mouvements est d’en tirés l’information voulu tels que la position ordonnée et modulée dans le temps. Une des pistes est la vision par ordinateur mais les obstructions peuvent être fréquentes.*

---

Etat de l’art

*Afin de bien comprendre les objectifs souhaités à travers ce projet, il est nécessaires de comprendre ce qui a était fais jusqu'à maintenant concernant les systèmes de vision.*

---

Kinovea

*Kinovea est un logiciel d'analyse vidéo dédié au sport, il permet la reconstruction et le suivi du mouvement humain ainsi que l’extraction des informations sur le mouvement des personnes pour l'évaluation clinique des performances physiques. Il cible principalement les entraîneurs, les athlètes et les professionnels de la médecine.*

*Les options d'export incluent l'enregistrement en vidéo ou vers de multiples images, et la sauvegarde des analyses dans un format tableur pour poursuivre le traitement ailleurs. (Cordonnées de l’objet suivi, le temps nécessaire pour effectuer le mouvement)*

p=. !https://forge.clermont-universite.fr/attachments/download/16121/Capture_20140501232858_20140501232913.jpg!

*Un mode double écran permet de comparer deux performances côte à côte. Les vidéos peuvent être synchronisées sur un événement commun pour faire des comparaisons dynamiques.*

p=. !https://forge.clermont-universite.fr/attachments/download/16122/Comparaison_dynamique_avec_Kinovea_20140501231417_20140501231541.jpeg!

*Les contrôles vidéo permettent de se concentrer sur une action spécifique dans la vidéo et d'explorer le mouvement image par image ou au ralentit. Kinovea lit quasiment tous les types de fichiers.*

---

Système Vicon

*Ce système collecte et traite les données en moins de temps comparé à « Kinovea » et requiert une intervention minimale de l’opérateur. Ce système utilise les caméras de capture de mouvement pour acquérir rapidement les coordonnées 3D de l’objet à suivre. Les images sont traitées au sein des cameras de capture optiques où les marqueurs sont identifiés et les coordonnées calculées avant d’être transférées à l’ordinateur. Après la fin du mouvement, le système procure les coordonnées 3D et les données cinématiques.*

*Ils existent d’autres systèmes de capture de mouvements, tels que « Peak » ou « Optitrack », qui ont déjà été appliqué dans l’analyse de la marche, la rééducation des handicapés ainsi que la réalisation d’effets spéciaux pour le cinéma d’animation en 3D.*

---

Comparaison entre Les systèmes de vision existant et l’application à concevoir

*Dans le cadre de notre projet, l’objectif et de reconstruire le mouvement humain en trois dimensions et sous différents systèmes d’exploitation contrairement à « Kinovea» qui permet seulement un suivi en 2D et sous système d’exploitation Windows.*

*Les systèmes de capture de mouvement qui existe sur le marché et qui permettent un suivi en trois dimensions sont relativement onéreux.*

---

p=. *%{color:#82B6E1}Cahier des Charges%*

---

*L’objectif global du cahier des charges est de définir le projet et de lister toutes les différentes fonctions et contraintes auxquelles le projet sera rattaché.Le cahier des charges est le suivant :*

p=. !https://forge.clermont-universite.fr/attachments/download/16123/Cahier_des_charges_20140501171601_20140501171626.jpeg!

---

p=. *%{color:#82B6E1}Developpement%*

---

Problématiques

*Ce projet s'inscrit dans le cadre de l'équipe DEMAR localisée à Montpellier qui traite de l'assistance fonctionnelle dans le cas de déficience motrice.*

*Afin d’aider à la réalisation de ce projet de recherche, un suivi des points d’intérêts tels que les articulations est obligatoire pour une étude plus approfondis des évolutions et des perspectives d’améliorations des patients. La prise en compte des conditions cliniques est un facteur à ne pas négligé surtout pendant l’enregistrement des vidéos des expériences. Ces vidéos permettront le suivit des point d’intérêts et une étude approfondie sur les souffrants.*

---

Faisabilité

*Avant d’entamer la phase de programmation en langage informatique, il est nécessaire de déterminer l’algorithme le plus adapté à notre cahier de charge.*

Solutions envisageables

*Pour suivre un objet sur une vidéo il existe plusieurs algorithmes de traitement d’image.*

*Dans cette partie, une étude se fera sur les quatre algorithmes étudiés, ils seront présentés de la manière suivante, tout d’abord leurs fonctionnements sera expliqués, puis les paramètres qui les caractérise, les résultats obtenus, et enfin une analyse des résultats obtenus. Une comparaison de ces méthodes sera effectuée afin de voir les meilleures applications entre chacune d’entre elle, pour qu’ensuite détaillé encore plus la solution choisie pour répondre aux besoins du client.*

p(((. *a. Détection par couleurs :*

p((. *• +Fonctionnement :+* *lecture de la couleur de chaque pixel, puis test sur le pixel, suivant la couleur à reconnaitre, ils doivent être supérieurs ou inférieurs au seuil imposé. S’ils respectent ces conditions alors on passe au pixel suivant.*

p((. *• +Test :+* condition de supériorité ou d’infériorité à un seuil sur chaque couleur.

*• +Paramètres :+* Les paramètres principaux sont les différents seuils des couleurs

*• +Résultats :+*

p<. !https://forge.clermont-universite.fr/attachments/download/16124/Exemple_detection_couleurs_20140501232510_20140501232603.JPG!

p((. *•Analyse :+* 

p((. *Avantage :*

p(((. * C’est une méthode assez simple à mettre en œuvre, il suffit de reconnaître une couleur qui ressort par rapport au reste de l’image.*

p((. Inconvénients : 

p(((. * Il existe beaucoup de nuance de couleur (256³) il faut alors avoir une grande base de données puis choisir la couleur ou définir à chaque fois la couleur souhaitée ce qui sous entend que ces valeurs soit connues.*

p(((. * Si un autre objet possède la même couleur on ne peut les différencier, excepté s’il y a une grande différence de taille entre les deux objets et que l’objet à reconnaître est le plus grand.*

* Si notre objet change de couleur au cours de la vidéo, la couleur à reconnaître devra également être modifiée.*

p((((. - *b.* Détection de mouvement :

p((. *+• Fonctionnement :+*

*Il s’agit de comparer pixel par pixel l’objet suivi et le fond correspondant si la différence entre les deux valeurs de pixels est supérieure à un seuil donné alors on considère qu’il y a mouvement.

• Paramètres :*

*Le photogramme d’origine peut être le premier photogramme de la vidéo, dans ce cas, elle ne doit pas contenir l’objet à suivre, sinon il est possible de rentrer en paramètre une image correspondant au «background».*

*+• Résultats :+*

p=. !https://forge.clermont-universite.fr/attachments/download/16125/Reconnaissance_de_mouvement_20140501232858_20140501233019.jpg!

*+• Analyse+*

*Avantage de la méthode :*

*o La simplicité d’utilisation*

*Inconvénient de la méthode :*

*o Le premier photogramme ne doit contenir aucun objet, il s’agit du fond.*

*o La caméra doit rester fixe, le « background » reste fixe. Si la caméra n’est plus fixe alors le «background » non plus et il est alors impossible de reconnaître l’objet.*

p(((. *c.* Histogramme :

*+• Fonctionnement :+*

*Il y a deux types de reconnaissance à l’aide d’un histogramme. L’image de référence est toujours la même, alors que la seconde est modifiée à chaque photogramme.

Dans chacun des cas, on va comparer, les histogrammes de chacune des couleurs, entre l’image de référence et l’image actuelle. Une moyenne sera effectuée, puis inversée de façon à ce que la différence la plus petite possède le poids le plus grand.*

*+• Paramètre :+*

*L’image de référence : cette image peut être une image sélectionnée de la bibliothèque ou une sélection faite à la main sur le premier photogramme de la vidéo.

En effet il est possible de changer le photogramme origine à chaque photogramme, ceci peut être intéressant si l’objet change de forme ou de couleur.*

*+• Résultats :+*

*Avec un changement d’image de référence, l’objet se perd peu à peu. Avec une image fixe, l’objet sera toujours présent mais si cet objet change de couleur alors il sera impossible de le repérer. Il faut donc trouver un compromis, permettant de repérer l’objet à chaque image.*

*+• Analyse :+*

*Si l’image de référence est fixe et que l’objet change de taille, de forme ou de couleur au cours de la vidéo la reconnaissance ne se fera pas. En changeant l’image d’origine et donc l’histogramme de comparaison le risque est moindre car l’histogramme varie de la même manière que l’objet.*

Inconvénients :

*Les paramètres sont difficiles à mettre en place, il y a un manque de précision et les résultats ne sont pas toujours ceux espérés. Cet algorithme n’est pas idéal dans l’étude effectuée.*

p((((. *d.* Différence :

*+• Fonctionnement :+*

*Après avoir comparé les éléments de l’image avec le « background », on met les pixels identiques en blanc et les autres en noir.*

*+• Paramètre :+*

*Le « background » ne change pas, il s’agit du premier photogramme ou d’un photogramme chargé de la bibliothèque. L’image en cours est comparée avec le «background », chaque pixel identique est mis en blanc, s’ils sont différents, il est mis en noir.*

*+• Résultats :+*

p=. !https://forge.clermont-universite.fr/attachments/download/16126/refe_20140501233528_20140501233550.jpg!

*Les numéros sur la figure ci dessus correspondent au numéro de photogramme dans la vidéo.*

*+• Analyse :+*

*Le fait de sélectionner le background de référence sur le premier photogramme, permet de localiser au mieux dès le début l’objet à suivre. Le changement du background par une autre image de référence est nécessaire à chaque fois que l’objet est reconnu. L’image courante et de référence sont comparées, il faut donc que les deux images soient différentes pour pouvoir détecter le mouvement.*

---

Comparaison et choix de la méthode du suivi de mouvement

*L'étude des différentes méthodes de détection de mouvement proposées nous a permis de constater que la plupart des solutions proposées consistent à considérer les séquences vidéo comme des successions d'images, classées généralement en deux catégories : l'image courante, et le passé. L'approche la plus fréquente consiste à construire un modèle plus ou moins compact censé représenter tout le passé, et à confronter l'image courante à ce modèle afin de décider en tout point, si celui-ci représente l'arrière-plan ou un objet mobile.*

*Les différents algorithmes étudiés présentent des avantages et des inconvénients pour différentes situations. L’algorithme de couleur est idéal pour le suivi d’un objet d’une couleur unique. Celui du mouvement est pratique dans beaucoup de situations mais ne permet pas le suivi avec une caméra qui bouge même de peu. L’histogramme n’est pas très adapté car compliqué au vu du nombre de paramètres. Pour l’algorithme de la « différence » tout comme l’algorithme de mouvement est pratique mais ne convient pas à toutes les situations.*

*Globalement avec OpenCV nous pourrons utiliser facilement deux types de méthodes pour traquer des objets. Celles qui repèrent des détails caractéristiques de l’objet et celles qui se basent sur la détection de couleur. Le choix dépend des conditions.*

*Afin de répondre aux exigences du client, la méthode de détection par couleurs a été choisit ce qui va permettre de traquer un objet qui n’a pas de forme prédéfinie, mais ayant une couleur bien à lui, cela permettra aussi détendre l’étude sur un grand nombre d’objets.*

*On expliquera par ailleurs les limites de cette méthode dans le cadre de notre projet. (Problème de plusieurs couleurs identiques dans les vidéos, perte du suivi en cas d’obstruction).*

*Pour l’algorithme d’enregistrement de vidéo et synchronisation, une seule méthode a été envisagée, elle a comme principe d’enregistrer les images capturées par les webcams dans des dossiers associés et convertir chaque séquence d’images en vidéos.*

---

Etude Théorique

Algorithme détection par couleurs