Polytech Projets Ge

p=. !https://forge.clermont-universite.fr/attachments/download/16081/P1422_title_bandeau_20140412113411_20140412113421.jpg!

*Projet GE2-GE3 2013* : P14AB04 Estimation de l'activité de Saumons par vision

*Entreprise / Client* : Salmoniculture Chanteuge / M. Patrick MARTIN

*Auteurs : Amin SOUFARI* / Jordane MALLERET / Yuan XU

*Responsable Projet* : M. Jacques LAFFONT

*Tuteur industriel* : M. Jean-Yves RIGNAULT

[[1. Résumé]] 

[[2. Abstract]] 

[[3. Introduction]] 

[[4. Présentation du Sujet]] 

[[5. Cahier des Charges]] 

[[6. Développement]] 

p(((. [[1. Problématiques]] 

[[2. Faisabilité]] 

[[3. Etude Théorique]]

[[4. Solutions]] 

[[7. Gestion de Projet]] 

p(((. [[1. W.B.S.]] 

[[2. Gantt]] 

[[8. Notes d'application]] 

p(((. [[1. sujet 1]] 

[[2. sujet 2]] 

[[9. Bilan]] 

p(((. [[1. Etat d'avancement]] 

[[2. Analyse Critique]]  

[[3. Perspectives]] 

[[10. Bibliographie]] 

p=. *%{color:red}1. Résumé%*

*Dans le cadre de notre formation d’ingénieur au département Génie Électrique de Polytech’Clermont-Ferrand, nous avons l’opportunité de réaliser le suivi et la réalisation du projet industriel intitulé : Estimation de l’activité de saumons par vision. Ce projet est proposé par le Conservatoire National du Saumon Sauvage (CNSS) de Chateugnes en Haute-Loire (43) dans le cadre du programme de repeuplement de l’Allier en saumons.*

*Mots clés : Saumon, Traitement d’image, OpenCV, Correction, Vitesse, Orientation, Répartition, Erreur*

---

p=. *%{color:red}2. Abstract%*

*In the context of our engineering electrical engineering at Polytech 'Clermont-Ferrand, we had the opportunity to study the project : "Estimation de l’activité de saumons par vision". This project is proposed by the CNSS (Conservatoire National du Saumon Sauvage) in order to rincrease the number of salmon at the river Allier.

Key Words: Salmon, Image processing, OpenCV, optical flow algorithm, correlation algorithm, Corrector, Error*

p=. *%{color:red}3. Introduction%*

*L’adaptation des écosystèmes, des plantes, des animaux et des micro-organismes aux changements globaux représente un enjeu stratégique, économique et sociétal important.

Une bonne connaissance de ces mécanismes d’adaptation devrait permettre de maintenir la capacité d’évolution des écosystèmes naturels et la productivité des écosystèmes exploités. C’est dans cette thématique que le programme de BIOADAPT se motive.

Dans le cadre de ce programme l’ANR, le CNSS, et le museum national d’histoire naturelle se sont rassemblés pour étudier en particularité le projet de << Réchauffement global et l’adaptation à la migration chez le saumon Atlantique de rivière longue, l’axe Loire-Allier >>.

Pour parvenir à cet objectif, le CNSS nous propose de créer un algorithme permettant d’estimer l’activité des saumons par vision. Pour cela des expérimentations avec un suivi vidéo sur le comportement des jeunes saumons ont été programmées au sein du CNSS notamment en plaçant ces jeunes saumons face à des situations de stress.*

---

p=. *%{color:red}4. Présentation du Sujet%*

*Dans le cadre du programme de recherche BIOADAPT de l’Agence nationale de la Recherche (ANR), le conservatoire national du saumon sauvage (CNSS) s’est associé avec le CNRS et le Museum national d’histoire naturelle dans un projet commun sur le Réchauffement global et l’adaptation à la migration chez le saumon atlantique de rivière longue, et en particulier sur l’axe Loire-Allier. Nous avons dès alors eu l’opportunité de choisir le sujet : Estimation de l’activité de saumons par vision.*

*Notre client est dès lors M. Patrick Martin représentant de la salmoniculture de Chanteuges en Haute-Loire (43).*

---

p=. *%{color:red}5.Cahier des Charges%*

*L’objectif global du projet est de pouvoir automatiser le traitement des images enregistrées pour caractériser le comportement de nage des poissons. Ils pourront être classés suivants :*

p(((. *- L'orientation*

*Le poisson face au courant sans mouvement (comportement rheotactic positif), le poisson se déplace et nage à contre-courant (comportement rheotactic positif) et, le poisson se déplace dans le sens du courant (comportement rheotactic négatif).*

p(((. *- La vitesse*

*Des données sur la vitesse angulaire des poissons devront être fournies pour chaque heure en fonction des moyennes individuelles observées.*

p(((. *- La répartition*

*Déterminer la tendance de regroupement des poissons par rapport au bassin entier.*

*Le sujet du projet de cette année est de qualifier la précision de l’algorithme développé en 2013, de quantifier les erreurs et leur origine et de proposer une structure améliorée du programme. Cet objectif a pour but de pouvoir assurer et démontrer la précision des mesures effectuée sur la vitesse des poissons.*

---

p=. *%{color:#82B6E1}6. Développement%*

---

*%{color:#82B6E1}6. 1 Problématiques%*

*Les problématiques se concentrent principalement sur l’optimisation et la quantification d’erreur du programme en langage C++ avec OpenCV issue de la phase d’étude de faisabilité.*

*Ce dernier a pour fonction de:*

p(((. *- Déterminer la vitesse, le sens de nage et la répartition des poissons.

- Traiter les vidéos de jour et de nuit.

- Être fiable dans toutes les phases de l'évolution du poisson.

- Calculer la vitesse sous quatre configurations de bassin différent*

*L’optimisation se porte principalement sur la robustesse du programme et sur la minimisation des erreurs de vitesses mesurées*

p(((. *- Améliorer la stabilité du programme pour certaines vidéos

- Minimiser les erreurs sur les vitesses angulaires

- Fournir les relevés de mesures sur un fichier Excel*

---

*%{color:#82B6E1}6. 2 Faisabilité%*

*La faisabilité de ce projet repose sur la possibilité de déterminer l’erreur sur chacune des sources susceptibles de la générer. Il faut donc une référence sur laquelle on va pouvoir comparer les vitesses angulaires réelles des poissons et celles que nous calculons via notre programme.*

*Cette faisabilité ne peut être validée que si le travail de sous-traitances prévu pour les « nouveaux » GE4 se fait avec minutie.

Le projet ne peut arriver à son terme que si la phase de détection des poissons dans les différents bassins est rapide et correcte. La majorité des vidéos étant déjà faite, il faut donc trouver une solution qui permet d’identifier les saumons sans avoir à baliser en amont ces derniers.*

*La base de données des vidéos est équivalente à près de 3 ans de vidéos filmées 24 h/24 et 7jours sur 7. Le programme ne doit en aucun cas s’arrêter en cas de conflits avec l’une de ces vidéos, elle doit dans l’éventuel cas pouvoir « ignorer » la vidéo problématique et continuer son exécution.*

---

*%{color:#82B6E1}6. 3 Etude Théorique%*

p(((((. *%{color:#82B6E1}1)Indentification des différentes sources d’imprécision%*

*Les principales sources d’erreur sont issues de :*

p(((. *- L’erreur de parallaxe et de la profondeur du poisson dans le bassin

- L’erreur issue de la corrélation des images

- La distance parcourue d’un poisson entre 2 scanlines*

p(((((. *%{color:#82B6E1}2) Correction de la vidéo déformée%*

p=. !https://forge.clermont-universite.fr/attachments/download/16082/Image1_20150201192756_20150201192815.png!

p=. !https://forge.clermont-universite.fr/attachments/download/16083/Image2_20150201193018_20150201193043.png!

p=. Image issue de la camera

*Dans les vidéos fournies, le rond du bassin n’est pas exactement centré, ce que l’on appelle la déformation de la vidéo. Si nous traitons les problématiques sur les vidéos déformées, on obtiendra les résultats biaisés.*

*Pour corriger la vidéo déformée, nous développons un programme permettant de corriger les vidéos pour chaque bassin. Dans notre programme, nous considérons cette forme déformée comme une forme ellipse. Notre programme permet tout d’abord de détecter cette ellipse et ensuite de la transformer en cercle.*

*Pour la détection de l’ellipse, mathématiquement, on doit trouver les paramètres indiqués dans la figure suivante :*

p=. !https://forge.clermont-universite.fr/attachments/download/16084/Image3_20150201193018_20150201193102.png!

p=. Equation parabolique

*Mais cela n’est pas facile, surtout lors d’un cas d’une ellipse à droite, donc nous détectons l’ellipse en cliquant sur les 4 extrémités dans les images capturées.*

*Une fois l’ellipse est détectée, en utilisant une fonction de OpenCV warpPerspective, on transforme l’ellipse en forme cercle pour les 4 bassins selon le nom de la vidéo.*

*Voici un exemple de la correction pour le bassin 8 :*

p=. !https://forge.clermont-universite.fr/attachments/download/16085/Image4_20150201193018_20150201193119.png!

p=. Correction d'image

p(((. *%{color:#82B6E1}3) Calcul des imprécisions%*

p(((. 3.1) Calcul de l’imprécision liée à la profondeur 

*Pour ce calcul, nous cherchons dans le pire des cas, sur les 2 extrémités du bassin, le poisson à la surface du bassin et le poisson au fond du bassin.*

p=. !https://forge.clermont-universite.fr/attachments/download/16086/im1_20150202002856_20150202002911.png!

*Dans la figure au-dessus, le poisson p2 est le poisson à la face du bassin, le poisson p1 est le poisson au fond du bassin, ils ont la même taille réelle L. Et leurs tailles relatives dans image capturée est l2 et l1 qui ne sont pas égales.

d est la distance entre la lentille de la caméra et la surface, a est la distance de l’écran à la lentille de la caméra, h est la profondeur entre la surface et le fond.*

*D’après la relation géométrique, nous avons la relation ci-dessous :*

p=. !https://forge.clermont-universite.fr/attachments/download/16087/im2_20150202002737_20150202002757.png!

p=. !https://forge.clermont-universite.fr/attachments/download/16088/im3_20150202002737_20150202002809.png!

*D’après le calcul, nous trouvons une imprécision maximale au pire des cas, qui est égale à 24%.*

p(((. *3.2) Calcul de l’imprécision de la corrélation*

*La corrélation consiste donc à compter le nombre d’images au moment où on obtient le maximum de la vraisemblance.*

*Nous avons plus ou moins une erreur de 2 images au pire des cas.

Donc nous avons la relation suivante :*

p(((. !https://forge.clermont-universite.fr/attachments/download/16089/im4_20150202003253_20150202003510.png!

*pas : une image

*Comme en 1 seconde il y a 15 images, donc nous avons trouves une imprécision maximale en temps : 2/15 = 13,3%*

p(((. *3.3) Calcul de l’imprécision liée à la distance parcourue d’un poisson entre 2 scanlines*

*Dans l’algorithme de 2013, nous avons fait une hypothèse que les poissons passent perpendicuilairement par les 2 scanlines, mais en réalité, les poissons peuvent faire un pacrours d’un arc, donc cela est aussi une source d’erruer.*

p=. !https://forge.clermont-universite.fr/attachments/download/16090/im5_20150202003851_20150202003915.png!

*Dans la figure au dessus, d est le parcours supposé du possion dans l’algorithme de 2013, qui est imposé à 30 pixels. l est le parcours réel du poisson. α est l’angle de l’arc du parcours du poisson. R est le rayon du bassin, r est le rayon du parcours du poisson. a est la distance entre le poisson et la droite passante par le centre du bassin.*

*D’apès la relation géomérique et mahtématique, nous avons les relations suivantes :*

p<. !https://forge.clermont-universite.fr/attachments/download/16091/im6_20150202004622_20150202004635.png!

p<. !https://forge.clermont-universite.fr/attachments/download/16092/im7_20150202004622_20150202004651.png!

*Enfin l peut s’exprimer en fonction d’a et de d.*

p<. !https://forge.clermont-universite.fr/attachments/download/16093/im8_20150202004622_20150202004711.png!

*Quand a = 0, la distance entre le poisson et la droite passante par le centre du bassin est nul, le poisson est autour du rond du bassin. Dans ce cas, le poisson fait une distance maximale, nous trouvon : lmax = (π-0)d/2 = 47 pixels.

Nous avons une imprécision maximale de 36% qui est rare d'atteindre.*

*Quand a = R, la distance entre le poisson et la droite passante par le centre du bassin est égale au rayon du bassin, le poisson est au bord du bassin. Dans ce cas, le poisson fait une distance minimale, son trajet est le plus proche du parcours supposé dans l’algorithme, nous avons : lmin ≈ d =30,009 pixels.

Nous trouvons une imprécision minimale de 0.03%.*

*cette année nous avons develloppé un nouvel algorthme permettant de rendre un meilleur résultat, mais, il existe toujours des erreurs matérielles à cause de la position de la caméra, en revanche, on arrive à réduire les imprécisions dites algoritemiques avec le nouvel algorithme implémenté.*

---

*%{color:#82B6E1}6. 4 Solutions%*

*La faisabilité du projet montre qu’une approche purement locale basée sur la méthode des scanlines est sujette à des erreurs variables et difficilement corrigibles. On propose donc une nouvelle solution basée sur la notion de « poisson à poisson ».*

p(((. *%{color:#82B6E1}1) Détection des poissons%*

*La détection des poissons est l’étape clé du programme, car si on ne détecte pas les poissons, il est difficile d’analyser les résultats.*

*Deux principales méthodes sont ici utilisées, elles apportent chacun sont lots d’avantage et contraintes. Cependant une fois réunis les résultats sont robustes et cohérents.*

*+Méthode du background substraction (BS)+*

*Le BS est une technique fréquemment utilisée pour générer dans un premier temps une image de fond des objets statiques présent dans une vidéo ou une scène et en déterminer les éléments différents de l’image de fond. En d’autres termes on cherche les éléments mobiles (current frame) par rapport au fond( background model ). Ceci est fait via des routines OpenCV réalisant une comparaison d’image et un seuillage fixe.

Le résultat obtenu est alors une image binarisée (foreground mask).*

p=. !https://forge.clermont-universite.fr/attachments/download/16094/Image5_20150201193018_20150201193134.png!

p=. Méthode BS OpenCV

*La méthode est relativement fiable si le modèle du fond est correctement effectué. Cela se traduit par un fond qui est statique dans le temps. Cependant, ce fond nécessite un temps de traitement aussi long que le nombre d’images d’une vidéo comporte des variations.*

*Les vidéos des bassins présentent le mouvement de nombreux poissons, de vagues, de déplacement de dépôt sur la surface du bassin. Le modèle de background doit donc être construit sur une moyenne dynamique d’image. Cette méthode est relativement couteuse en temps de traitement mais permet de mettre en évidence la présence de poisson.*

p=. !https://forge.clermont-universite.fr/attachments/download/16095/Image6_20150201193018_20150201193152.png!

p=. Image seuillée obtenue

*Une fois l’image seuillée déduite, il est alors possible de déduire les contours appartenant aux saumons. Pour cela, il suffit d’estimer les dimensions des contours.*

p=. !https://forge.clermont-universite.fr/attachments/download/16096/Image7_20150201193018_20150201193207.png!

p=. Detection des poissons

*+Méthode du seuillage adaptatif+*

*La méthode proposée, consiste à découper l’image en sous-image de manière judicieuse afin d’adapter le seuil à chacune d’entre elles. Cette méthode se décompose en 2 grandes étapes.*

*La première étape est le découpage de l’image. Ceci peut se baser sur la méthode de Horowitz et Pavilidis (1972) qui consiste à diviser l’image en plusieurs régions en suivant des tests d’homogénéité.*