Projet GE2-GE3 2013 : P14AB04 Estimation de l'activité de Saumons par vision
Entreprise / Client : Salmoniculture Chanteuge / M. Patrick MARTIN
Auteurs : Amin SOUFARI / Jordane MALLERET / Yuan XU
Responsable Projet : M. Jacques LAFFONT
Tuteur industriel : M. Jean-Yves RIGNAULT
1. Résumé
2. Abstract
3. Introduction
4. Présentation du Sujet
5. Cahier des Charges
6. Développement
1. Problématiques
2. Faisabilité
3. Etude Théorique
4. Solutions
1. Etat d'avancement
2. Analyse Critique
3. Perspectives
1. Résumé
Dans le cadre de notre formation d’ingénieur au département Génie Électrique de Polytech’Clermont-Ferrand, nous avons l’opportunité de réaliser le suivi et la réalisation du projet industriel intitulé : Estimation de l’activité de saumons par vision. Ce projet est proposé par le Conservatoire National du Saumon Sauvage (CNSS) de Chateugnes en Haute-Loire (43) dans le cadre du programme de repeuplement de l’Allier en saumons.
Mots clés : Saumon, Traitement d’image, OpenCV, Correction, Vitesse, Orientation, Répartition, Erreur
2. Abstract
In the context of our engineering electrical engineering at Polytech 'Clermont-Ferrand, we had the opportunity to study the project : "Estimation de l’activité de saumons par vision". This project is proposed by the CNSS (Conservatoire National du Saumon Sauvage) in order to rincrease the number of salmon at the river Allier.
Key Words: Salmon, Image processing, OpenCV, optical flow algorithm, correlation algorithm, Corrector, Error
3. Introduction
L’adaptation des écosystèmes, des plantes, des animaux et des micro-organismes aux changements globaux représente un enjeu stratégique, économique et sociétal important.
Une bonne connaissance de ces mécanismes d’adaptation devrait permettre de maintenir la capacité d’évolution des écosystèmes naturels et la productivité des écosystèmes exploités. C’est dans cette thématique que le programme de BIOADAPT se motive.
Dans le cadre de ce programme l’ANR, le CNSS, et le museum national d’histoire naturelle se sont rassemblés pour étudier en particularité le projet de << Réchauffement global et l’adaptation à la migration chez le saumon Atlantique de rivière longue, l’axe Loire-Allier >>.
Pour parvenir à cet objectif, le CNSS nous propose de créer un algorithme permettant d’estimer l’activité des saumons par vision. Pour cela des expérimentations avec un suivi vidéo sur le comportement des jeunes saumons ont été programmées au sein du CNSS notamment en plaçant ces jeunes saumons face à des situations de stress.
4. Présentation du Sujet
Dans le cadre du programme de recherche BIOADAPT de l’Agence nationale de la Recherche (ANR), le conservatoire national du saumon sauvage (CNSS) s’est associé avec le CNRS et le Museum national d’histoire naturelle dans un projet commun sur le Réchauffement global et l’adaptation à la migration chez le saumon atlantique de rivière longue, et en particulier sur l’axe Loire-Allier. Nous avons dès alors eu l’opportunité de choisir le sujet : Estimation de l’activité de saumons par vision.
Notre client est dès lors M. Patrick Martin représentant de la salmoniculture de Chanteuges en Haute-Loire (43).
5.Cahier des Charges
L’objectif global du projet est de pouvoir automatiser le traitement des images enregistrées pour caractériser le comportement de nage des poissons. Ils pourront être classés suivants :
- L'orientation
Le poisson face au courant sans mouvement (comportement rheotactic positif), le poisson se déplace et nage à contre-courant (comportement rheotactic positif) et, le poisson se déplace dans le sens du courant (comportement rheotactic négatif).
- La vitesse
Des données sur la vitesse angulaire des poissons devront être fournies pour chaque heure en fonction des moyennes individuelles observées.
- La répartition
Déterminer la tendance de regroupement des poissons par rapport au bassin entier.
Le sujet du projet de cette année est de qualifier la précision de l’algorithme développé en 2013, de quantifier les erreurs et leur origine et de proposer une structure améliorée du programme. Cet objectif a pour but de pouvoir assurer et démontrer la précision des mesures effectuée sur la vitesse des poissons.
6. Développement
6. 1 Problématiques
Les problématiques se concentrent principalement sur l’optimisation et la quantification d’erreur du programme en langage C++ avec OpenCV issue de la phase d’étude de faisabilité.
Ce dernier a pour fonction de:
- Déterminer la vitesse, le sens de nage et la répartition des poissons.
- Traiter les vidéos de jour et de nuit.
- Être fiable dans toutes les phases de l'évolution du poisson.
- Calculer la vitesse sous quatre configurations de bassin différent
L’optimisation se porte principalement sur la robustesse du programme et sur la minimisation des erreurs de vitesses mesurées
- Améliorer la stabilité du programme pour certaines vidéos
- Minimiser les erreurs sur les vitesses angulaires
- Fournir les relevés de mesures sur un fichier Excel
6. 2 Faisabilité
La faisabilité de ce projet repose sur la possibilité de déterminer l’erreur sur chacune des sources susceptibles de la générer. Il faut donc une référence sur laquelle on va pouvoir comparer les vitesses angulaires réelles des poissons et celles que nous calculons via notre programme.
Cette faisabilité ne peut être validée que si le travail de sous-traitances prévu pour les « nouveaux » GE4 se fait avec minutie.
Le projet ne peut arriver à son terme que si la phase de détection des poissons dans les différents bassins est rapide et correcte. La majorité des vidéos étant déjà faite, il faut donc trouver une solution qui permet d’identifier les saumons sans avoir à baliser en amont ces derniers.
La base de données des vidéos est équivalente à près de 3 ans de vidéos filmées 24 h/24 et 7jours sur 7. Le programme ne doit en aucun cas s’arrêter en cas de conflits avec l’une de ces vidéos, elle doit dans l’éventuel cas pouvoir « ignorer » la vidéo problématique et continuer son exécution.
6. 3 Etude Théorique
1)Indentification des différentes sources d’imprécision
Les principales sources d’erreur sont issues de :
- L’erreur de parallaxe et de la profondeur du poisson dans le bassin
- L’erreur issue de la corrélation des images
- La distance parcourue d’un poisson entre 2 scanlines
2) Correction de la vidéo déformée
Image issue de la camera
Dans les vidéos fournies, le rond du bassin n’est pas exactement centré, ce que l’on appelle la déformation de la vidéo. Si nous traitons les problématiques sur les vidéos déformées, on obtiendra les résultats biaisés.
Pour corriger la vidéo déformée, nous développons un programme permettant de corriger les vidéos pour chaque bassin. Dans notre programme, nous considérons cette forme déformée comme une forme ellipse. Notre programme permet tout d’abord de détecter cette ellipse et ensuite de la transformer en cercle.
Pour la détection de l’ellipse, mathématiquement, on doit trouver les paramètres indiqués dans la figure suivante :
Equation parabolique
Mais cela n’est pas facile, surtout lors d’un cas d’une ellipse à droite, donc nous détectons l’ellipse en cliquant sur les 4 extrémités dans les images capturées.
Une fois l’ellipse est détectée, en utilisant une fonction de OpenCV warpPerspective, on transforme l’ellipse en forme cercle pour les 4 bassins selon le nom de la vidéo.
Voici un exemple de la correction pour le bassin 8 :
Correction d'image
3) Calcul des imprécisions
3.1) Calcul de l’imprécision liée à la profondeur
Pour ce calcul, nous cherchons dans le pire des cas, sur les 2 extrémités du bassin, le poisson à la surface du bassin et le poisson au fond du bassin.
Dans la figure au-dessus, le poisson p2 est le poisson à la face du bassin, le poisson p1 est le poisson au fond du bassin, ils ont la même taille réelle L. Et leurs tailles relatives dans image capturée est l2 et l1 qui ne sont pas égales.
d est la distance entre la lentille de la caméra et la surface, a est la distance de l’écran à la lentille de la caméra, h est la profondeur entre la surface et le fond.
D’après la relation géométrique, nous avons la relation ci-dessous :
D’après le calcul, nous trouvons une imprécision maximale au pire des cas, qui est égale à 24%.
3.2) Calcul de l’imprécision de la corrélation
La corrélation consiste donc à compter le nombre d’images au moment où on obtient le maximum de la vraisemblance.
Nous avons plus ou moins une erreur de 2 images au pire des cas.
Donc nous avons la relation suivante :
pas : une image
Comme en 1 seconde il y a 15 images, donc nous avons trouves une imprécision maximale en temps : 2/15 = 13,3%
3.3) Calcul de l’imprécision liée à la distance parcourue d’un poisson entre 2 scanlines
Dans l’algorithme de 2013, nous avons fait une hypothèse que les poissons passent perpendicuilairement par les 2 scanlines, mais en réalité, les poissons peuvent faire un pacrours d’un arc, donc cela est aussi une source d’erruer.
Dans la figure au dessus, d est le parcours supposé du possion dans l’algorithme de 2013, qui est imposé à 30 pixels. l est le parcours réel du poisson. α est l’angle de l’arc du parcours du poisson. R est le rayon du bassin, r est le rayon du parcours du poisson. a est la distance entre le poisson et la droite passante par le centre du bassin.
D’apès la relation géomérique et mahtématique, nous avons les relations suivantes :
Enfin l peut s’exprimer en fonction d’a et de d.
Quand a = 0, la distance entre le poisson et la droite passante par le centre du bassin est nul, le poisson est autour du rond du bassin. Dans ce cas, le poisson fait une distance maximale, nous trouvon : lmax = (π-0)d/2 = 47 pixels.
Nous avons une imprécision maximale de 36% qui est rare d'atteindre.
Quand a = R, la distance entre le poisson et la droite passante par le centre du bassin est égale au rayon du bassin, le poisson est au bord du bassin. Dans ce cas, le poisson fait une distance minimale, son trajet est le plus proche du parcours supposé dans l’algorithme, nous avons : lmin ≈ d =30,009 pixels.
Nous trouvons une imprécision minimale de 0.03%.
cette année nous avons develloppé un nouvel algorthme permettant de rendre un meilleur résultat, mais, il existe toujours des erreurs matérielles à cause de la position de la caméra, en revanche, on arrive à réduire les imprécisions dites algoritemiques avec le nouvel algorithme implémenté.
6. 4 Solutions
La faisabilité du projet montre qu’une approche purement locale basée sur la méthode des scanlines est sujette à des erreurs variables et difficilement corrigibles. On propose donc une nouvelle solution basée sur la notion de « poisson à poisson ».
1) Détection des poissons
La détection des poissons est l’étape clé du programme, car si on ne détecte pas les poissons, il est difficile d’analyser les résultats.
Deux principales méthodes sont ici utilisées, elles apportent chacun sont lots d’avantage et contraintes. Cependant une fois réunis les résultats sont robustes et cohérents.
Méthode du background substraction (BS)
Le BS est une technique fréquemment utilisée pour générer dans un premier temps une image de fond des objets statiques présent dans une vidéo ou une scène et en déterminer les éléments différents de l’image de fond. En d’autres termes on cherche les éléments mobiles (current frame) par rapport au fond( background model ). Ceci est fait via des routines OpenCV réalisant une comparaison d’image et un seuillage fixe.
Le résultat obtenu est alors une image binarisée (foreground mask).
Méthode BS OpenCV
La méthode est relativement fiable si le modèle du fond est correctement effectué. Cela se traduit par un fond qui est statique dans le temps. Cependant, ce fond nécessite un temps de traitement aussi long que le nombre d’images d’une vidéo comporte des variations.
Les vidéos des bassins présentent le mouvement de nombreux poissons, de vagues, de déplacement de dépôt sur la surface du bassin. Le modèle de background doit donc être construit sur une moyenne dynamique d’image. Cette méthode est relativement couteuse en temps de traitement mais permet de mettre en évidence la présence de poisson.
Image seuillée obtenue
Une fois l’image seuillée déduite, il est alors possible de déduire les contours appartenant aux saumons. Pour cela, il suffit d’estimer les dimensions des contours.
Detection des poissons
Méthode du seuillage adaptatif
La méthode proposée, consiste à découper l’image en sous-image de manière judicieuse afin d’adapter le seuil à chacune d’entre elles. Cette méthode se décompose en 2 grandes étapes.
La première étape est le découpage de l’image. Ceci peut se baser sur la méthode de Horowitz et Pavilidis (1972) qui consiste à diviser l’image en plusieurs régions en suivant des tests d’homogénéité.
Subdivision d'image
La seconde étape a pour but de séparer plus finement les pixels de chaque sous-image (en image gris résultante) grâce à un seuillage global tenant compte d’informations locales au voisinage des pixels frontières entre fond et objet.
Image seuillée resultant de la méthode de seuillage adaptatif
Une fois les différents contours identifiés, il est possible de distinguer ceux appartenant aux poissons de ceux appartenant aux différents éléments présents dans le bassin en effectuant des tests de dimensionnements.
2) Calcul de vitesse et d’orientation
Le calcul de vitesse est basé sur la notion de mémoire de passage.
Image post-traitement vitesse
3) Calcul de répartition des poissons dans le bassin
Le principe consiste à déterminer le ratio d’aire occupée par l’enveloppe convexe regroupant l’ensemble les saumons par rapport à l’aire du bassin complet.
La détermination de l’enveloppe convexe peut se faire par différent moyen. La solution retenue est le parcours de Graham (1972) qui offre un temps de résolution relativement court et une qualité de réponse excellente.
Enveloppe convexe trouvée
Une fois l’enveloppe déterminée, le calcul de son aire, aire d’un polygone peut être réalisé en le subdivisant en plusieurs triangles. La formule d’Héron permet en effet de calculer l’aire d’un triangle à partir des longueurs de chacune de ses arrêtes.
4) Qualité des résultats
Les résultats obtenus par le programme ont été comparés par rapport aux résultats réalisés à l’œil humain par nos sous-traitants.
La procédure de sous-traitance consistait à sélectionner les poissons et les suivre sur une série d’images dans plusieurs vidéos différentes.
Dans des conditions optimales, la vitesse moyenne des poissons est estimée avec une précision de 23 % pour un temps de traitement équivalent à 35 % de celle de la vidéo.
Toujours dans les mêmes conditions, la répartition des poissons affiche un écart type maximum de 10 % pour un temps de traitement de 1 seconde par vidéo.
Ce haut degré d’erreur n’est pas problématique puisqu’il est globalement constant dans les diverses configurations de bassin. Le programme affiche alors une tendance de courbe cohérente à l’activité des poissons.
7. Gestion de Projet
7. 1 W.B.S.
7. 2 Gantt
8. Notes d'application
Note_application_Deploiement_application_OpenCV.pdf
"Note d'application _Identification modélisation et correction d'imprécisions.pdf?"
sujet 3
9. Bilan
Etat d'avancement
Analyse Critique
Perspectives
Optimisation du temps de traitement : Au vu de la masse de donnée, plus de 3 ans de vidéos, il est primordiale d'economiser la moindre seconde, cela permet en effet de reduire jusqu'a des mois de traitement. Une piste possible est de traiter un nombre restreint d'image dans une vidéo.
Estimation du degrés de turbidité du bassin : Suivant ce degré, certain traitement de vidéo est inutile puisqu'interprétable pour l'oeil humain.
10. Bibliographie
Site de la bibliothèque OpenCV : http://opencv.org/
Le site permet de télécharger la bibliothèque ainsi que de nombreux exemples de base.
Mis à jour par Anonyme il y a environ 4 ans · 27 révisions