Polytech Projets Ge

p=. !https://forge.clermont-universite.fr/attachments/download/16614/P12AB10_logo_polytech_20120509024723_20120509032931.png!

h1=. *%{color:#00008B}P12AB10 SPEEX encoderplayer sur RDK RX62N%*

p=. !https://forge.clermont-universite.fr/attachments/download/16615/P12AB10_affiche_20130120235227_20130120235953.png!

*Projet GE4 - GE5 2012 : Sujet N° P12AB10*

*Entreprise / Client : RENESAS ELECTRONICS CORPORATION / M. Martins TOLENTINO*

*Tuteur industriel : M. Gérard CHAZELLE (Michelin)*

*Tuteur technique : M. Michel JAMES (Polytech)*

*Responsable Projet : M. Jacques LAFFONT (Polytech)*

*Groupe de travail : M. Mohamad ZARZOUR et César MAKAMONA MBUMBA SHÉALTIEL*

[[1. Résumé]] 

[[2. Abstract]] 

[[3. Introduction]] 

[[4. Présentation du Sujet]] 

p(((. [[1. Renesas]] 

[[2. Speex]] 

[[3. RX210]] 

[[5. Cahier des Charges]] 

[[6. Étude de faisabilité]] 

p(((. [[1. Problématiques]] 

[[2. Faisabilité]] 

[[3. Solutions]] 

[[7. Gestion de Projet]] 

p(((. [[1. W.B.S.]] 

[[2. Gantt]] 

[[8. Réalisation]] 

p(((. [[1. Méthodologie]] 

[[2. Tâches]] 

[[3. Sous-traitance]] 

[[9. Bilan]] 

p(((. [[1. État d'avancement]] 

[[2. Analyse Critique]] 

[[3. Perspectives]] 

[[10. Notes d'Application]] 

p(((. [[1. Sujet 1]] 

[[2. Sujet 2]] 

[[11. Bibliographie]]

p=. *%{color:red}1) Résumé%* 

Le projet SPEEX ENCODER/PLAYER SUR RBP RX210 est proposé par RENESAS ELECTRONICS CORPORATION, qui est une entreprise

de renommée internationale basant ses opérations sur la conception, le développement, la fabrication, la vente et le service après-vente

des composants électroniques des systèmes embarqués et de puissance.

Dans le but de démontrer la puissance et l’efficacité de ses produits, en développant des applications avec des outils libres et gratuits,

RENESAS veut faire la transmission audio (vocale) d’un point à un autre. L’application ainsi souhaitée devra utiliser le codec libre et gratuit SPEEX sur le microcontrôleur Renesas RX210, avec le compilateur KPIT GNURX et le noyau temps réel FreeRTOS, ces derniers étant aussi libres et gratuits.

Le travail consiste à porter le code source du codec SPEEX sur le RX210 afin de réaliser, d’une part, un encodeur qui fait l’acquisition

d’un flux audio analogique, le transforme en flux Speex numérique et de l’autre, un décodeur qui restitue un flux audio à partir d’un flux Speex reçu en entrée. Les deux modules, l’Encodeur et le Décodeur, sont reliés par une liaison série asynchrone (UART).

Mots clés :

p(((. - Transmission audio/vocale

- "RX / RX200 / RX210 / RPB RX210":https://www.renesas.com/eu/en/products/mpumcu/rx/rx200/rx210/index.jsp

- "FreeRTOS":https://www.freertos.org/ / "KPIT GNURX":https://kpitgnutools.com// USB

- Encodage / Décodage

- Codec Speex 

---

p=. *%{color:red}2) Abstract%* 

RENESAS ELECTRONICS CORPORATION is an international renown company which based its operations on the design, development, manufacturing, sales and after-sales service of embedded systems’s and power systems’s electronic components.

Proposed by RENESAS, the SPEEX ENCODER / PLAYER ON RBPRX210 project aim to demonstrate the power and effectiveness of its products, developing applications with free and open source tools. RENESAS wants to transmit audio (voice) from one point to another. As desired,

the application will use SPEEX codec on Renesas RX210 microcontroller, with KPIT GNURX compiler and FreeRTOS real time kernel.

The work is to port SPEEX source code on the RPB RX210 board, to achieve, on the one hand, an Encoder, which acquires

an analog audio stream, converts it into Speex digital streams and on the another hand, a Decoder which restores an audio stream from

a Speex stream inputted. Both modules, Encoder and Decoder, are connected by asynchronous serial communication interface (UART).

Keywords:

p(((. - Audio/Voice transmission

- "RX / RX200 / RX210 / RPB RX210":https://www.renesas.com/eu/en/products/mpumcu/rx/rx200/rx210/index.jsp

- "FreeRTOS":https://www.freertos.org/ / "KPIT GNURX":https://kpitgnutools.com// USB

- Encoding / Decoding

- Speex codec

---

p=. *%{color:red}3) Introduction%* 

De la téléphonie mobile à l’Internet, la transmission des données à distance, en utilisant n’importe lequel de support, a changé notre quotidien, pour ne pas dire, l’a révolutionné. Ce type de transmission nécessite des techniques particulières, en l’occurrence, celles d’encodage et de décodage.

Ce dans ce cadre que la réalisation, assistés par les enseignants et professionnels, du projet SPEEX ENCODER / PLAYER prépare le sentier

à notre futur métier d’Ingénieur. Ce projet, prévu dans la "formation à Polytech’Clermont-Ferrand en vue de l’obtention du diplôme d’Ingénieur en Génie Électrique":http://polytech.univ-bpclermont.fr/ingenieur-en-genie-electrique.html, se déroule en deux phases. L’une de 50 heures, sur l’identification des besoins réels du Client et l’étude de faisabilité, en GE4 et l’autre de 250 heures, sur la réalisation, en GE5.

Le Client, RENESAS ELECTRONICS CORPORATION, représenté par M. Martins TOLENTINO, est connu pour la production des systèmes de semi-conducteurs dans l’électronique embarquée et l’électronique de puissance. Il est le premier fabricant des microcontrôleurs et le second fabricant des processeurs d’applications, dans le monde.

Dans les soucis de fidéliser ses clients et d’en gagner d’autres et avec la course du libre et gratuit, RENESAS fait la promotion de ses produits en prouvant leur efficacité avec des applications utilisant des outils libres et gratuits. C’est dans ce contexte que s’inscrit le projet SPEEX ENCODER / PLAYER, qui fait la transmission audio d’un point à un autre, utilisant le codec SPEEX, le compilateur KPIT GNURX et le noyau temps réel "FreeRTOS":http://dirac.epucfe.eu/projets/wakka.php?wiki=FreeRTOS, tous libres et gratuits.

Le but est de réaliser un encodeur et un décodeur en portant le code du codec SPEEX, spécialisé et optimisé pour la voix humaine, sur le microcontrôleur RPB RX210. Ainsi, créer une chaîne de traitement audio qui fait l’acquisition d’un flux audio analogique, le transforme en flux Speex numérique et le restituer en fin de chaîne sous forme de flux audio analogique.

Nous parlerons, dans la suite, du Client et du contexte du projet, des éléments de base, c’est-à-dire, le codec SPEEX et la carte RPB RX210.

Nous décrirons le cahier des charges tel qu’énoncé par le Client, duquel découlera le cahier des charges fonctionnel, qui nous conduiront

à la description de la ou des problématiques. Nous proposerons une ou des solutions avec des options, partant des problématiques et

de la faisabilité et détaillerons les différentes étapes pour mener à bien le projet. Le projet est développé sous deux environnements,

CODEBLOCKS et HEW.

---

p=. *%{color:red}4) Présentation du Sujet%* 

h2. 4.1) RENESAS ELECTRONICS CORPORATION

p=. !https://forge.clermont-universite.fr/attachments/download/16618/P12AB10_logo_ren_20130120235227_20130121065931.jpg!

"Renesas Electronics Corporation":https://www.renesas.com/eu/en (ルネサス エレクトロニクス, Renesasu eretoronikusu) est une entreprise japonaise basée à Tokyo et cotée à la bourse de ce dernier (TSE : 6723). Il est né de la fusion d’HITACHI Ltd et de MITSUBISHI ELECTRIC CORPORATION en 2002 sous la nomination de RENESAS TECHNOLOGY. Il est devenu RENESAS ELECTRONICS CORPORATION suite à sa fusion avec NEC ELECTRONICS CORPORATION en 2010. RENESAS est le premier fabricant mondial des microcontrôleurs et le second dans la fabrication des processeurs d’applications. Il assure également la conception, fabrication, vente et services après ventes des systèmes de semi-conducteurs pour la téléphonie mobile, l’automobile, l’électronique de puissance, les mémoires, les LCD, les circuits intégrés RF et système sur puce.

Dans le but de démontrer la puissance et l’efficacité de ses produits, en développant des applications avec des outils libres et gratuits,

RENESAS veut faire la transmission audio (vocale) d’un point à un autre. L’application ainsi souhaitée devra utiliser le codec libre et gratuit SPEEX sur le microcontrôleur Renesas RX210.

h2. 4.2) SPEEX

p=. !https://forge.clermont-universite.fr/attachments/download/16619/P12AB10_logo_spx_20120509041413_20120509041534.png!

Un codec (Compression-Décompression ou Codage-Décodage) est un procédé matériel ou logiciel permettant de compresser/encoder un signal pour une transmission ou un stockage, d’un côté, et de décompresser/décoder pour une édition ou une restitution, de l’autre.

Le "SPEEX":https://www.speex.org/ est un codec, logiciel, audio, libre et gratuit, spécialisé et optimisé pour la voix humaine. Il a été conçu, en 2002 par "Jean-Marc VALIN":https://jmvalin.ca/, pour la transmission vocale sur réseau IP (Voice Over Internet Protocol), c’est-à-dire, transmission sous forme des paquets de données numérique (PDU : Protocol Data Unit) par le protocole TCP/IP ou UDP/IP entre entités ou systèmes connectés au réseau. D’où une grande variété de débits, allant de 2 à 44 Kbits/s. C’est un codec robuste qui compresse avec perte de données, disposant de plusieurs fréquences d’échantillonnage et supporte un changement dynamique du débit d’encodage/décodage. L’algorithme de calcul utilisé est le CELP (Code Excited Linear Prediction), un algorithme de codage à prédilection linéaire, basé lui-même sur l’algorithme LPC (Linear Prediction Code). La dernière version est la 1.2rc1.

p=. !https://forge.clermont-universite.fr/attachments/download/16620/P12AB10_voix2_20130120235227_20130121071704.png!

h3=. Fig. 1 : Appareil phonatoire humain

p=. (www.ph-ludwigsburg.de/html/2b-frnz-s-01/overmann/baf3/phon/3k.htm)

La voix humaine est un phénomène physique dû à la vibration de l’air, provenant des poumons vers le nez ou la bouche lors d’une expiration, soit par les cordes vocales soit par les différentes cavités ou/et organes de l’appareil phonatoire humain (Fig. 1). Le langage parlé est basé sur la succession de sons élémentaires appelés phonèmes, groupés en deux familles :

- les phonèmes voisés : générés par la vibration de l’air par les cordes vocales et ont un caractère quasi-périodique (sinusoïde).

- les phonèmes non voisés : correspondent à la vibration de l'air par les autres cavités et organes de l'appareil phonatoire et ont un caractère aléatoire (bruit). 

p=. !https://forge.clermont-universite.fr/attachments/download/16621/P12AB10_lpc_20130121111713_20130121111912.png!

h3=. Fig. 2 : Synthétiseur ou Codeur LPC 

Pour synthétiser la voix humaine, il est nécessaire de reproduire une chaîne de traitement correspondant à l'appareil phonatoire humain.

Pour ce faire, le codage à prédiction linéaire (LPC), tel que l'illustre la figure 2, utilise trois composantes :

- *La source d'excitation* : composée d’un générateur d’impulsions périodiques, qui synthétise les phonèmes voisés, et d’un générateur

du bruit blanc, qui synthétise les phonèmes non voisés. Dans la synthèse des phonèmes voisés, c'est la fréquence fondamentale du signal ou pitch

qui est extraite, et c'est la variance du bruit qui est prise en compte pour les phonèmes non voisés. Un signal voisé correspond à une lettre

comme ‘’a’’ ou ‘’u’’ et un son comme ‘’ne’’, tandis qu’un non voisé correspond à une lettre comme ‘’r’’ ou ‘’s’’ et un son comme ‘’c’est’’ (Fig. 3).

- *Le gain* : il ajuste l'amplitude du signal synthétique par rapport à celle de l’original.

- *Le Filtre de synthèse*: c'est un filtre passe-bas numérique utilisant la méthode dite prédictive, c’est-à-dire, la valeur du signal à l'instant N est estimée grâce aux valeurs N-1 du signal. Le but est de déterminer les écarts entre les différents échantillons, plutôt que de les calculer directement. La minimisation de l'erreur, dite erreur de prédiction, entre le signal original et le signal synthétique conduit à la détermination des coefficients de la fonction de transfert (le filtre).

p=. !https://forge.clermont-universite.fr/attachments/download/16622/P12AB10_fft_20130120235227_20130121071741.png!

h3=. Fig. 3 : FFT et Autocorrélation des signaux, voisé (gauche) et non voisé (droite)

Synthétiser la voix humaine revient donc, à calculer le pitch d’un signal, s’il est voisé, ou la variance, s’il est non voisé. Le processus de synthèse a donc deux phases : l'identification de la fonction (source) d'excitation, sinusoïde ou bruit blanc, et l'identification de la fonction de transfert du modèle vocal.

Pour identifier la source d’excitation, le signal à analyser est segmenté en fenêtres de 20ms, c'est-à-dire, 160 échantillons pour une fréquence d'échantillonnage de 8 KHz. Le codeur génère en sortie une fréquence d'excitation (codée sur 16 bits), un ensemble de 10 coefficients (codés sur 10 x 8 bits), et un gain (codé sur 8 bits). Le débit du codeur est donc de 104 bits toutes le 20 ms, soit 5,2 kb/s.

S’ensuit un filtrage basse fréquence avec une fréquence de coupure de 4khz, qui ne garde que le spectre utilisé par la voix humaine, un échantillonnage à 8khz pour éviter tout phénomène de repliement (théorème de Shannon) et une Autocorrélation. Le graphe du résultat obtenu (Fig. 3), après les différentes opérations, peut faire apparaître plusieurs pics, un à l'origine puisqu'il s'agit d'une Autocorrélation, et un deuxième si le signal est voisé. Cependant pour considérer le second pic, son amplitude doit être au moins de 40% de celle à l'origine. Si c'est le cas, la fréquence d'excitation retenue est la fréquence ainsi obtenue, sinon le signal est non voisé et l'excitation est un bruit blanc.

Après identification de la source d’excitation, les coefficients de la prédiction linéaire ou coefficients de réflexion du filtre sont à calculer en utilisant "l'algorithme de Durbin":http://externe.emt.inrs.ca/users/benesty/lectures/lecture04.pdf. Ils doivent minimiser l'erreur quadratique moyenne définit par :

p=. !https://forge.clermont-universite.fr/attachments/download/16624/P12AB10_form1_20130120235227_20130121000659.png!

ai : coefficients de la fonction de transfert (filtre)

x(n) : signal à déterminer à l’instant n

e(n) : erreur de prédiction linéaire à l’instant n

L'algorithme de Durbin génère 10 coefficients de réflexion compris entre -1 et +1. L’expérience conduit à observer que les coefficients proches de ces bornes sont les plus importants. Cette observation a conduit, à son tour, à adopter l'échelle LAR (Log Area Ratio), illustrée par la figure 4, définie par :

p=. !https://forge.clermont-universite.fr/attachments/download/16625/P12AB10_lar1_20121226012713_20121226013300.png!

p=. !https://forge.clermont-universite.fr/attachments/download/16626/P12AB10_lar3.jpg_20121226012713_20121226013353.gif!

h3=. Fig. 4 : Fig. 4 : Représentation de l'échelle LAR et son approximation linéaire

p=. (http://www-sop.inria.fr/rodeo/avega/phd/phd-html/node16.html)

La synthèse devient complète après détermination du gain, par simple calcul d’énergie. 

p=. !https://forge.clermont-universite.fr/attachments/download/16627/P12AB10_form3_20130126143914_20130126144112.png!

h3=. Fig. 5 : Synthétiseur ou Codeur CELP

Comme l’on peut le constater sur la figure 5, par rapport au modèle précèdent :

- La source d'excitation est composée deux banques de données, des tables au sens informatique du terme, statique et adaptative, qui contiennent des échantillons de voix. La table adaptative se remplit au fur et à mesure que la synthèse progresse tandis que la table statique est pré remplie et reste inchangée.

- Chaque table de la source d’excitation a son gain propre.

- La boucle de retour, commune aux deux tables, indique les index des vecteurs à choisir dans ces dernières en transmettant l'erreur quadratique.

- Un filtre de perception est rajoutéà la fin de la chaine de traitement, afin d’accommoder le son restitué, suppression du bruit, à la perception humaine. Sa fonction de transfert en z est donnée par :

p=. !https://forge.clermont-universite.fr/attachments/download/16628/P12AB10_form2_20130126143914_20130126144155.png!

L’utilisation d’un codec, en général et ceux de la voix en particulier, dans la transmission, implique un retard (latence) dû à l’algorithme utilisé. Pour le Speex, cette latence est de 30 ms avec une fréquence d’échantillonnage de 8 kHz et de 34 ms à 16 kHz. Ces valeurs ne tiennent pas compte le temps d’encodage/décodage des trames par le CPU. Voici les caractéristiques principales du codec Speex :

p(((. - Codec libre et gratuit

- Conçu et optimisé pour la transmission vocale sur Internet

- Grande variété de débits : de 2 à 44 kbps

- Compresse avec perte de données

- Trois fréquences d’échantillonnage : 8 kHz (Bande étroite : Narrowband), 16 kHz (Bande large : Wideband) et 32 kHz (Bande très large: Ultra-Wideband).

- VBR : Changement dynamique du débit d’encodage/décodage

- Complexité variable

- Détection d’activité vocale (VAD) et Transmission discontinue (DTX)

- Encodage/Décodage stéréo

- Échantillonnage multiple : Narrowband + Wideband

- Implantation en virgule fixe

Noter que Speex a des fonctionnalités qu’on ne retrouve pas sur d’autres codecs, comme le VBR ou le DTX ou encore l’échantillonnage multiple, et il supporte plusieurs plateformes logicielles et matérielles.

h2. 4.3 RX210

Le "RX 210":https://www.renesas.com/eu/en/products/microcontrollers-microprocessors/rx-32-bit-performance-efficiency-mcus/rx210-high-performance-low-power-32-bit-microcontrollers-supporting-large-capacity-memory est un microcontrôleur de RENESAS, le premier de la série RX200 dans la famille RX. La particularité de la série RX200 est leur faible consommation électrique à performances égales avec d’autres séries, comme le montre la figure 6.

p=. !https://forge.clermont-universite.fr/attachments/download/16630/P12AB10_rx210_20130120235227_20130121071915.jpg!

h3=. Fig. 6 : Caractéristiques du RX 210

(http://am.renesas.com/products/mpumcu/rx/rx200/rx210/index.jsp)

A noter que le RX210 est un microcontrôleur 32 bits ne disposant pas d’unité de calcul à virgule flottante (FPU). Les éléments du microcontrôleur encerclés sur la figure 6, ci-dessus, sont utilisés dans la réalisation de l’application, se référer donc à cette partie pour plus des détails (cf. Partie 8, section 2).

p=. *%{color:red}5) Cahier des Charges%* 

Constituant l’un des points importants du projet, les besoins réels du Client sont à identifier, définir, préciser et quantifier, car ils permettent

entre autre de cadrer le projet. Après concertation, voici le cahier des charges retenu, par les deux parties :

p(((. - *Utiliser la dernière version du code source du Speex.*

    La dernière version est le 1.2rc1, du 23 juillet 2008 (mise à jour du 1.2beta3), téléchargeable librement et gratuitement

    sur www.speex.org

p(((. - *Utiliser KPIT GNU Tools (RX) : Compilateur libre et gratuit.*

    Le compilateur GNU RX, conçu et développé par KPIT Cummins, est destiné à la programmation des microcontrôleurs Renesas de la famille RX, donc supporté par le RX210. Il s’intègre automatiquement à l’environnement de développement Renesas HEW. La version utilisée est la v12.02 (10 juillet 2012), téléchargeable via un compte gratuit sur www.kpitgnutools.com.

p(((. - *Utiliser soit HEW soit E²Studio (Eclipse) comme environnement de programmation.

    HEW (High-performance Embedded Workshop) est un EDI (Environnement de Développement Intégré) propriétaire de Renesas tandis que Eclipse est libre et gratuit, téléchargeable sur www.renesas.eu et www.eclipse.org respectivement.*

p(((. *Porter le code source du Speex sur la cible (RX210).*

    La carte de développement choisis est le RPB RX210 (Renesas Promoted Board), qui servirait de support matériel aux fonctions d’encodage et de décodage Speex.

p(((. - *Travailler en virgule fixe (pas de FPU) => Pas de débit variable (pas de VBR).*

    Le RX 210 ne dispose pas d’unité de calcul en virgule flottante (FPU), d’une part, et ,de l’autre, le débit variable (VBR) d’encodage/décodage n’est pas compatible avec les calculs effectués en virgule fixe. Par ailleurs, une application fonctionnant en virgule fixe, est aisément implémentée sur la majorité de support, même celle disposant de FPU. Mais l’inverse n’est pas vrai.

p(((. - *Utiliser un UART pour la transmission des données entre l’encodeur et le décodeur.*

    La communication via un UART (Universal Asynchronous Receiver Transmitter) est sérielle et asynchrone.

p(((. - *Choisir la fréquence d’échantillonnage et le débit permettant d’avoir une qualité audio suffisante, pour être compris, et au plus 50% de charge CPU (Central Processing Unit) sur une trame.*

    La qualité du signal audio à la fin d’une chaîne de traitement d’encodage/décodage Speex, dépend du paramètre qualité de Speex, qui est lié au débit et à la fréquence d’échantillonnage, ces derniers déterminant ainsi le ratio compression. Une charge d’au plus 50% permettrait, un déterminisme temporel et l’ajout d’autres fonctionnalités.

p(((. - *Utiliser "FreeRTOS":https://www.freertos.org/ : Noyau temps réel libre et gratuit (Si possible).*

    Le noyau temps réel "FreeRTOS":https://www.freertos.org/ est système d’exploitation adapté aux microcontrôleurs, avec pus de 30 architectures supportées. Un système d’exploitation temps réel (SETR) permet de paralléliser (repartir) les tâches et assurer le déterminisme temporel (temps de réponse) d’une application. Ce dernier étant un élément primordial pour les applications réactives et temps réel.

p(((. - *Ajouter la fonction « Texte à Audio » (Si possible).*

    Fonction permettant de lire un fichier texte, au format ASCII, à partir d’une clé USB, de le convertir en flux Speex et de le restituer en fin de chaîne.

p(((. - *Utiliser les connections audio d’un PC pour les tests finaux.*

    Pour valider l’application, les flux audio entrant et sortant seront, respectivement, produit et récupérer par un PC, c’est-à-dire,

Sortie audio PC --> Entrée application et Sortie application --> Entrée PC.

Partant de ce qui précède, l’application est découpée en deux grandes fonctions, illustrées par la figure 7 ci-dessous.

p=. !!

h3=. Fig. 7 : Schéma fonctionnel de l'application