Validation effectuée¶

---

Contenu de la section¶

Vous trouverez dans cette section la validation effectuée pour clôturer le projet. Ce dernière suit la logique de la procédure de tests.
Nous allons donc dans cette section rappelé les grandes lignes de cette procédure puis présenté les résultats obtenus à la fin de nos séances de projet.

1. Rappel de la procédure de tests¶

1.1. Procédure de génération / mise en route du projet¶

La première étape consiste à suivre la procédure de génération / mise en route du projet pour obtenir les modèles entraînés (avec la base de données créée) de Machine Learning.

1.2. Sélection d'un modèle spécifique¶

La deuxième étape consiste ensuite a sélectionner un modèle spécifique. Au cours du projet nous avons sélectionné celui présentant les meilleurs résultats.

1.3. Vérification du modèle avec des nouveaux CFO¶

La dernière étape consiste enfin a lancé une nouvelle série d'envoi/réception de trames, entre le module ESP32 WiFi LoRa 32 V2 et la passerelle bladeRF, pour obtenir de nouvelles valeurs de CFO.

Ensuite, le programme test.m (disponible dans la section Programmes commentés) doit être lancé (en modifiant le modèle utilisé ci-besoin) et les nouvelles valeurs de CFO récupérées doivent ensuite être rentrées manuellement (avec les valeurs de SF associés).

Le programme génère une prédiction de l'émetteur à chaque couple CFO-SF rentré. La précision du modèle (obtenu lors de la procédure de génération / mise en route du projet) peut donc être validée ou non.

2. Résultats obtenus et analyse¶

Intéressons nous maintenant aux résultats obtenus à la fin de nos séances de projet en suivant cette procédure.
Comme le rappel la figure suivante, le modèle le plus performant obtenu après la phase de Machine Learning était le kNN :

C'est donc ce modèle que nous avons choisi de valider avec le programme test.m (disponible dans la section Programmes commentés).

Les résultats obtenus, sur cinq nouvelles valeurs de CFO testées, sont regroupées dans le tableau suivant :

CFO	SF	Émetteur prédit	Émetteur réel
6219.56	7	Blanc	Blanc
6165.21	7	Blanc	Blanc
6219.56	7	Blanc	Blanc
6453.56	7	Blanc	Blanc
5404.35	7	Noir	Blanc

Ces résultats montre donc que le modèle kNN a une précision de 80% avec des nouvelles valeurs de CFO, ce qui est cohérent avec les résultats présentés dans le graphique précédent.

Néanmoins, il peut être noté que seuls cinq nouvelles valeurs de CFO ont été testées, or lors du recueillement de ces nouvelles valeurs, 30 trames ont été envoyées, ce qui signifie que nous aurions pu récupérer les 30 nouvelles valeurs de CFO et toutes les utiliser pour éprouver la précision du modèle.

Conclusion¶

Pour conclure, la validation de projet a donc consisté à valider la précision du modèle sélectionné après la phase de Machine Learning, mais cette validation peut encore être améliorée en augmentant le nombre de nouvelles valeurs testées pour valider le modèle.

Elle pourrait également l'être en testant les autres modèles non-retenus avec des nouvelles valeurs de CFO, pour voir si les précisions annoncées lors de la phase de Machine Learning sont fiables ou non, et potentiellement déceler un modèle plus performant que prévu qu'il serait intéressant d'étudier plus en détail.