Rojunaco – robotique et jumeau numérique augmente pour la construction
- Porteur : CESI LINEACT
- Appel à projet : Métropole Rouen Normandie – Dispositif Recherche
- Budget global du projet : 77 k€
- Budget CESI du projet : 77 k€
- Lancement du projet : 1er Octobre 2023
- Durée du projet : 24 mois
Le projet ROJUNACO s’inscrit dans le contexte de la construction 4.0 et porte sur des travaux de recherche sur du recalage de données, de la remontée d’informations sémantiques et la mise en place d’une preuve de concept pour des missions d’inspections automatisées basées sur le jumeau numérique, le BIM, la robotique et la réalité augmentée.
Réalisations au 31 mars 2025 :
Durant cette période, nous avons poursuivi notre activité de création de datasets synthétiques à partir du jumeau numérique et d’évaluation à partir de l’approche YOLOV5-6D pour la détection et l’estimation de pose 6D d’objets. Plusieurs éléments de construction ont ainsi été ciblés : portes, fenêtres, extincteurs.
Nous nous sommes ensuite intéressés à la création de datasets réels auto labellisés dans l’atelier flexible de production de la plateforme Industrie du Futur du campus CESI de Rouen. Nous nous sommes focalisés sur un objet en particulier : les portes du laboratoire. Pour constituer ce dataset, nous avons utilisé une caméra sur laquelle des marqueurs MOCAP (MOtion CAPture) ont été fixés pour récupérer la pose de la caméra dans le repère global du laboratoire. Les positions des portes ont également été repérés dans ce même référentiel. Se situant en retrait des caméras MOCAP, nous avons réalisé une perche de 2m50 en aluminium munie de marqueurs pour reporter la position de quelques points caractéristiques de la porte dans le repère MOCAP. Finalement, une phase de calibrage de l’ensemble à l’aide d’un damier a été nécessaire pour déterminer la position du centre optique de la caméra dans le référentiel MOCAP. L’ensemble du set-up expérimental est présenté en Figure 1.
set-up expérimental pour la création de dataset réel autolabellisé
Nous avons ensuite questionné quel est l’ensemble minimal de données réelles dans un dataset pour obtenir de bonnes performances en détection et estimation de pose 6D d’éléments de construction. Nous avons également questionné l’apport des données synthétiques dans le jeu d’entrainement vis-à-vis des performances du modèle. Pour ce faire, nous souhaitons progressivement injecter dans le dataset des données réelles et évaluer les performances du modèle selon 3 métriques :
- Précision de la distance des points centraux en 3D : pourcentage d’erreurs de translation inférieures à 10 % du diamètre de l’objet par rapport au centroïde des boîtes de délimitation en 3D (vérité de terrain).
- Précision de la projection 2D à 5 pixels : Pourcentage d’erreurs de pixels inférieures à 5 pixels par rapport au coin de la huitième boîte englobante de la vérité de terrain des boîtes englobantes 3D.
- Précision à 25 centimètres/ 25 degrés : Pourcentage d’erreurs de translation inférieures à 25 cm et de rotation inférieures à 25 degrés par rapport au centroïde des boîtes englobantes 3D.
Ces travaux sont en cours. Nous projetons de les valoriser dans le cadre d’une soumission d’un article scientifique à la conférence IEEE IECON 2025 (date de soumission fixée au 30 avril). La notification d’acceptation sera connue le 30 juin. La conférence se déroulera courant octobre à Madrid.