FUSION – Framework for Universal Software Integration in Open robotics

• Partenaires : Assystem, CESI, Conscience Robotics.
• Appel à projet : Idemo régionalisé
• Budget CESI du projet : 564 k€
• Lancement du projet : 14 novembre 2023
• Durée du projet : 48 mois

L’explosion de la robotique et de ses usages a conduit les fabricants de robots à développer leur propre logiciel de programmation pour doter leurs machines de capacités d’intelligence. Néanmoins, ces environnements de programmation, souffrent de certaines limites : ils sont très souvent propriétaires et ne sont donc pas ouverts pour accéder aux couches basses de programmation ; l’interopérabilité entre différents robots est difficile puisque chaque robot dispose de son propre environnement de programmation.

Pour remédier à ces contraintes, les middleware robotiques sont apparus dès le début des années 2000. Le concept est simple : le middleware robotique est une surcouche logicielle, installable sur un système d’exploitation existant (type Linux ou Windows), qui contient en natif des outils et librairies génériques pour faciliter la programmation des capacités d’intelligence des robots.

En 2015, Magyar et al. proposent une étude comparative des 4 principaux middlewares robotiques : RT-Middleware, ROS, OPRoS et Orocos. Un travail analogue et plus complet a été entrepris par Sahni et al en 2019. Les auteurs identifient alors 14 principaux middlewares et référencent : les outils et librairies intégrés en natif ; ceux qui ne le sont pas ; le système d’exploitation et langage de programmation ; le mode de transmission des données (synchrone / asynchrone).

De tous, ROS (Robot Operating System) développé en 2009 par Quinley et al. dans le cadre du projet STAIR, est le middleware le plus utilisé dans la communauté scientifique et probablement au sein des entreprises. Malgré l’extrême popularité de ce logiciel, force est de constater qu’il n’est réservé qu’à un public disposant d’une expertise très forte en robotique et en programmation puisqu’il ne dispose d’aucune interface graphique, que l’ensemble des opérations s’effectuent en lignes de commande et qu’il n’intègre pas à ce jour les nouvelles technologies en eXtend Reality (réalité virtuelle, réalité augmentée, réalité mixte) qui ouvrent de nouvelles perspectives en interactions humain-robot.

C’est dans ce cadre que se positionne le projet FUSION dont l’objectif principal est de démocratiser l’usage de la robotique en opérant une véritable révolution pour mettre l’utilisateur au centre du système, par :

• L’introduction de la XR pour la conception de missions robotiques et la télé-opération de robots via le jumeau numérique,
• La réutilisation et le partage de briques logicielles disponibles à tous,
• Une approche innovante de perception robotique par carte sémantique pour la mise à jour du jumeau numérique, rendant les robots toujours plus autonomes.Notre ambition est de moderniser l’industrie en mettant à la portée de n’importe quel utilisateur l’utilisation d’un système robotique avec le support de l’Intelligence Artificielle et de la XR.
  

Nos objectifs sont donc les suivants :

• Mettre à disposition des concepteurs un environnement de développement intégré (ou IDE) permettant de créer et partager des fonctionnalités robotiques de haut niveau (appelées compétences), basé sur des briques robotiques réutilisables, de façon intuitive.
• Rendre accessible à tous les utilisateurs de robot les compétences sur un Store universel
• Intégrer une perception robotique basée sur la reconnaissance de l’environnement et le concept de cartes sémantiques pour une navigation autonome de nouvelle génération et une mise à jour efficace des jumeaux numériques de l’environnement.
• Créer des interfaces de eXtended Reality (ou XR) associées aux jumeaux numériques qui permettent à un concepteur, dans le cadre de compétences robotiques, ou à un utilisateur métier de programmer et manipuler le robot avec une IHM novatrice.
• Démontrer la pertinence de l’innovation au travers d’un cas d’application concret mettant en oeuvre toutes les techniques citées ci-avant pour répondre à un besoin pour la filière nucléaire avec un robot programmé et contrôlé par la XR et l’IDE.

Réalisations au 31 Mars 2025 :
Les principales réalisations du projet FUSION sont :

• Poursuite des développements sur les interfaces XR (WP2) (cf. Figure 1)
  o Intégration de la récupération des Places et Objects via API, avec affichage des logos.
  o Ajout de la compétence « Explorer la zone » : parcours multi-points prédéfinis pour le robot.
  o Intégration d’une caméra d’ambiance dans les flux disponibles du robot.
  o Sécurisation des échanges avec l’API Conscience via chiffrement des commandes et réponses.
  o Ajout de la compétence « Scan 3D » pour générer une représentation de l’environnement.
  o Affichage d’un retour visuel (validation ou croix rouge) lors d’un déplacement d’entité.
  o Implémentation des actions Pause, Stop et Resume pendant un déplacement.
  o Création de la compétence « Remove » pour supprimer objets, places et entités.
  o Refactorisation de plusieurs modules pour améliorer la lisibilité et la maintenabilité.
  o Réception et mise en service du robot Ubik dans le laboratoire

---

---

• Poursuite des travaux sur les approches Gaussian Splatting (WP3)
  o Collecte de données dans l’environnement CESI (Atelier Flexible de Production) et Hall d’accueil pour des premières implémentations, tests et évaluations des rendus 3D (cf. Figure 2)
  o Démarrage d’une étude sur l’évaluation fine des approches (GS) sur des objets faiblement texturés à l’aide du Jumeau Numérique pour déterminer leurs points de sensibilité.

---