GZSL-MoE: Apprentissage Généralisé Zéro-Shot basé sur le Mélange d’Experts pour la Segmentation Sémantique de Nuages de Points 3D Appliqué à un Jeu de Données d’Environnement de Collaboration Humain-Robot

Résumé
L’approche d’apprentissage génératif zéro-shot ou zéro
exemple de données (Generative Zero-Shot Learning, GZSL)
a démontré un potentiel significatif dans les tâches de la
segmentation sémantique de nuages de points 3D. GZSL
approche exploite des modèles génératifs comme les GAN
pour synthétiser des caractéristiques réalistes
(caractéristiques réelles) des classes non vues. Cela permet
au modèle d’étiqueter des classes non vues lors des tests,
bien qu’il ait été entraîné uniquement sur des classes vues.
Dans ce contexte, nous présentons le modèle
d’apprentissage généralisé zero-shot basé sur le mélange
d’experts (GZSL-MoE). Ce modèle intègre des couches de
mélange d’experts (MoE) pour générer des caractéristiques
artificielles (fake features) qui ressemblent étroitement aux
caractéristiques réelles (real features) extraites à l’aide d’un
modèle KPConv (Kernel Point Convolution) pré-entraîné
sur des classes vues. La principale contribution de cet article
est l’intégration du mélange d’experts dans les composants
Générateur et Discriminateur du modèle d’apprentissage
génératif zero-shot pour la segmentation sémantique de
nuages de points 3D, appliquée au jeu de données
COVERED (CollabOratiVE Robot Environment Dataset).
COVERED est conçu pour des environnements de
collaboration Humain-robot. En combinant le modèle
d’apprentissage génératif zero-shot avec le mélange
d’experts, le nouveau modèle GZSL-MoE pour la
segmentation sémantique de nuages de points 3D offre une
solution prometteuse pour comprendre des environnements
3D complexes, en particulier lorsque des données
d’entraînement complètes pour toutes les classes d’objets ne
sont pas disponibles. L’évaluation des performances du
modèle GZSL-MoE met en évidence sa capacité à améliorer
les performances sur les classes vues et non vues.
Mots-clés
Apprentissage Généralisé Zero-Shot (GZSL), Nuage de
points 3D, Segmentation sémantique 3D, Collaboration
Humain-robot, COVERED (Jeu de données
d’environnement robotique collaboratif), KPConv, Mélange
d’experts
Abstract
Generative Zero-Shot Learning approach (GZSL) has
demonstrated significant potential in 3D point cloud semantic
segmentation tasks. GZSL leverages generative models like
GANs or VAEs to synthesize realistic features (real features)
of unseen classes. This allows the model to label unseen
classes during testing, despite being trained only on seen
classes. In this context, we introduce the Generalized Zero-
Shot Learning based-upon Mixture-of-Experts (GZSL-MoE)
model. This model incorporates Mixture-of-Experts layers
(MoE) to generate fake features that closely resemble real
features extracted using a pre-trained KPConv (Kernel Point
Convolution) model on seen classes. The main contribution of
this paper is the integration of Mixture-of-Experts into the
Generator and Discriminator components of the Generative
Zero-Shot Learning model for 3D point cloud semantic
segmentation, applied to the COVERED dataset
(CollabOratiVE Robot Environment Dataset) for Human-
Robot Collaboration (HRC) environments. By combining the
Generative Zero-Shot Learning model with Mixture-of-
Experts, GZSL-MoE for 3D point cloud semantic
segmentation provides a promising solution for
understanding complex 3D environments, especially when
comprehensive training data for all object classes is
unavailable. The performance evaluation of the GZSL-MoE
model highlights its ability to enhance performance on both
seen and unseen classes.
Keywords
Generalized Zero-Shot Learning (GZSL), 3D Point Cloud,
3D Semantic Segmentation, Human-Robot Collaboration,
COVERED (CollabOratiVE Robot Environment Dataset),
KPConv, Mixture-of Experts