Consensus de partitions pour une sélection de variables non biaisée par forêts aléatoires
Conférence : Communications avec actes dans un congrès international
En apprentissage supervisé, la forêt aléatoire est un modèle de référence qui s’accommode de la plupart des types de données et capture naturellement interactions et non-linéarités. Reposant sur l’agrégation de nombreux arbres, elle se comporte toutefois comme une boîte noire. Les mesures d’importance des variables (VIM) restaurent l’explicabilité, mais deviennent biaisées en présence de multicolinéarité, l’importance se répartissant sur des variables corrélées non pertinentes. L’algorithme Fuzzy Forest (FF) corrige ce biais en partitionnant les variables en classes homogènes, au sein desquelles une élimination récursive par forêt aléatoire est appliquée avant l’ajustement du modèle final. Sa performance dépend cependant fortement de la méthode de partitionnement, ce qui impose le choix d’une meilleure partition. Nous proposons la méthode Consensus Fuzzy Forest (CFF), qui combine les partitions plutôt que d’en choisir une, en recherchant une partition consensus agrégeant plusieurs partitionnements hétérogènes. Une étude par simulation montre qu’aucune méthode ne retrouve la vraie partition sur toutes les structures de données, en relations linéaires comme non linéaires, et que la qualité de la partition, variable selon la méthode, conditionne directement la correction du biais des VIM. La CFF atteint une qualité de partition supérieure et corrige le biais plus fidèlement que toute méthode individuelle.