L'analyse en composantes indépendantes (en anglais, ou ICA) est une méthode d'analyse des données (voir aussi Exploration de données) qui relève des statistiques, des réseaux de neurones et du traitement du signal. Elle est notoirement et historiquement connue en tant que méthode de séparation aveugle de source mais a par suite été appliquée à divers problèmes. Les contributions principales ont été rassemblées dans un ouvrage édité en 2010 par P.Comon et C.JuttenP.Comon, C.Jutten, Handbook of Blind Source Separation, Independent Component Analysis and Applications, Academic Press, 2010. .

Historique

La première formulation du problème de l'extraction d'entités primitives indépendantes mélangées dans des signaux composites a été effectuée dès 1984J. Hérault and B. Ans, "Réseau de neurones à synapses modifiables: décodage de messages sensoriels composites par apprentissage non supervisé et permanent", Comptes Rendus de l'Académie des Sciences Paris, série 3, 299: 525-528, 1984. par Jeanny Hérault et Bernard Ans, deux chercheurs en neurosciences et traitement du signal, pour modéliser sous la forme d'un réseau neuromimétique auto-adaptatif le codage et le décodage du mouvement chez l'humainB. Ans, J.-C. Gilhodes, and J. Hérault, "Simulation de réseaux neuronaux (SIRENE). II. Hypothèse de décodage du message de mouvement porté par les afférences fusoriales IA et II par un mécanisme de plasticité synaptique.", Comptes Rendus de l'Académie des Sciences Paris, série 3, 297: 419-422, 1983.. Ces premiers travaux B. Ans, J. Hérault, and C. Jutten, “Architectures neuromimétiques adaptatives : Détection de primitives”, in Actes du colloque Cognitiva 85, CESTA, vol. 2, Paris, 1985, . J. Hérault, C. Jutten, and B. Ans, “Détection de grandeurs primitives dans un message composite par une architecture de calcul neuromimétique en apprentissage non supervisé”, in Actes du colloque GRETSI, vol. 2, Nice, France, mai 1985, . ouvraient la voie à la formulation du problème de séparation de source aveugleC. Jutten and H. Hérault, “Blind separation of sources, part i: an adaptative algorithm based on neuromimetic architecture”, Signal Processing, vol. 24, , 1991.. Une communauté a émergé autour de cette thématique dans la seconde moitié des années 1980 essentiellement en France et en FinlandeJutten, Ch. and Taleb, A. Source separation: From dusk till dawn ICA 2000, pages 15-26 (invited paper), Helsinki, Finland, June 2000.. La communauté française du traitement du signal adopta un formalisme statistique tandis que les chercheurs finlandais visaient à étendre l'analyse en composantes principales au moyen d'un formalisme connexionniste. L'algorithme proposé en 1985 était étonnamment robuste mais les explications théoriques de ses propriétés étaient incomplètes. Un premier formalisme du problème de séparation de source aveugle, ainsi qu'un algorithme permettant d'en obtenir une solution, a été proposé par C. Jutten et J. Hérault en 1991. La formalisation mathématique dans le cas le plus simple (mélange linéaire instantané) a été effectuée en 1994 par P. ComonP. Comon, “Independent component analysis - a new concept?” Signal Processing, vol. 36, no. 3, , 1994. aboutissant au concept d' analyse en composantes indépendantes.

La recherche dans ce domaine devint très active à partir des années 1990 et des chercheurs du monde entier s'intéressèrent au problème. En plus des équipes européennes précédemment évoquées, des chercheurs américains et japonais s'intéressèrent au lien entre l'ACI et le codage neuronal. Il existe plusieurs ouvrages spécialisés donnant les détails de certaines solutions proposéesA. Hyvärinen, J. Karhunen, and E. Oja, “Independent Component Analysis”. John Wiley and Son, 2001, ainsi que les développements théoriques s'y rattachant.

Une conférence internationale portant spécifiquement sur le sujet existe depuis 1999. Devant avoir initialement lieu tous les 18 mois, elle est désormais annuelle. Les premières éditions ont eu lieu à Aussois (France, 1999), Helsinki (Finlande, 2000), San Diego (Californie, 2001), Nara (Japon, 2003), Grenade (Espagne, 2004), Charleston (Caroline du Sud, États-Unis, 2006), Londres (Royaume-Uni, 2007) et Paraty (Brésil, 2009).

Séparation de source (problème de la soirée cocktail)

L'illustration classique de la séparation de sources est le problème de la soirée cocktail (). Lors d'une telle soirée, on dispose microphones dans une salle dense, où personnes discutent par groupes de tailles diverses. Chaque microphone enregistre la superposition des discours des personnes à ses alentours et le problème consiste à retrouver la voix de chaque personne (« débarrassée » des autres voix considérées comme parasites).

L'ACI permet de résoudre ce problème en considérant simplement que les personnes qui parlent à un instant donné ont des discours « indépendants ». Il ne s'agit pas de prendre en compte la sémantique de ces discours (on peut en effet espérer que certaines voix soient concordantes à ce niveau !) ni même l'acoustique (ce qui serait faux, ne serait-ce que lorsque les interlocuteurs ont des langues identiques...), mais de les considérer comme des signaux aléatoires statistiquement indépendants. Au contraire d'une chorale, les gens qui parlent en même temps à un instant donné émettent des sons indépendants.

La théorie assurant ce résultat pose néanmoins certaines hypothèses, en particulier que « le nombre de micros est supérieur ou égal au nombre de personnes ». Symétriquement, il reste aussi des indéterminations sur le résultat (les voix séparées). Celles-ci peuvent être interprétées de la façon suivante :

on ne peut pas attribuer les voix aux personnes avec la seule connaissance des signaux retrouvés (mais un auditeur humain le pourrait). Autrement dit, on ne connaît pas l'ordre des signaux retrouvés. on ne connaît pas l'intensité de la voix des locuteurs. Celle-ci sera attribuée arbitrairement et un auditeur humain ne pourrait se fier qu'au ton de la voix et à la connaissance de la personne pour le déterminer.

Pour des raisons historiques et pédagogiques, l'ACI est souvent introduite comme permettant de résoudre le problème de séparation de sources. Néanmoins, il existe d'autres méthodes pour résoudre ce problème, ne faisant pas appel strictement à l'hypothèse d'indépendance statistique entre sources (la parcimonie par exemple).

Formalisme mathématique Dans le cas le plus simple (modèle linéaire instantané non bruité), la théorie est très bien maîtrisée. Néanmoins, ce modèle de mélange semble souvent trop restrictif pour modéliser les cas pratiques. Les travaux sur les modèles de mélange plus complexes font l'objet de recherches actives à ce jour. Modèle linéaire instantané non bruité Quand l'information mutuelle est choisie comme fonction de contraste particulière, l'analyse en composantes indépendantes du vecteur aléatoire revient à identifier le modèle génératif linéaire instantané non bruité suivant :

où les composantes du vecteur sont mutuellement indépendantes et la matrice est de taille fixe . Néanmoins, les conditions d'identifiabilité suivantes doivent être vérifiées pour que l'on soit assuré de pouvoir retrouver le modèle (théoriquement): au plus une des sources (composantes de ) peut suivre une distribution normale (gaussienne), le rang de la matrice doit être égal au nombre de sources (à retrouver).

La première condition résulte de la nullité des moments et cumulants d'ordres supérieurs à deux pour une distribution gaussienne. L'indépendance revient alors à une simple décorrélation et l'hypothèse d'indépendance statistique ne permet pas de séparer les sources gaussiennes. Il est cependant possible de retrouver les autres sources non gaussiennes.

La seconde condition impose d'observer au moins autant de données qu'il y a de sources à identifier. Les travaux sur les représentations parcimonieuses ont cependant montré qu'il était possible d'extraire plus de sources que d'observations disponibles. Réciproquement, il est toujours possible de réduire la dimension des observations disponibles, au moyen d'une analyse en composantes principales (ACP) par exemple.

Quand ces deux conditions d'identifiabilité sont vérifiées, il reste cependant deux indéterminations: Changer l'ordre des sources ne modifie pas leur indépendance mutuelle. En conséquence, les sources identifiées par ACI ne sont pas ordonnées (au contraire de l'ACP où les sources sont ordonnées selon les valeurs propres de la matrice de variance/covariance) L'indépendance statistique est conservée quand les composantes sont multipliées par une constante non nulle. Autrement dit, il y a une indétermination sur l'amplitude des sources.

Ces deux indéterminations ne sont pas propres au modèle linéaire instantané non bruité et se vérifient dans le cas général.

Modèle linéaire instantané bruité Plus réaliste que le modèle précédent, cela revient à identifier le modèle suivant :

où est le bruit.

Modèle linéaire non instantané Le mélange peut être convolutif. Néanmoins on peut alors se ramener à un modèle linéaire, en utilisant une transformée de Fourier par exemple.

Mélanges non linéaires Il s'agit du cas le plus général où les observations résultent d'une transformation non linéaire des sources:

où est une fonction non linéaire quelconque. Nous ne connaissons pas de méthode générale dans ce cas. Certains auteurs ont néanmoins proposé des méthodes pour des cas particuliers. Il s'agit d'un domaine de recherche très actif. Dans le cas le plus général, le problème étant mal-posé la solution est loin d'être uniqueC. Jutten and J. Karhunen, Advances in blind source separation (BSS) and independent component analysis (ICA) for nonlinear mixtures. International Journal of Neural Systems, Vol. 14, No. 5, 2004, . .

Principaux algorithmes Le but de cette section est de donner les principales idées des algorithmes les plus connus permettant de résoudre le problème d'ACI. Ces algorithmes ont été choisis de manière à présenter un panel varié d'approches. On trouvera de nombreuses autres méthodes dans la littérature scientifique.

Nous considérons ici le modèle linéaire instantané non bruité et cherchons une estimation des sources indépendantes ainsi qu'une matrice de séparation vérifiant :

Algorithme HJ

Le premier algorithme d'ACI (du nom de deux de ses auteurs) procède d'une approche neuromimétique: il s'agit d'une utilisation des outils du traitement du signal pour modéliser un phénomène inspiré du fonctionnement neuronal. Cet algorithme était de type Robins-Monro, et recherchait itérativement des zéros communs de deux fonctionsP.Comon, C. Jutten and H. Hérault, “Blind separation of sources, part II: problem statement”, Signal Processing, vol. 24, , 1991. Il est basé sur un réseau de neurones récursif dont les poids sont les termes non diagonaux de la matrice de séparation , les termes diagonaux étant contraints à la nullité. L'estimation des sources est ainsi donnée par :

Avec la règle d'adaptation suivante pour les termes non diagonaux :

et étant des fonctions non linéaires impaires différentes à choisir en fonction des densités de probabilité des sources à estimer. Des travaux ultérieursD.T. Pham, P. Garat. IEEE T Signal Processing, 45(7):1712-1725, 1997 ont justifié la forme de cette règle d'apprentissage et ont montré que la fonction non linéaire devait être choisie au sens du maximum de vraisemblance. La mesure d'indépendance sous-jacente à cet algorithme est l'annulation des cumulants d'ordre supérieur.

Maximisation de Contraste (CoM) Cette famille d'algorithmes a été proposée par Comon en 1991. Ces algorithmes procèdent en balayant toutes les paires de sorties à tour de rôle. L'algorithme CoM peut calculer soit tous les cumulants des observations (comme JADE), soit à la demande, à chaque fois qu'une rotation optimale est calculée. Le choix peut être fait de manière à minimiser la complexité numérique.