Accelerated Majorization-Minimization Algorithms for Estimating Common Eigenvector Matrices in Gaussian Mixture Models

We implement accelerated majorization-minimization (MM) algorithms to estimate the common eigenvector matrix for members of the families of Gaussian parsimonious clustering models (GPCM) and high dimensional data clustering (HDDC). These Gaussian mixture models have often been avoided due to the believed necessity of a cumbersome algorithm for estimating the common eigenvector matrix. However, simple MM algorithms have been developed that show improved computational time and good convergence for two of the common orientation GPCM models. We show that an MM algorithm can be similarly developed for many of the common orientation HDDC models. Further, we accelerate the MM algorithms using a novel mapping back to the space of matrices with an orthonormal constraint. Simulations and real data analysis show that our methods outperform those previously available, offering the practical implementation of the full families of Gaussian mixture models.

Algorithmes accélérés de majorisation-minimisation pour estimer les matrices de vecteurs propres communs dans les modèles de mélanges gaussiens

Nous mettons en œuvre des algorithmes accélérés de majorisation-minimisation (MM) pour estimer la matrice des vecteurs propres communs aux membres des familles de modèles de regroupement gaussiens parcimonieux (GPCM) et de regroupement de données en haute dimension (HDDC). Ces modèles de mélanges gaussiens ont souvent été évités, car un algorithme fastidieux était supposé nécessaire pour estimer la matrice des vecteurs propres communs. Or des algorithmes MM simples ont été développés qui présentent un temps de calcul amélioré et une bonne convergence pour deux modèles GPCM d'orientation commune. Nous montrons qu'un algorithme MM peut aussi être développé pour de nombreux modèles HDDC d'orientation. De plus, nous accélérons les algorithmes MM en utilisant une nouvelle transformation vers l'espace des matrices avec une contrainte orthonormée. Les simulations et l'analyse sur données réelles montrent que nos méthodes sont plus performantes que les méthodes existantes et qu'elles permettent une mise en œuvre pratique de l'ensemble des familles de modèles de mélanges gaussiens.

Session

Modèles et méthodes avancés pour les données complexes

Date and Time