A Stochastic Variational Inference Approach to the Graphical LASSO
Gaussian graphical models (GGM) are a cornerstone of dependence analysis in statistics. Many GGMs have been formulated that introduce a penalty to induce sparsity in the precision matrix, the most well-known being Graphical LASSO (GLasso). In the Bayesian setting the GLasso penalty can be introduced through the choice of priors on the precision matrix elements. However, such Bayesian models present a significant computational burden owing to their reliance on Markov chain Monte Carlo (MCMC) methods. In this talk I propose a stochastic variational inference (SVI) approach to the GLasso, which avoids MCMC. I will outline the details of in this context, and how it can be used to obtain approximations of the posterior. I will present simulation results verifying the reliability of inference done using this approach as well as a computational time comparison. I will also outline a short data application and compare results of SVI vs the classic Bayesian GLasso.
Une approche d'inférence variationnelle stochastique pour le LASSO graphique
Les modèles graphiques gaussiens (GGM) constituent la pierre angulaire de l'analyse de dépendance en statistique. De nombreux GGM ont été formulés qui introduisent une pénalité pour induire la parcimonie dans la matrice de précision, le plus connu étant le LASSO graphique (GLasso). Dans le cadre bayésien, la pénalité GLasso peut être introduite par le choix d'a priori sur les éléments de la matrice de précision. Cependant, ces modèles bayésiens présentent une charge de calcul importante en raison de leur dépendance aux méthodes de Monte Carlo par chaînes de Markov (MCMC). Dans cette présentation, je propose une approche d'inférence variationnelle stochastique (SVI) pour le GLasso, qui évite les MCMC. Je décrirai les détails de cette approche et comment elle peut être utilisée pour obtenir des approximations du postérieur. Je présenterai les résultats de simulations vérifiant la fiabilité de l'inférence effectuée à l'aide de cette approche, ainsi qu'une comparaison des temps de calcul. Je présenterai également une brève application des données et comparerai les résultats de la SVI à ceux du GLasso bayésien classique.
Date and Time
-
Language of Oral Presentation
English
Language of Visual Aids
English