Semi-implicit Variational Inference as an alternative to MCMC for Geostatistic Models
Gaussian processes (GP) are commonly used to estimate functions as they provide flexibility and are fully defined by the mean and covariance function. In geostatistics, we often assume that the spatial structure is captured by a GP over the region of interest. The estimation of the parameters of a GP can be computationally expensive when using the Bayesian paradigm. Each iteration of a Markov Chain Monte Carlo (MCMC) involves operations of order O(n³), where n is the sample size. Variational inference (VI) proposes to approximate the posterior distribution through optimization instead of sampling from it. We propose to use semi-implicit variational inference as an alternative to MCMC to estimate the parameters of a GP. The proposed method will be compared to four VI algorithms (mean-field, ADVI, INFVI, and Pathfinder) and Hamiltonian Monte Carlo based on the inference of the parameters and prediction performances in a geostatistical context.
Inférence variationnelle semi-implicite comme alternative à la méthode de MCMC pour les modèles géostatistiques
Les processus gaussiens (PG) sont couramment utilisés pour estimer les fonctions puisqu'ils sont flexibles et entièrement définis par leur fonction moyenne et leur opérateur de covariance. En géo-statistique, on suppose généralement que la structure spatiale est capturée par un processus gaussien sur la région d'intérêt. L'estimation des paramètres d'un PG peut s'avérer coûteuse en termes de calcul si l'on utilise le paradigme bayésien. Chaque itération d'une méthode de Monte-Carlo par chaîne de Markov (MCMC) implique des opérations d'ordre O(n³), où n est la taille de l'échantillon. L'inférence variationnelle (VI) propose d'approximer la distribution a posteriori par optimisation au lieu de l'échantillonner. Nous proposons d'utiliser l'inférence variationnelle semi-implicite comme alternative à la méthode de MCMC pour estimer les paramètres d'un PG. La méthode proposée sera comparée à quatre algorithmes d'inférence variationnelle (mean-field, ADVI, INFVI et Pathfinder) et à la méthode de Monte-Carlo hamiltonien sur la base de l'inférence des paramètres et des performances de prédiction dans un contexte géostatistique.
Date and Time
-
Langue de la présentation orale
Anglais
Langue des supports visuels
Français