A Forward-Backward Variational Inference Method for Stochastic Differential Equations
Stochastic differential equations (SDEs) are used to model a wealth of stochastic phenomena in the natural sciences, engineering, and finance. However, parameter inference requires integration of the high-dimensional latent variables of state-space models, which incurs a significant computational burden. Here, we develop a stochastic variational inference (SVI) framework to convert the integration into an optimization problem. Our key contribution is a bi-directional recurrent neural network (biRNN) which effectively captures the forward-backward information propagation in state-space models. Preliminary results indicate that our SVI approach can accurately estimate parameter posteriors of SDEs in thousands of spatial and temporal dimensions, several orders of magnitude faster than state-of-the-art algorithms tackling the integration problem directly.
Une méthode d’inférence variationnelle avant-arrière pour les équations différentielles stochastiques
Les équations différentielles stochastiques (SDE) sont utilisées pour modéliser un grand nombre de phénomènes stochastiques dans les domaines des sciences naturelles, de l’ingénierie et de la finance. Cependant, l’inférence des paramètres nécessite l’intégration de variables latentes à grande dimension de modèles spatiotemporels, ce qui entraîne une charge de calcul importante. Nous proposons un cadre d’inférence variationnelle stochastique (SVI) pour convertir le problème d’intégration en celui d’optimisation. Notre contribution principale est celle d’un réseau neuronal récurrent bidirectionnel (biRNN) qui capture efficacement la propagation de l’information avant-arrière dans les modèles spatiotemporels. Des résultats préliminaires indiquent que notre approche SVI peut estimer avec précision la distribution postérieure des paramètres de SDE ayant des milliers de dimensions spatiales et temporelles, en une fraction du temps que nécessitent les algorithmes de pointe qui s’attaquent au problème d’intégration directement.
Date and Time
-
Langue de la présentation orale
Anglais
Langue des supports visuels
Anglais