Self-Normalized Cramér-Type Moderate Deviation of Stochastic Gradient Langevin Dynamics
In this talk, we analyse the stochastic gradient Langevin dynamics (SGLD) from the perspective of continuous systems. Specifically, we construct a stochastic differential equation (SDE) close to the SGLD. Using diffusion approximation and Stein’s method to the SDE, a self-normalized Cramér-type moderate deviation result for the empirical measure of SGLD is established. Additionally, we also derive the Berry-Esseen bound for SGLD.
Déviation modérée auto-normalisée de type Cramér de la descente de gradient par dynamique de Langevin
Dans cet exposé, nous analysons la descente de gradient par dynamique de Langevin (SGLD) du point de vue des systèmes continus. Plus précisément, nous construisons une équation différentielle stochastique (EDS) proche de la descente de gradient par dynamique de Langevin. En utilisant l'approximation par diffusion et la méthode de Stein pour l'EDS, nous établissons un résultat de déviation modérée de type Cramér auto-normalisée pour la mesure empirique de la descente de gradient par dynamique de Langevin. En outre, nous dérivons également la limite de Berry-Esseen pour la SGLD.
Date and Time
-
Langue de la présentation orale
Anglais
Langue des supports visuels
Anglais