On the Fundamental Limits to Learning Heavy-Tailed Distributions in Deep Generative Models
Deep generative models (DGMs) typically learn to map a simple source distribution, such as a standard Gaussian, to a complex high-dimensional target distribution. Despite their success, DGMs often struggle to accurately capture heavy-tailed distributions. In this work, we analyze the fundamental nature of this limitation through the lens of functional inequalities. Using Poincaré inequalities, we establish quantitative lower bounds on the gradient/Jacobian norms of any pushforward mapping that realizes the transport from a Gaussian source to a heavy-tailed target. We show that as the target distribution's moments become larger, the Jacobian of the transport map must necessarily have an increasingly large norm. We extend these results to general log-concave source distributions. Notably, our results are intrinsic to the underlying transport problem and are independent of specific architectures, parameterizations, or training schemes. Our bounds have several practical implications.
Limites fondamentales de l'apprentissage des distributions à queue lourde dans les modèles génératifs profonds
Les modèles génératifs profonds (DGM) apprennent généralement à transformer une distribution source simple, telle qu’une gaussienne standard, en une distribution cible complexe en grande dimension. Malgré leurs succès, les DGM peinent souvent à capturer fidèlement des distributions à queues lourdes. Dans ce travail, nous analysons la nature fondamentale de cette limitation à travers le prisme des inégalités fonctionnelles. En utilisant les inégalités de Poincaré, nous établissons des bornes inférieures quantitatives aux normes du gradient/Jacobien de toute application de transport (pushforward) réalisant le passage d’une source gaussienne vers une cible à queues lourdes. Nous montrons que, à mesure que les moments de la distribution cible augmentent, la norme du Jacobien de l’application de transport doit nécessairement devenir de plus en plus grande. Nous étendons ces résultats à des distributions sources log-concaves générales. Fait notable, nos résultats sont intrinsèques au problème de transport sous-jacent et indépendants des architectures, paramétrisations ou schémas d’apprentissage spécifiques. Nos bornes ont plusieurs implications pratiques.
Date and Time
-
Langue de la présentation orale
Anglais
Langue des supports visuels
Anglais