Amortized Bayesian Inference for High Quantiles: QuantilePFN
Accurate estimation of extreme high quantiles is essential for Value-at-Risk assessment and solvency regulation, yet remains challenging in data-scarce settings. Classical Extreme Value Theory methods rely on asymptotic approximations and subjective threshold selection, leading to instability in small samples.
We propose QuantilePFN, a novel framework based on amortized Bayesian inference using Prior-Fitted Networks (PFNs). A Transformer is pre-trained on a hierarchical prior built from Gamma-Scaled Phase-Type distributions, enabling it to learn realistic heavy-tail behaviors. Once trained, QuantilePFN performs end-to-end inference directly on raw data, automatically adapting to tail structure without manual tuning. Extensive experiments show that QuantilePFN consistently outperforms optimized POT-GPD and Hill estimators in mean absolute and squared error for sample sizes up to 1,000, providing a principled and automated solution for high-quantile estimation in limited-data regimes.
We propose QuantilePFN, a novel framework based on amortized Bayesian inference using Prior-Fitted Networks (PFNs). A Transformer is pre-trained on a hierarchical prior built from Gamma-Scaled Phase-Type distributions, enabling it to learn realistic heavy-tail behaviors. Once trained, QuantilePFN performs end-to-end inference directly on raw data, automatically adapting to tail structure without manual tuning. Extensive experiments show that QuantilePFN consistently outperforms optimized POT-GPD and Hill estimators in mean absolute and squared error for sample sizes up to 1,000, providing a principled and automated solution for high-quantile estimation in limited-data regimes.
Inférence bayésienne amortie pour les quantiles extrêmes : QuantilePFN
L’estimation précise des quantiles extrêmement élevés est essentielle pour l’évaluation de la méthode VaR et la réglementation de solvabilité, mais elle demeure difficile dans des contextes où les données sont rares. Les méthodes classiques de la théorie des valeurs extrêmes reposent sur des approximations asymptotiques et sur un choix subjectif de seuil, ce qui entraîne de l’instabilité ainsi que des compromis biais-variance dans les petits échantillons.
Nous proposons QuantilePFN, un nouveau cadre fondé sur l’inférence bayésienne amortie utilisant des réseaux à paramètres a priori (Prior-Fitted Networks ou PFN). Un modèle transformateur est préentraîné sur un a priori hiérarchique construit à partir de distributions de type phase mises à l’échelle par une loi gamma, ce qui lui permet d’apprendre des comportements réalistes de queues lourdes. Une fois entraîné, QuantilePFN effectue une inférence de bout en bout directement à partir des données brutes, en s’adaptant automatiquement à la structure de queue sans réglages manuels. Des expériences approfondies montrent que QuantilePFN surpasse systématiquement les estimateurs POT-GPD et de Hill optimisés en termes d’erreur absolue moyenne et d’erreur quadratique moyenne pour des tailles d’échantillon allant jusqu’à 1 000, offrant ainsi une solution rigoureuse et automatisée pour l’estimation des quantiles élevés en régime de données limitées.
Nous proposons QuantilePFN, un nouveau cadre fondé sur l’inférence bayésienne amortie utilisant des réseaux à paramètres a priori (Prior-Fitted Networks ou PFN). Un modèle transformateur est préentraîné sur un a priori hiérarchique construit à partir de distributions de type phase mises à l’échelle par une loi gamma, ce qui lui permet d’apprendre des comportements réalistes de queues lourdes. Une fois entraîné, QuantilePFN effectue une inférence de bout en bout directement à partir des données brutes, en s’adaptant automatiquement à la structure de queue sans réglages manuels. Des expériences approfondies montrent que QuantilePFN surpasse systématiquement les estimateurs POT-GPD et de Hill optimisés en termes d’erreur absolue moyenne et d’erreur quadratique moyenne pour des tailles d’échantillon allant jusqu’à 1 000, offrant ainsi une solution rigoureuse et automatisée pour l’estimation des quantiles élevés en régime de données limitées.
Date and Time
-
Language of Oral Presentation
English
Language of Visual Aids
English