Variational Inference for Variable Selection in Scalar-on-Function Regression

In many regression applications, numerous covariates are often measured, though not all may be associated with the response variable. Identifying and including only relevant covariates in the model is crucial for improving prediction accuracy. We propose a variational inference framework for estimation and variable selection in scalar-on-function regression involving only functional covariates, and in partially functional regression models that also include scalar covariates. We develop a variational expectation–maximization algorithm, with a variational Bayes procedure in the E-step to approximate marginal posteriors and an M-step to update regularization parameters. Simulations show accurate variable selection and satisfactory predictive performance. Compared with BGLSS, group LASSO, group MCP, and group SCAD, our proposed method achieves a superior balance between goodness-of-fit and sparsity and is competitive in the analyses of sugar samples and Japan weather measurements.

Méthode d'inférence variationnelle pour la sélection de variables dans les modèles de régression scalaire-sur-fonction

Dans de nombreuses applications de régression, plusieurs covariables sont mesurées même si toutes ne sont pas associées à la variable réponse. Pour améliorer l'exactitude des prédictions, il est essentiel d'identifier et de n'inclure que les covariables pertinentes dans le modèle. Nous proposons une méthode d'inférence variationnelle pour l'estimation et la sélection des variables dans la régression scalaire-sur-fonction comprenant seulement des covariables fonctionnelles, et dans les modèles de régressions fonctionnelles partiels qui incluent aussi des covariables scalaires. Nous développons un algorithme espérance-maximisation variationnel, avec une procédure bayésienne variationnelle à l'étape E pour approximer les distributions a posteriori marginales et une étape M pour estimer les paramètres de régularisation. Les simulations montrent une sélection précise des variables et des résultats prédictifs satisfaisants. Par rapport aux méthodes BGLSS, group-lasso, group-MCP et group-SCAD, notre méthode obtient un meilleur résultat de la qualité de l'ajustement, prenant en considération la parcimonie du nombre total de paramètres dans les modèles. Il est compétitif dans les analyses d'échantillons de sucre et des données météorologiques du Japon.

Session

New Investigator Presentation Award Competition in Probability and Statistics

Date and Time