Lasso Regularization on Local Polynomial Regression for Derivative Estimation
Local polynomial regression is a nonparametric smoothing method which can estimate nonlinear relations while providing useful derivative approximations. The choice of polynomial order is crucial to a quality estimator as large order polynomials tend to accumulate noise and become highly variable. The order is traditionally chosen by cross validation or an information criterion, although we propose using LASSO regularization to synthetically choose the degree of polynomial. This will automatically shrink any unnecessary derivative terms to zero, and adaptively change across the domain. We conduct simulation studies in two and three dimensions using the glmnet package to demonstrate the method’s ability to drastically reduce the variance of derivative estimates while preserving the quality of the original regression. We also discuss its potential applications in splines and alternative ways to improve the computation of the optimal regularization parameter.
Régularisation Lasso sur la régression polynomiale locale pour l’estimation de la dérivée
La régression polynomiale locale est une méthode de lissage non paramétrique qui permet d’estimer des relations non linéaires tout en fournissant des approximations dérivées utiles. Le choix de l’ordre des polynômes est crucial pour obtenir un estimateur de qualité, car les polynômes d’ordre élevé ont tendance à accumuler du bruit et à devenir très variables. L’ordre est traditionnellement choisi par validation croisée ou par un critère d’information, bien que nous proposions d’utiliser la régularisation LASSO pour choisir synthétiquement le degré du polynôme. Cela réduira automatiquement à zéro tout terme dérivé inutile et changera de manière adaptative sur l’ensemble du domaine. Nous menons des études de simulation en deux et trois dimensions à l’aide du progiciel glmnet pour démontrer la capacité de la méthode à réduire considérablement la variance des estimations dérivées tout en préservant la qualité de la régression originale. Nous discutons également de ses applications potentielles dans les splines et des moyens alternatifs d’améliorer le calcul du paramètre de régularisation optimal.
Session
Date and Time
-
Langue de la présentation orale
Anglais
Langue des supports visuels
Anglais