Enhanced Support Vector Regression with Outlier Insensitive Loss Function

Support Vector Regression (SVR) is a widely used technique for predictive modelling and function estimation. SVR employs a predefined tolerance, the ϵ-tube, penalizing only deviations that fall outside the tube. However, a major limitation of standard SVR is its sensitivity to outliers. As a result, the choice of loss function is crucial, since it determines how penalties are assigned and directly shapes the optimization objective while influencing robustness to outliers. We propose a novel class of robust asymmetric ϵ-insensitive loss functions for SVR. The proposed new loss preserves the interpretability of the standard ϵ-insensitive approach and introduces a smooth, differentiable asymmetric penalty beyond the tube. Both theoretical and empirical analyses show improved prediction stability and generalization. This approach enhances SVR’s robustness to outliers under noisy and asymmetric error distributions, extending its applicability in machine learning and statistical modelling.

Régression à vecteurs de support améliorée avec fonction de perte insensible aux valeurs aberrantes

La régression à vecteurs de support (SVR) est une technique largement utilisée pour la modélisation prédictive et l'estimation de fonctions. La SVR utilise une tolérance prédéfinie, le tube ϵ, qui pénalise uniquement les écarts qui se situent en dehors du tube. Cependant, l'une des principales limites de la SVR standard est sa sensibilité aux valeurs aberrantes. Par conséquent, le choix de la fonction de perte est crucial, car il détermine la manière dont les pénalités sont attribuées et façonne directement l'objectif d'optimisation tout en influençant la robustesse face aux valeurs aberrantes. Nous proposons une nouvelle classe de fonctions de perte robustes, asymétriques et insensibles à ϵ pour la SVR. La nouvelle perte proposée préserve l'interprétabilité de l'approche standard insensible à ϵ et introduit une pénalité asymétrique lisse et différentiable au-delà du tube. Les analyses théoriques et empiriques montrent une amélioration de la stabilité et de la généralisation des prédictions. Cette approche renforce la robustesse de la SVR face aux valeurs aberrantes dans le cas de distributions d'erreurs bruitées et asymétriques, élargissant ainsi son applicabilité en apprentissage automatique et modélisation statistique.

Session

Student Research Presentation Award Competition in Statistics II (Bachelor/Masters)

Date and Time