Bias-Adjusted Random Forest for Better Quantile Estimates and Prediction Intervals
In regression settings, random forests (RFs) produce estimates and predictions that are, in most cases, unavoidably biased. We explain underlying sources of bias in terms of the RF-based estimated conditional distribution functions (ECDFs). Furthermore, we explain how the choice of tuning parameter values and the complexity of the underlying data structure can contribute to bias in the ECDF. We propose a novel two-stage bias-correction procedure that aims to reduce the bias of the ECDF and any estimates derived from it. The second stage models the deviation of the ECDF from its expected uniform distribution. The method is especially effective for quantile estimation. Simulations show that prediction intervals produced by our method have better, more consistent conditional coverage that those produced by competitors.
Forêt aléatoire ajustée en fonction des biais pour de meilleures estimations quantiles et de meilleurs intervalles de prédiction
Dans la régression, les forêts aléatoires (RF) produisent des estimations et des prédictions qui sont, dans la plupart des cas, inévitablement biaisées. Nous expliquons les sources sous-jacentes de ce biais en termes de fonctions de distribution conditionnelles estimées (ECDF) basées sur les RF. En outre, nous expliquons comment le choix des valeurs des paramètres de réglage et la complexité de la structure des données sous-jacentes peuvent contribuer au biais dans l'ECDF. Nous proposons une nouvelle procédure de correction du biais en deux étapes qui vise à réduire le biais de l'ECDF et de toutes les estimations qui en découlent. La deuxième étape modélise l'écart de l'ECDF par rapport à sa distribution uniforme attendue. Cette méthode est particulièrement efficace pour l'estimation des quantiles. Des simulations montrent que les intervalles de prédiction produits par notre méthode ont une couverture conditionnelle meilleure et plus cohérente que ceux produits par nos concurrents.
Date and Time
-
Language of Oral Presentation
English
Language of Visual Aids
English