Marginal and Conditional Importance Measures from Machine Learning Models and Their Relationship with Conditional Average Treatment Effect
Interpreting black box machine learning models remains challenging because their behavior depends heavily on the observed data and they lack simple parametric structure. We reintroduce the concept of variable importance through the Marginal Variable Importance Metric, a model agnostic measure defined using the true conditional expectation function. MVIM quantifies the influence of predictors on both continuous and discrete outcomes. We propose a permutation based estimator inspired by Breiman and later extensions. When predictors are highly correlated, the estimator can be biased because models extrapolate poorly in low probability regions. We study its bias variance decomposition to characterize this behavior and introduce a Conditional Variable Importance Metric to mitigate bias. Both metrics have quadratic relationship to the conditional average treatment effect.
Mesures d'importance marginale et conditionnelle provenant de modèles d'apprentissage automatique et leur relation avec l'effet moyen conditionnel du traitement
L'interprétation des modèles d'apprentissage automatique de type « boîte noire » reste difficile, car leur comportement dépend fortement des données observées et ils ne possèdent pas de structure paramétrique simple. Nous réintroduisons le concept d'importance variable à travers la mesure d'importance variable marginale (MVIM), une mesure indépendante du modèle définie à l'aide de la fonction d'espérance conditionnelle réelle. La MVIM quantifie l'influence des prédicteurs sur les résultats continus et discrets. Nous proposons un estimateur basé sur la permutation inspiré de Breiman et de ses extensions ultérieures. Lorsque les prédicteurs sont fortement corrélés, l'estimateur peut être biaisé, car les modèles extrapolent mal dans les régions à faible probabilité. Nous étudions sa décomposition biais-variance afin de caractériser ce comportement et introduisons une mesure d'importance variable conditionnelle afin d'atténuer le biais. Ces deux mesures ont une relation quadratique avec l'effet moyen conditionnel du traitement.
Date and Time
-
Language of Oral Presentation
English
Language of Visual Aids
English