Interpretation of black-box predictive models
Cooperative game theory has become a cornerstone of interpretability in machine learning, notably through the use of the Shapley value. However, despite their widespread adoption, Shapley-based methods often rely on axiomatic justifications whose relevance remains debated. In this talk, we revisit cooperative game theory from the perspective of interpreting predictive models and argue for a more controlled use of these tools. We first provide an intuitive reading of Shapley values and then outline a general framework to design richer interpretability methods that are better aligned with the goal of studying model behavior. The discussion is structured around five key challenges: the choice of the value function, the choice of the allocation, the exploration of new quantities of interest, computational constraints, and applications to critical systems. We conclude by emphasizing the importance of these issues for the responsible adoption of AI in high-stakes domains.
Interprétation des modèles de prévision de type « boîte noire »
La théorie des jeux coopératifs est devenue un pilier de l’interprétabilité en apprentissage automatique, notamment grâce à l’usage de la valeur de Shapley. Pourtant, malgré leur adoption massive, les méthodes fondées sur Shapley s’appuient souvent sur des justifications axiomatiques dont la pertinence, en particulier pour l’attribution d’influence, reste débattue. Dans cette présentation, nous revisitons la théorie des jeux coopératifs du point de vue de l’interprétation des modèles de prévision et plaidons pour un usage plus maîtrisé de ces outils. Nous proposerons une lecture intuitive des valeurs de Shapley, puis nous esquisserons un cadre général pour concevoir des méthodes d’interprétation plus riches et mieux alignées sur l’objectif de l’étude du comportement des modèles. La discussion sera structurée autour de cinq défis clés : le choix de la fonction de valeur, le choix de répartition, l’exploration de nouvelles quantités d’intérêt, les contraintes computationnelles et l’application aux systèmes critiques. Pour conclure, nous soulignerons l’importance de ces questions pour une adoption responsable et crédible de l’IA dans les domaines à enjeux élevés.
Date and Time
-
Langue de la présentation orale
Anglais
Langue des supports visuels
Bilingue