Automated Statistical Calibration Assessment for Multiclass Classifiers via Two-Stage Clustering

In multiclass classification, a predictive model often produces class probabilities as a prediction, and it is important to assess the validity of such probability estimates. We propose a power-controlled statistical framework for calibration assessment of multiclass classifiers that provides both global and local diagnostics. Our method conducts calibration tests within clusters formed in the probability simplex using a novel two-stage clustering procedure. The clustering algorithm automatically determines the number and sizes of clusters to achieve consistent statistical power across all regions of the prediction space. Simulation studies demonstrate stable power performance under various mis-specification scenarios, and real-data experiments illustrate practical use of the method.

Évaluation automatisée de la calibration statistique pour les classificateurs multiclasses via un regroupement en deux étapes

Dans la classification multiclasses, un modèle prédictif produit souvent des probabilités de classe comme prédiction, et il est important d'évaluer la validité de ces estimations de probabilités. Nous proposons un cadre statistique à puissance contrôlée pour l'évaluation de la calibration des classificateurs multiclasses qui fournit à la fois des diagnostics globaux et locaux. Notre méthode effectue des tests de calibration au sein de grappes formées dans le simplexe de probabilités à l'aide d'une nouvelle procédure de regroupement en deux étapes. L'algorithme de regroupement détermine automatiquement le nombre et la taille des grappes afin d'obtenir une puissance statistique cohérente dans toutes les régions de l'espace de prédiction. Des études de simulation démontrent une performance de puissance stable dans divers scénarios de spécification erronée, et des expériences sur des données réelles illustrent l'utilisation pratique de la méthode.

Session

Progrès en apprentissage statistique

Date and Time