Are ROC Curves and AUC Sufficient for Fair Evaluation of Clustering Algorithms and Classification Models?
The Receiver Operating Characteristic (ROC) curve, a widely used tool in classifier evaluation, effectively visualizes the trade-offs between true and false positives at varying thresholds. Despite its popularity, there is ongoing debate among researchers about the reliability of the ROC curve and the Area Under the Curve (AUC) for accurate evaluations, especially in multivariate settings. Addressing these challenges, we define the optimal classifier's performance as a specific point on the ROC space, called the 'optimal ROC curve point,' and prove that this point indicates the vertex of the ROC curve. Furthermore, classifier cut-off points above or below this optimal point on their respective ROC curves suggest overfitting or underfitting. This approach clarifies the efficacy of ROC and AUC in model evaluation and improves the assessment of clustering algorithms.
Les courbes ROC et l’ASC sont-elles suffisantes pour une évaluation équitable des algorithmes de regroupement et des modèles de classification ?
La courbe ROC (Receiver Operating Characteristic), un outil largement utilisé dans l’évaluation des classificateurs, permettant de visualiser efficacement les compromis entre les vrais et les faux positifs à différents seuils. Malgré sa popularité, la fiabilité de la courbe ROC et de l’aire sous la courbe (ASC) pour des évaluations précises, en particulier dans des contextes multivariés, fait l’objet d’un débat permanent parmi les chercheurs. Pour relever ces défis, nous définissons la performance optimale du classificateur comme un point spécifique de l’espace ROC, appelé « point de la courbe ROC optimale », et nous prouvons que ce point indique le sommet de la courbe ROC. En outre, les seuils de classification supérieurs ou inférieurs à ce point optimal sur leurs courbes ROC respectives indiquent un surajustement ou un sous-ajustement. Cette approche clarifie l’efficacité de la courbe ROC et de l’ASC dans l’évaluation des modèles et améliore l’évaluation des algorithmes de regroupement.
Date and Time
-
Langue de la présentation orale
Anglais
Langue des supports visuels
Anglais