Skip to main content
Recalibration Improves the Quality of Semi-Automated Classification for Open-Ended Questions
Responses to open-ended question are valuable because they capture respondents' perspectives unconstrained by predefined options. Semi-automated classification combines manual and algorithmic approaches: easy-to-classify responses are coded automatically, while more difficult ones are handled manually. Achieving a target level of overall coding accuracy requires that the predicted accuracy of the automatically coded responses be well calibrated. We empirically demonstrate that class probabilities from popular algorithms are often miscalibrated, which undermines effective decision-making in semi-automated coding. Our results show that recalibration can meaningfully improve probability calibration and thus enhance the effectiveness of semi-automated classification systems.
Le recalibrage améliore la qualité de la classification semi-automatisée pour les questions ouvertes
Les réponses aux questions ouvertes sont précieuses, car elles reflètent les points de vue des répondants sans être limitées par des options prédéfinies. La classification semi-automatisée combine des approches manuelles et algorithmiques : les réponses faciles à classer sont codées automatiquement, tandis que les plus difficiles sont traitées manuellement. Pour atteindre un niveau cible de précision globale du codage, il est nécessaire que la précision prévue des réponses codées automatiquement soit bien calibrée. Nous démontrons empiriquement que les probabilités de classe issues d'algorithmes populaires sont souvent mal calibrées, ce qui nuit à l'efficacité de la prise de décision dans le codage semi-automatisé. Nos résultats montrent que le recalibrage peut améliorer de manière considérable le calibrage des probabilités et ainsi renforcer l'efficacité des systèmes de classification semi-automatisés.
Date and Time
-
Additional Authors and Speakers (not including you)
Matthias Schonlau
University of Waterloo
Language of Oral Presentation
English
Language of Visual Aids
English

Speaker

Edit Name Primary Affiliation
Hyukjun Jay Gweon Western University