Predicting Quality of a Survey Item from the Question Text
The Survey Quality Predictor (SQP) is a web-based tool designed to predict the measurement quality of survey questions based on up to 72 manually coded formal and linguistic characteristics (e.g., domain, response scale properties, linguistic complexity). Here, we evaluate whether measurement quality can instead be predicted directly from the natural language text of a survey question, eliminating the need for manual coding. We find a fined-tuned language model can predict survey item quality based solely on the question and answer options, achieving performance comparable to the in SQP currently implemented random forest model trained on manually coded features. Our findings suggest the current SQP web interface (https://sqp.gesis.org), which requires users to manually code the 72 features, can be simplified. This would enhance accessibility and lower the barrier for researchers and practitioners using SQP.
Prédire la qualité d'un élément d'enquête à partir du texte de la question
Le Survey Quality Predictor (SQP) est un outil en ligne conçu pour prédire la qualité de mesure des questions d'enquête sur la base de 72 caractéristiques formelles et linguistiques codées manuellement (par exemple, domaine, propriétés de l'échelle de réponse, complexité linguistique). Ici, nous évaluons si la qualité de mesure peut être prédite directement à partir du texte en langage naturel d'une question d'enquête, éliminant ainsi le besoin d'un codage manuel. Nous constatons qu'un modèle linguistique affiné peut prédire la qualité des éléments d'enquête en se basant uniquement sur les questions et les options de réponse, avec des performances comparables à celles du modèle de forêt aléatoire actuellement implémenté dans SQP et entraîné sur des caractéristiques codées manuellement. Nos résultats suggèrent que l'interface web actuelle de SQP (https://sqp.gesis.org), qui exige des utilisateurs qu'ils codent manuellement les 72 caractéristiques, peut être simplifiée. Cela améliorerait l'accessibilité et réduirait les obstacles pour les chercheurs et les praticiens qui utilisent SQP.
Date and Time
-
Langue de la présentation orale
Anglais
Langue des supports visuels
Anglais