Unsupervised Detection of Careless Responding in Likert-type Questionnaires with Covariates
In Likert-type questionnaires online, respondents may respond carelessly. For unsupervised detection of careless responding, the recent L1P1 algorithm does a permutation test on each respondent's Likert-type vector, for the null hypothesis that the vector was "random". However, L1P1 has no provision for leveraging auxiliary data, such as mouse movement data. In this work, we extend L1P1 to leverage auxiliary covariates, while staying unsupervised. To do so, we posit a two-class (careless and non-careless) mixture of L1P1 p-value distributions, where the mixture probability is a function of the auxiliary covariates. In a simulation study, we compared base L1P1 and the extended L1P1 in terms of classification accuracy. In a real data analysis, we demonstrated the extended L1P1 in an online survey that had mouse movement data. Overall, the extended L1P1 shows promise for improving upon base L1P1 via auxiliary predictors, still within the unsupervised paradigm.
Détection non supervisée des réponses inattentives dans les questionnaires de type Likert avec covariables
Dans les questionnaires en ligne de type Likert, les répondants peuvent répondre de manière inattentives. Pour détecter de manière non supervisée les réponses inattentives, le nouvel algorithme L1P1 effectue un test de permutation sur le vecteur de type Likert de chaque répondant, pour l'hypothèse nulle selon laquelle le vecteur était « aléatoire ». Cependant, L1P1 ne permet pas d'exploiter des données auxiliaires, telles que les mouvements de la souris. Dans ce travail, nous étendons L1P1 pour exploiter des covariables auxiliaires, tout en restant dans un contexte non supervisé. Pour ce faire, nous posons une hypothèse de mélange à deux classes (inattentif et attentif) des distributions de valeurs-p de L1P1, où la probabilité de mélange est une fonction des covariables auxiliaires. Dans une étude de simulation, nous comparons la précision de classification des L1P1 de base et étendus. Dans une analyse de données réelles, nous démontrons l'efficacité du L1P1 étendu dans une enquête en ligne qui comportait des données sur les mouvements de la souris. Dans l'ensemble, le L1P1 étendu semble pouvoir améliorer le L1P1 de base grâce à des prédicteurs auxiliaires, tout en restant dans le paradigme non supervisé.
Date and Time
-
Language of Oral Presentation
English
Language of Visual Aids
English