Predicting Type I Errors Using Objective Approximate Bayes Factors
We propose a method for detecting type I errors within a collection of NHST results using the approximate objective Bayes factor (eJAB). Candidate type I errors are Bayes/NHST contradictions: results with a significant p-value (p <= alpha) yet eJAB > C*, indicating the Bayes factor supports the null. A data-driven procedure selects C* so that the contradiction rate tracks the target alpha/up; the objective is closed-form and minimized via grid search. A diagnostic for assessing model assumptions is also provided.
Applied to 94 studies from the Reproducibility Project: Psychology, where 60 (63.8%) failed to replicate, the method identifies 32 (34.0%) as candidates (sensitivity 0.383, specificity 0.735, precision 0.719).
ROC curves from simulated data show high sensitivity and specificity, improving with sample size and effect size. The method is implemented as an R package and JASP module.
Applied to 94 studies from the Reproducibility Project: Psychology, where 60 (63.8%) failed to replicate, the method identifies 32 (34.0%) as candidates (sensitivity 0.383, specificity 0.735, precision 0.719).
ROC curves from simulated data show high sensitivity and specificity, improving with sample size and effect size. The method is implemented as an R package and JASP module.
Prédiction des erreurs de type I à l'aide de facteurs de Bayes approximatifs objectifs
Nous proposons une méthode pour détecter les erreurs de type I au sein d'une collection de résultats de tests de signification (NHST) à l'aide du facteur de Bayes approximatif objectif (eJAB). Les erreurs de type I candidates sont des contradictions Bayes/NHST : des résultats dont la valeur p est significative (p <= alpha) mais dont le facteur de Bayes (eJAB > C*) favorise l'hypothèse nulle. Une procédure fondée sur les données sélectionne C* de sorte que le taux de contradictions corresponde au taux d'erreur de type I attendu sous une faible hypothèse d'uniformité de la queue gauche ; la fonction objectif est dérivée en forme fermée et minimisée par recherche sur grille. Un diagnostic pour évaluer les hypothèses du modèle est également fourni.
Appliquée à 94 études du Reproducibility Project: Psychology, dont 60 (63,8 %) n'ont pas pu être reproduites, la méthode identifie 32 (34,0 %) comme candidates aux erreurs de type I (sensibilité 0,383 ; spécificité 0,735 ; précision 0,719).
Les courbes ROC simulées montrent une sensibilité et une spécificité élevées, s'améliorant avec la taille d'échantillon et la taille d'effet. La méthode est disponible sous forme de package R et de module JASP.
Appliquée à 94 études du Reproducibility Project: Psychology, dont 60 (63,8 %) n'ont pas pu être reproduites, la méthode identifie 32 (34,0 %) comme candidates aux erreurs de type I (sensibilité 0,383 ; spécificité 0,735 ; précision 0,719).
Les courbes ROC simulées montrent une sensibilité et une spécificité élevées, s'améliorant avec la taille d'échantillon et la taille d'effet. La méthode est disponible sous forme de package R et de module JASP.
Date and Time
-
Langue de la présentation orale
Anglais
Langue des supports visuels
Anglais