Deep Dirichlet–Multinomial Models for High-Dimensional Multivariate Count Data
Modelling multivariate count data is challenging due to overdispersion, which frequently arises in microbiome studies and high-dimensional textual data. We propose a statistical framework that extends the Dirichlet–Multinomial model by modelling its Dirichlet parameters through a deep learning architecture, enabling flexible, covariate-dependent modelling of overdispersion. We develop an estimation algorithm that embeds a BFGS optimization step within a majorization–minimization (MM) framework, applied after the Expectation step of the EM algorithm. In comprehensive simulation studies, performance is evaluated using the mean absolute error between empirical and model-estimated variances. The results show that the proposed approach better captures overdispersion than existing methods.
Modèles profonds Dirichlet-multinomiaux pour les données de comptage multivariées de grande dimension
La modélisation des données de comptage multivariées est difficile en raison de la surdispersion, qui survient fréquemment dans les études sur le microbiome et les données textuelles de grande dimension. Nous proposons un cadre statistique qui élargit le modèle Dirichlet-multinomial en modélisant ses paramètres Dirichlet à travers une architecture d'apprentissage profond, permettant une modélisation flexible et dépendante des covariables de la surdispersion. Nous développons un algorithme d'estimation qui intègre une étape d'optimisation BFGS dans un cadre de majoration-minimisation (MM), appliqué après l'étape d'espérance de l'algorithme EM. Dans le cadre d'études en simulation exhaustives, les performances sont évaluées à l'aide de l'erreur absolue moyenne entre les variances empiriques et celles estimées par le modèle. Les résultats montrent que l'approche proposée permet de mieux saisir la surdispersion que les méthodes existantes.
Date and Time
-
Langue de la présentation orale
Anglais
Langue des supports visuels
Anglais