Mixtures of Experts for Competing Definitions of the Data Generating Process
A Mixture of Experts (MoE) model allows multiple models to specialize in fitting different parts of the same data. A gating function determines the weight for each model based on properties of the data. The experts can be any statistical or machine learning model. MoE are used in training Large Language Models where a collection of simple models efficiently learn different patterns instead of a large single-purpose model, but in my context I have fundamentally different ways of defining the Data Generating Process for hospital admissions data that must be reconciled.
I investigate the estimation and statistical properties of MoE models with disjoint or partially overlapping sets of covariates. In this context the gating function determines which data generating process best explains the observed data, and this interpretation is strongly affected by the methods used for estimation of the gate.
I investigate the estimation and statistical properties of MoE models with disjoint or partially overlapping sets of covariates. In this context the gating function determines which data generating process best explains the observed data, and this interpretation is strongly affected by the methods used for estimation of the gate.
Mélanges d'experts pour des définitions concurrentes du processus de génération de données
Un modèle de mélanges d'experts (MoE) permet à plusieurs modèles de se spécialiser dans l'ajustement de différentes parties de mêmes données. Une fonction de sélection détermine le poids de chaque modèle en fonction des propriétés des données. Les experts peuvent être n'importe quel modèle statistique ou d'apprentissage automatique. Les MoE sont utilisés dans la formation de grands modèles linguistiques où un ensemble de modèles simples apprennent efficacement différents motifs au lieu d'un seul grand modèle à usage unique, mais dans mon contexte, j'ai des façons fondamentalement différentes de définir le processus de génération de données pour les données d'admission à l'hôpital à concilier.
J'étudie l'estimation et les propriétés statistiques des modèles MoE avec des ensembles de covariables disjoints ou partiellement chevauchants. Dans ce contexte, la fonction de sélection détermine quel processus de génération de données explique le mieux les données observées; cette interprétation est fortement influencée par les méthodes utilisées pour l'estimation de la sélection.
J'étudie l'estimation et les propriétés statistiques des modèles MoE avec des ensembles de covariables disjoints ou partiellement chevauchants. Dans ce contexte, la fonction de sélection détermine quel processus de génération de données explique le mieux les données observées; cette interprétation est fortement influencée par les méthodes utilisées pour l'estimation de la sélection.
Date and Time
-
Langue de la présentation orale
Anglais
Langue des supports visuels
Anglais