Accounting for Replication Noise in Model Selection
Developping neural models is an exercise of distillation: identifying main interactions while relegating background processes to the status of “noise”.
This is essential to the scientific goal of induction, since those main interactions we hope will generalize beyond a particular experiment.
But while we cannot model noise exactly, even imperfect noise models can improve how we fit data.
In particular I will argue that the noise arising across replications of an experiment is key to selecting models which continue to predict well on new experiments.
The method I propose to achieve this is closely aligned with the scientific method: the domain expert is placed squarely in the lead and tasked to explicitely model both the data generation and replication processes.
Computational methods are then used to bridge the remaining gap between theory and experiment, and provide an actionable selection criterion for rejecting models which don’t fit experiments.
This is essential to the scientific goal of induction, since those main interactions we hope will generalize beyond a particular experiment.
But while we cannot model noise exactly, even imperfect noise models can improve how we fit data.
In particular I will argue that the noise arising across replications of an experiment is key to selecting models which continue to predict well on new experiments.
The method I propose to achieve this is closely aligned with the scientific method: the domain expert is placed squarely in the lead and tasked to explicitely model both the data generation and replication processes.
Computational methods are then used to bridge the remaining gap between theory and experiment, and provide an actionable selection criterion for rejecting models which don’t fit experiments.
Prise en compte du bruit de réplication dans la sélection de modèles
Développer des modèles neuronaux est un exercise de distillation: on isole les intéractions principales et traite les autres comme du « bruit ».
C’est l’essentiel de la méthode scientifique, puisqu’on espère que ces intéractions principales se généraliseront au-delà d’une expérience particulière.
Mais bien qu’on ne puisse pas modéliser le bruit exactement, même un modèle imparfait peut améliorer notre fit aux données.
En particulier j’argumenterai que modéliser les variations entre les réplications d’une expérience est clé pour choisir des modèles qui continuent de bien prédire.
L’approche que je propose s’aligne avec avec la méthode scientifique: la compétence du spécialiste est mise de l’avant, lui permettant de modéliser non seulement le processus de génération des données, mais aussi celui de réplication.
Des méthodes computationelles sont ensuite utilisées pour combler l’écart entre la théorie et l’expérience, et pour fournir un critère exploitable pour rejeter les modèles qui ne correspondent pas aux données.
C’est l’essentiel de la méthode scientifique, puisqu’on espère que ces intéractions principales se généraliseront au-delà d’une expérience particulière.
Mais bien qu’on ne puisse pas modéliser le bruit exactement, même un modèle imparfait peut améliorer notre fit aux données.
En particulier j’argumenterai que modéliser les variations entre les réplications d’une expérience est clé pour choisir des modèles qui continuent de bien prédire.
L’approche que je propose s’aligne avec avec la méthode scientifique: la compétence du spécialiste est mise de l’avant, lui permettant de modéliser non seulement le processus de génération des données, mais aussi celui de réplication.
Des méthodes computationelles sont ensuite utilisées pour combler l’écart entre la théorie et l’expérience, et pour fournir un critère exploitable pour rejeter les modèles qui ne correspondent pas aux données.
Date and Time
-
Language of Oral Presentation
English
Language of Visual Aids
English