Recent Advances in the Design and Analysis of Network A/B tests
A/B tests are widely used by internet and technology companies to test and evaluate product changes, new features, and to ensure user feedback drives decisions. Often, users are interconnected and one user’s outcome may be influenced not just by their treatment assignment, but also by the other units they’re connected with. In this case, the stable unit treatment value assumption (SUTVA) no longer holds, and the design and analysis of the experiment must account for such network influence. In this talk we will explore recent work in this area and focus particularly on the general additive network effect (GANE) family of non-linear models that jointly and flexibly model treatment and network effects. We will then consider Bayesian optimal design in the context of such models, proposing the use of the genetic algorithm to optimize for accurate and precise estimation of treatment effects, while accounting for parameter uncertainty.
Progrès récents dans la conception et l'analyse de tests A/B en réseau
Les tests A/B sont largement utilisés par les entreprises du secteur de l'Internet et des technologies pour tester et évaluer les modifications apportées aux produits et les nouvelles fonctionnalités, ainsi que pour s'assurer que les décisions sont guidées par les retours des utilisateurs. Souvent, les utilisateurs sont interconnectés et le résultat d'un utilisateur peut être influencé non seulement par son affectation au groupe de traitement, mais aussi par les autres unités auxquelles il est lié. Dans ce cas, l'hypothèse de la valeur de traitement par unité stable (SUTVA) ne s'applique plus, et la conception et l'analyse de l'expérience doivent tenir compte de cette influence du réseau. Au cours de cette présentation, nous explorerons les travaux récents dans ce domaine et nous nous concentrerons en particulier sur la famille des modèles non linéaires dits « effets de réseau additifs généraux » (GANE), qui modélisent conjointement et de manière flexible les effets de traitement et les effets de réseau. Nous examinerons ensuite la conception bayésienne optimale dans le contexte de ces modèles, en proposant l'utilisation de l'algorithme génétique pour optimiser l'estimation précise et exacte des effets de traitement, tout en tenant compte de l'incertitude des paramètres.
Date and Time
-
Langue de la présentation orale
Anglais
Langue des supports visuels
Anglais