Optimal Federation For Mixture of Generative Sequential Learners
We consider the problem of optimally training a set of sequential generative models distributed across a network using a fixed number of communication rounds. We derive closed-form expressions for the optimal online updates for the local models and the optimal mixture implemented by the server when predicting from the distributed ensemble. Our algorithm requires the system to periodically synchronize, and we derive a closed-form expression for the optimal synchronization as the solution to a Nash game in which each local model strives to maximally contribute to the predictive accuracy of the ensemble.
Fédération optimale pour un mélange d'apprenants séquentiels génératifs
Nous considérons le problème de l'entraînement optimal d'un ensemble de modèles génératifs séquentiels distribués sur un réseau en utilisant un nombre fixe de cycles de communication. Nous dérivons des expressions de forme fermée pour les mises à jour en ligne optimales des modèles locaux et le mélange optimal mis en œuvre par le serveur lorsqu'il prédit à partir de l'ensemble distribué. Notre algorithme exige que le système se synchronise périodiquement, et nous dérivons une expression de forme fermée pour la synchronisation optimale en tant que solution d'un jeu de Nash dans lequel chaque modèle local s'efforce de contribuer au maximum à la précision de prédiction de l'ensemble.
Date and Time
-
Langue de la présentation orale
Anglais
Langue des supports visuels
Anglais