Adaptive Transfer Learning from Multiple Heterogeneous Sources
Transfer learning aims to improve performance in a target domain by leveraging information from multiple source domains, a goal with broad practical impact. However, adapting to multiple heterogeneous sources remains a developing area. Typically, a source's relevance is captured by its bias relative to the target, which is usually unknown in practice. Most works impose some structural assumptions on the admissible bias space and develop methods to adapt to such biases. In contrast, we explore the fundamental limits of adaptation under a more general bias structure. In parameter estimation problems, we show that adaptation is impossible under the most general bias space when there are at least two source domains. We then propose two structural assumptions on the bias space under which adaptation becomes feasible and construct estimators that achieve it. Notably, one of our assumptions generalizes the common structures used in prior works.
Apprentissage par transfert adaptatif à partir de multiples sources hétérogènes
L'apprentissage par transfert vise à améliorer les performances dans un domaine cible en exploitant les informations provenant de plusieurs domaines sources, un objectif qui a un large impact pratique. Cependant, l'adaptation à plusieurs sources hétérogènes reste un domaine en développement. En général, la pertinence d'une source est déterminée par son biais par rapport à la cible, qui est généralement inconnu en pratique. La plupart des travaux imposent certaines hypothèses structurelles sur l'espace de biais admissible et développent des méthodes pour s'adapter à ces biais. En revanche, nous explorons les limites fondamentales de l'adaptation dans le cadre d'une structure de biais plus générale. Dans les problèmes d'estimation des paramètres, nous montrons que l'adaptation est impossible dans l'espace de biais le plus général lorsqu'il existe au moins deux domaines sources. Nous proposons ensuite deux hypothèses structurelles sur l'espace de biais pour lesquelles l'adaptation devient possible et construisons des estimateurs qui permettent d'y parvenir. Il convient de noter que l'une de nos hypothèses généralise les structures couramment utilisées dans les travaux antérieurs.
Date and Time
-
Language of Oral Presentation
English
Language of Visual Aids
English