Inheritance Between Feedforward and Convolutional Networks via Model Projection
Techniques for feedforward networks (FFNs) and convolutional networks (CNNs) are frequently reused across families, but the relationship between the underlying model classes is rarely made explicit. We introduce a node-level formalization with tensor-valued activations and show that generalized FFNs form a strict subset of generalized CNNs. We propose projection, a parameter-efficient transfer learning method for CNNs that freezes pretrained per-input-channel filters and learns a single scalar for each (output channel, input channel) contribution. Projection keeps all convolutional layers adaptable to downstream tasks while substantially reducing the number of trained parameters in convolutional layers. We prove that projected nodes take the generalized FFN form, enabling projected CNNs to inherit FFN techniques that do not rely on homogeneous layer inputs. Experiments with ImageNet-pretrained backbones and image classification datasets show strong results in simple training set ups.
Héritage entre réseaux feedforward et convolutifs via la projection de modèles
Les techniques utilisées pour les réseaux feedforward (FFN) et les réseaux convolutifs (CNN) sont fréquemment réutilisées dans différentes familles, mais la relation entre les classes de modèles sous-jacentes est rarement explicitée. Nous introduisons une formalisation au niveau des nœuds avec des activations à valeur tensorielle et montrons que les FFN généralisés forment un sous-ensemble strict des CNN généralisés. Nous proposons la projection, une méthode d'apprentissage par transfert efficace en termes de paramètres pour les CNN qui gèle les filtres par canal d'entrée pré-entraînés et apprend un seul scalaire pour chaque contribution (canal de sortie, canal d'entrée). La projection permet à toutes les couches convolutives de s'adapter aux tâches en aval tout en réduisant considérablement le nombre de paramètres entraînés dans les couches convolutives. Nous prouvons que les nœuds projetés prennent la forme d'un FFN généralisé, ce qui permet aux CNN projetés d'hériter des techniques FFN qui ne reposent pas sur des entrées de couches homogènes. Des expériences avec des backbones pré-entraînés ImageNet et des ensembles de données de classification d'images montrent des résultats solides dans des configurations d'entraînement simples.
Date and Time
-
Langue de la présentation orale
Anglais
Langue des supports visuels
Anglais