HadamRNN: binary and sparse ternary orthogonal RNNS
Binary and sparse ternary weights in neural networks enable faster computations and lighter representations, facilitating their use on edge devices with limited computational power. Meanwhile, vanilla RNNs are highly sensitive to changes in their recurrent weights, making the binarization and ternarization of these weights inherently challenging. To date, no method has successfully achieved binarization or ternarization of vanilla RNN weights. We present a new approach leveraging the properties of Hadamard matrices to parameterize a subset of binary and sparse ternary orthogonal matrices. This method enables the training of orthogonal RNNs (ORNNs) with binary and sparse ternary recurrent weights, effectively creating a specific class of binary and sparse ternary vanilla RNNs.
HadamRNN : réseaux récurrents orthogonaux binaires et ternaires parcimonieux
Les poids binaires et ternaires parcimonieux permettent d’accélérer les calculs des réseaux de neurones, tout en leur garantissant une représentation plus légère, ce qui facilite leur déploiement sur des dispositifs périphériques à la puissance de calcul limitée. Par ailleurs, les réseaux de neurones récurrents classiques sont très sensibles aux variations des poids récurrents, ce qui rend difficile la binarisation ou la ternarisation de ces poids. À ce jour, aucune méthode n’a permis de binariser ou ternariser un réseau de neurones récurrent classique de façon satisfaisante. Nous présentons une nouvelle approche, exploitant les propriétés des matrices de Hadamard, pour paramétrer un sous-ensemble des matrices orthogonales, binaires ou ternaires parcimonieuses. Cette méthode permet l’entraînement de réseaux de neurones récurrents orthogonaux avec des poids binaires ou ternaires parcimonieux, créant ainsi une classe spécifique de réseaux de neurones récurrents binaires ou ternaires parcimonieux.
Date and Time
-
Langue de la présentation orale
Français
Langue des supports visuels
Anglais