Differential Privacy in Machine Learning: Theoretical Bounds and Statistical Properties
With the rapid growth of machine learning and the increasing risks in handling sensitive data, privacy-preserving techniques for machine learning are essential. This work examines the integration of differential privacy into various machine learning algorithms, such as supervised learning or stochastic gradient descent. We provide a proper mathematical framework that allows to obtain privacy bounds and analyze the algorithms’ convergence, stability, and the statistical properties of private estimators. It is shown that convergence can be achieved while maintaining the required level of privacy. We bridge theoretical analysis with practical implementation, enabling the fine-tuning of existing models to optimize the balance between data privacy and data utility. This work aim to provides a robust mathematical foundation for future privacy-preserving machine learning research and real-world applications. This research is supported by the Office of the Privacy Commissioner of Canada.
Confidentialité différentielle dans l'apprentissage automatique : Limites théoriques et propriétés statistiques
Avec la croissance rapide de l'apprentissage automatique et les risques croissants liés à la manipulation de données sensibles, les techniques de préservation de la vie privée pour l'apprentissage automatique sont essentielles. Ce travail examine l'intégration de la confidentialité différentielle dans divers algorithmes d'apprentissage automatique, tels que l'apprentissage supervisé ou la descente de gradient stochastique. Nous fournissons un cadre mathématique approprié qui permet d'obtenir des limites de confidentialité et d'analyser la convergence des algorithmes, la stabilité et les propriétés statistiques des estimateurs privés. Il est démontré que la convergence peut être atteinte tout en maintenant le niveau de confidentialité requis. Nous faisons le lien entre l'analyse théorique et la mise en œuvre pratique, ce qui permet d'affiner les modèles existants afin d'optimiser l'équilibre entre la confidentialité et l'utilité des données. Ce travail vise à fournir une base mathématique solide pour les futures recherches sur l'apprentissage automatique préservant la vie privée et les applications du monde réel. Cette recherche est soutenue par le Commissariat à la protection de la vie privée du Canada.
Date and Time
-
Langue de la présentation orale
Anglais
Langue des supports visuels
Anglais