Description

Cette thèse de doctorat propose une approche par la théorie des systèmes des réseaux de neurones de dimension infinie, en liant les modèles discrets à grande échelle et les systèmes dynamiques continus. Les travaux commenceront par formaliser le lien entre les réseaux de neurones récurrents résiduels (RNN) et les équations différentielles ordinaires (ODE) neuronales à l’aide d’outils de la théorie du contrôle, comme le cadre des perturbations singulières, afin de gérer des échelles de temps distinctes entre les données d’entrée et la dynamique du réseau.

Un deuxième axe consistera à traduire les exigences de l’apprentissage automatique — telles que la mémoire décroissante et la stabilité — en propriétés de stabilité de Lyapunov, de contraction et de robustesse des ODE neuronales. En utilisant des conditions de secteur pour les fonctions d’activation, la thèse développera des méthodes de Lyapunov pour évaluer ces propriétés, avec un accent particulier sur la stabilité incrémentale entrée-état. Des simulations numériques valideront les conditions théoriques et leur applicabilité aux réseaux de grande dimension, offrant potentiellement des garanties théoriques pour des architectures existantes comme les unités récurrentes à porte (GRU) et orientant l’entraînement en imposant des contraintes de stabilité.

Enfin, la thèse réinterprétera l’entraînement des RNN comme la synthèse d’observateurs, en le considérant comme un problème d’estimation de paramètres où l’observabilité dépend des données d’entrée. Inspirée par les avancées récentes dans les champs neuronaux biologiques, cette étude analysera l’observabilité des paramètres du réseau pour des GRU monocouches et explorera son lien avec la complexité de l’entraînement au moyen de simulations.

Compétences requises

Ce sujet de thèse nécessite principalement de solides compétences en théorie du contrôle et en mathématiques (niveau Grandes Écoles et/ou Master en automatique). De très bons résultats dans le cursus d’ingénierie ou de master, notamment dans les disciplines liées à l’automatique, seront un atout pour ce projet. Les stages ou projets de recherche réalisés avant la thèse seront particulièrement appréciés. Le ou la candidate devra également maîtriser Matlab ou Python (méthodes numériques, simulations).

Bibliographie

[1] L. Brivadis, A. Chaillet, and J. Auriol. Adaptive observer and control of spatiotemporal delayed neural fields. Systems & Control Letters, 186:105777, 2024.
[2] R. T. Chen, Y. Rubanova, J. Bettencourt, and D. K. Duvenaud. Neural ordinary differential equations. Advances in neural information processing systems, 31, 2018.
[3] L. B. de Giuli, A. L. Bella, M. Farina, and R. Scattolini. Stability and learning of networked systems with application to physics-informed neural networks. Automatica, 189:113005, 2026.
[4] A. Fermanian, P. Marion, J.-P. Vert, and G. Biau. Framing rnn as a kernel method: A neural ode approach. Advances in Neural Information Processing Systems, 34:3121–3134, 2021.
[5] J.-P. Gauthier and I. Kupka. Deterministic observation theory and applications. Cambridge university press, 2001.
[6] C. Prieur, S. Tarbouriech, and J. M. Gomes Da Silva Jr. Wave equation with cone-bounded control laws. IEEE Transactions on Automatic Control, 61(11):3452–3463, 2016.

Mots clés

synthèse de commande et d'observateurs, systèmes dynamiques non-linéaires, systèmes de dimension infinie, réseau de neurones