Enlarge the image

From

Timetable to

Place ENS PARIS SACLAY-Bâtiment DIGITEO

Soutenance de thèse de Olivier LAURENT

Cette soutenance aura lieu à l'ENS Paris-Saclay, Bâtiment DIGITEO 660, Amphi, 4 rue René Thom, 91190 Gif-sur-Yvette

Titre de la thèse :Vers une estimation efficace en calcul d'incertitudes pour l'apprentissage profond.

Ces travaux ont été réalisés dans le laboratoire SATIE, dirigés par M. Adrien CHAN-HON-TONG, et co-encadrés par M. Emanuel ALDEA, Maître de conférences, Université Paris-Saclay et M. Gianni FRANCHI, Chercheur, AMIAD & ENSTA.

Add to the calendar

Composition du jury :

Mme Marianne CLAUSEL, Professeure, de l'Université de Lorraine - Rapportrice

M. David PICARD, Professeur, École Nationale des Ponts et Chaussées - Rapporteur

M. Nicolas BOUSQUET, Professeur Associé, Sorbonne Université - Examinateur

M. Mathilde MOUGEOT, Professeure, ENSIIE, ENS Paris Saclay - Examinatrice

M. Pierre-Alexandre MATTEI, Chargé de recherche INRIA Sophia Antipolis - Examinateur

 

Résumé :

Les réseaux de neurones profonds peuvent produire des prédictions incorrectes avec un niveau de confiance élevé et se dégrader face à des changements de distribution. Cette thèse porte sur l’estimation fiable de leurs incertitudes dans des contraintes de calcul. Elle prend Deep Ensembles comme référence empirique : l’agrégation de modèles entraînés indépendamment améliore généralement les prédictions et l’estimation de l’incertitude, mais son coût augmente avec le nombre de membres.

Les symétries de permutation et de mise à l’échelle génèrent de nombreux paramètres équivalents qui représentent la même fonction. Les modes de l’espace des paramètres ne mesurent donc pas nécessairement la diversité prédictive. Les barrières de perte après alignement caractérisent la connectivité géométrique entre les solutions, sans impliquer la convexité de l’espace quotient ni la similarité de leurs fonctions.

Dans les familles de ResNets étudiées, l’augmentation de la largeur réduit le désaccord, l’information mutuelle et le gain d’agrégation. Cette diminution apparaît également à grande largeur sur des données hors distribution ou affectées par un changement de distribution, tandis qu’une augmentation de la profondeur produit un comportement différent. Nous appelons ce phénomène concentration fonctionnelle induite par la largeur. Il motive Packed-Ensembles, qui répartit la capacité disponible entre plusieurs sous-réseaux étroits et indépendants, exécutés efficacement par convolutions groupées.

Enfin, la thèse étend l’analyse des symétries aux postérieurs bayésiens et présente Torch-Uncertainty, une bibliothèque pour l’évaluation reproductible des méthodes d’estimation de l’incertitude.

Il sera possible de suivre l'évènement en distanciel. 

Pour obtenir le lien de la visioconférence ou confirmer votre venue, nous vous remercions de vous inscrire sur ce lien : https://forms.gle/6SEcJeCEr3rJzHxw8.