Arrêt de service programmé du vendredi 10 juin 16h jusqu’au lundi 13 juin 9h. Pour en savoir plus
Accéder directement au contenu Accéder directement à la navigation
Article dans une revue

The coupling effect of Lipschitz regularization in neural networks

Abstract : We investigate the robustness of feed-forward neural networks when input data are subject to random uncertainties. More specifically, we consider regularization of the network by its Lipschitz constant and emphasize its role. We highlight the fact that this regularization is not only a way to control the magnitude of the weights but has also a coupling effect on the network weights across the layers. We claim and show evidence on regression and classification datasets that this coupling effect brings a trade-of between robustness and expressiveness of the network. This suggests that Lipschitz regularization should be carefully implemented so as to maintain coupling across layers.
Liste complète des métadonnées

Littérature citée [19 références]  Voir  Masquer  Télécharger

https://hal-enac.archives-ouvertes.fr/hal-02090498
Contributeur : Nicolas Couellan Connectez-vous pour contacter le contributeur
Soumis le : jeudi 4 avril 2019 - 17:56:34
Dernière modification le : mardi 5 avril 2022 - 03:40:51

Fichier

LipANN.pdf
Fichiers produits par l'(les) auteur(s)

Identifiants

Citation

Nicolas Couellan. The coupling effect of Lipschitz regularization in neural networks. SN Computer Science, Springer, 2021, 2 (2), pp.113. ⟨10.1007/s42979-021-00514-x⟩. ⟨hal-02090498⟩

Partager

Métriques

Consultations de la notice

130

Téléchargements de fichiers

638