Comment les méthodes d'entraînement influencent-elles l'utilisation des modèles de vision ?

How Do Training Methods Influence the Utilization of Vision Models?

October 18, 2024

Auteurs: Paul Gavrikov, Shashank Agnihotri, Margret Keuper, Janis Keuper

cs.AI

Résumé

Tous les paramètres apprenables (par exemple, les poids) ne contribuent pas de manière égale à la fonction de décision d'un réseau neuronal. En fait, il arrive parfois que les paramètres de couches entières puissent être réinitialisés à des valeurs aléatoires sans impact significatif sur les décisions du modèle. Nous revisitons des études antérieures qui ont examiné comment l'architecture et la complexité de la tâche influencent ce phénomène et nous posons la question : ce phénomène est-il également affecté par la manière dont nous entraînons le modèle ? Nous avons réalisé des évaluations expérimentales sur un ensemble diversifié de modèles de classification ImageNet-1k pour explorer cela, en gardant l'architecture et les données d'entraînement constants mais en variant le pipeline d'entraînement. Nos résultats révèlent que la méthode d'entraînement influence fortement quelles couches deviennent critiques pour la fonction de décision d'une tâche donnée. Par exemple, les régimes d'entraînement améliorés et l'entraînement auto-supervisé augmentent l'importance des premières couches tout en sous-utilisant significativement les couches plus profondes. En revanche, des méthodes telles que l'entraînement adversarial montrent une tendance opposée. Nos résultats préliminaires étendent les découvertes antérieures, offrant une compréhension plus nuancée des mécanismes internes des réseaux neuronaux. Code : https://github.com/paulgavrikov/layer_criticality

English

Not all learnable parameters (e.g., weights) contribute equally to a neural network's decision function. In fact, entire layers' parameters can sometimes be reset to random values with little to no impact on the model's decisions. We revisit earlier studies that examined how architecture and task complexity influence this phenomenon and ask: is this phenomenon also affected by how we train the model? We conducted experimental evaluations on a diverse set of ImageNet-1k classification models to explore this, keeping the architecture and training data constant but varying the training pipeline. Our findings reveal that the training method strongly influences which layers become critical to the decision function for a given task. For example, improved training regimes and self-supervised training increase the importance of early layers while significantly under-utilizing deeper layers. In contrast, methods such as adversarial training display an opposite trend. Our preliminary results extend previous findings, offering a more nuanced understanding of the inner mechanics of neural networks. Code: https://github.com/paulgavrikov/layer_criticality