Hoe beïnvloeden trainingsmethoden het gebruik van visiemodellen?

How Do Training Methods Influence the Utilization of Vision Models?

October 18, 2024

Auteurs: Paul Gavrikov, Shashank Agnihotri, Margret Keuper, Janis Keuper

cs.AI

Samenvatting

Niet alle leerbar parameters (bijv. gewichten) dragen in gelijke mate bij aan de beslissingsfunctie van een neuraal netwerk. Sterker nog, de parameters van hele lagen kunnen soms worden gereset naar willekeurige waarden zonder dat dit veel invloed heeft op de beslissingen van het model. We bekijken eerdere studies die hebben onderzocht hoe de architectuur en taakcomplexiteit dit fenomeen beïnvloeden en vragen ons af: wordt dit fenomeen ook beïnvloed door hoe we het model trainen? We hebben experimentele evaluaties uitgevoerd op een gevarieerde set ImageNet-1k classificatiemodellen om dit te verkennen, waarbij we de architectuur en trainingsgegevens constant hielden maar de trainingspijplijn varieerden. Onze bevindingen onthullen dat de trainingsmethode sterk invloed heeft op welke lagen cruciaal worden voor de beslissingsfunctie voor een bepaalde taak. Zo verhogen verbeterde trainingsregimes en zelf-supervised training het belang van vroege lagen terwijl diepere lagen aanzienlijk onderbenut blijven. Daarentegen tonen methoden zoals adversarial training een tegenovergestelde trend. Onze voorlopige resultaten breiden eerdere bevindingen uit en bieden een meer genuanceerd begrip van de interne mechanismen van neurale netwerken. Code: https://github.com/paulgavrikov/layer_criticality

English

Not all learnable parameters (e.g., weights) contribute equally to a neural network's decision function. In fact, entire layers' parameters can sometimes be reset to random values with little to no impact on the model's decisions. We revisit earlier studies that examined how architecture and task complexity influence this phenomenon and ask: is this phenomenon also affected by how we train the model? We conducted experimental evaluations on a diverse set of ImageNet-1k classification models to explore this, keeping the architecture and training data constant but varying the training pipeline. Our findings reveal that the training method strongly influences which layers become critical to the decision function for a given task. For example, improved training regimes and self-supervised training increase the importance of early layers while significantly under-utilizing deeper layers. In contrast, methods such as adversarial training display an opposite trend. Our preliminary results extend previous findings, offering a more nuanced understanding of the inner mechanics of neural networks. Code: https://github.com/paulgavrikov/layer_criticality