Wie beeinflussen Trainingsmethoden die Nutzung von Bildmodellen?

How Do Training Methods Influence the Utilization of Vision Models?

October 18, 2024

Autoren: Paul Gavrikov, Shashank Agnihotri, Margret Keuper, Janis Keuper

cs.AI

Zusammenfassung

Nicht alle erlernbaren Parameter (z. B. Gewichte) tragen gleichermaßen zur Entscheidungsfunktion eines neuronalen Netzwerks bei. Tatsächlich können manchmal die Parameter ganzer Schichten auf zufällige Werte zurückgesetzt werden, ohne dass dies sich wesentlich auf die Entscheidungen des Modells auswirkt. Wir überprüfen frühere Studien, die untersucht haben, wie Architektur und Aufgabenschwierigkeit dieses Phänomen beeinflussen, und fragen: Wird dieses Phänomen auch davon beeinflusst, wie wir das Modell trainieren? Wir führten experimentelle Bewertungen an einer vielfältigen Auswahl von ImageNet-1k-Klassifikationsmodellen durch, um dies zu erforschen, wobei wir die Architektur und Trainingsdaten konstant hielten, aber die Trainingspipeline variierten. Unsere Ergebnisse zeigen, dass die Trainingsmethode stark beeinflusst, welche Schichten für die Entscheidungsfunktion einer bestimmten Aufgabe entscheidend werden. Beispielsweise erhöhen verbesserte Trainingsregime und selbstüberwachtes Training die Bedeutung früher Schichten, während tiefere Schichten signifikant untergenutzt werden. Im Gegensatz dazu zeigen Methoden wie das adversarielle Training einen entgegengesetzten Trend. Unsere vorläufigen Ergebnisse erweitern frühere Erkenntnisse und bieten ein nuancierteres Verständnis der inneren Mechanismen neuronaler Netzwerke. Code: https://github.com/paulgavrikov/layer_criticality

English

Not all learnable parameters (e.g., weights) contribute equally to a neural network's decision function. In fact, entire layers' parameters can sometimes be reset to random values with little to no impact on the model's decisions. We revisit earlier studies that examined how architecture and task complexity influence this phenomenon and ask: is this phenomenon also affected by how we train the model? We conducted experimental evaluations on a diverse set of ImageNet-1k classification models to explore this, keeping the architecture and training data constant but varying the training pipeline. Our findings reveal that the training method strongly influences which layers become critical to the decision function for a given task. For example, improved training regimes and self-supervised training increase the importance of early layers while significantly under-utilizing deeper layers. In contrast, methods such as adversarial training display an opposite trend. Our preliminary results extend previous findings, offering a more nuanced understanding of the inner mechanics of neural networks. Code: https://github.com/paulgavrikov/layer_criticality