훈련 방법이 시각 모델 활용에 어떤 영향을 미치는가?

초록

모든 학습 가능한 매개변수(예: 가중치)가 신경망의 의사 결정 기능에 동등하게 기여하는 것은 아닙니다. 사실, 전체 레이어의 매개변수는 때때로 무작위 값으로 재설정되어도 모델의 결정에는 거의 영향을 미치지 않을 수 있습니다. 이 현상이 아키텍처와 작업 복잡성이 어떻게 영향을 미치는지 조사한 이전 연구를 재방문하며, 이 현상이 모델을 훈련하는 방식에도 영향을 받는지 묻습니다. 우리는 ImageNet-1k 분류 모델의 다양한 실험적 평가를 수행하여 이를 탐구했으며, 아키텍처와 훈련 데이터를 일정하게 유지하되 훈련 파이프라인을 변경했습니다. 우리의 연구 결과는 주어진 작업에 대해 어떤 레이어가 의사 결정 기능에 중요한지를 강하게 영향을 미치는 것으로 나타났습니다. 예를 들어, 개선된 훈련 방법과 자가 지도 학습은 초기 레이어의 중요성을 높이는 반면 깊은 레이어를 상당히 under-utilize합니다. 반면, 적대적 훈련과 같은 방법은 반대의 추세를 보입니다. 우리의 예비 결과는 이전 연구를 확장하여 신경망의 내부 메커니즘에 대한 더 세밀한 이해를 제공합니다. 코드: https://github.com/paulgavrikov/layer_criticality

English

Not all learnable parameters (e.g., weights) contribute equally to a neural network's decision function. In fact, entire layers' parameters can sometimes be reset to random values with little to no impact on the model's decisions. We revisit earlier studies that examined how architecture and task complexity influence this phenomenon and ask: is this phenomenon also affected by how we train the model? We conducted experimental evaluations on a diverse set of ImageNet-1k classification models to explore this, keeping the architecture and training data constant but varying the training pipeline. Our findings reveal that the training method strongly influences which layers become critical to the decision function for a given task. For example, improved training regimes and self-supervised training increase the importance of early layers while significantly under-utilizing deeper layers. In contrast, methods such as adversarial training display an opposite trend. Our preliminary results extend previous findings, offering a more nuanced understanding of the inner mechanics of neural networks. Code: https://github.com/paulgavrikov/layer_criticality

훈련 방법이 시각 모델 활용에 어떤 영향을 미치는가?

How Do Training Methods Influence the Utilization of Vision Models?

초록

Summary

Support