노이즈 토큰 가지치기 훈련

초록

본 연구에서는 비전 트랜스포머를 위한 훈련 노이즈 토큰(TNT) 가지치기를 제안합니다. 우리의 방법은 이산적인 토큰 삭제 조건을 연속적인 가산적 노이즈로 완화하여 훈련 중에 부드러운 최적화를 제공하면서, 배포 환경에서 이산적인 삭제의 계산상 이점을 유지합니다. 우리는 Rate-Distortion 문헌과의 이론적 연결을 제시하고, ViT와 DeiT 아키텍처를 사용하여 ImageNet 데이터셋에서 TNT의 이전 가지치기 방법에 비해 우월성을 입증하는 경험적 평가를 제공합니다.

English

In the present work we present Training Noise Token (TNT) Pruning for vision transformers. Our method relaxes the discrete token dropping condition to continuous additive noise, providing smooth optimization in training, while retaining discrete dropping computational gains in deployment settings. We provide theoretical connections to Rate-Distortion literature, and empirical evaluations on the ImageNet dataset using ViT and DeiT architectures demonstrating TNT's advantages over previous pruning methods.

노이즈 토큰 가지치기 훈련

Training Noise Token Pruning

초록

Summary

Support