Addestramento del Taglio dei Token di Rumore

Training Noise Token Pruning

November 27, 2024

Autori: Mingxing Rao, Bohan Jiang, Daniel Moyer

cs.AI

Abstract

Nel presente lavoro presentiamo il Pruning del Training Noise Token (TNT) per i vision transformers. Il nostro metodo rilassa la condizione di eliminazione del token discreto aggiungendo rumore continuo, garantendo un'ottimizzazione regolare durante il training, pur mantenendo i vantaggi computazionali dell'eliminazione discreta nelle configurazioni di implementazione. Forniamo connessioni teoriche alla letteratura sulla Rate-Distortion e valutazioni empiriche sul dataset ImageNet utilizzando le architetture ViT e DeiT, dimostrando i vantaggi di TNT rispetto ai metodi di pruning precedenti.

English

In the present work we present Training Noise Token (TNT) Pruning for vision transformers. Our method relaxes the discrete token dropping condition to continuous additive noise, providing smooth optimization in training, while retaining discrete dropping computational gains in deployment settings. We provide theoretical connections to Rate-Distortion literature, and empirical evaluations on the ImageNet dataset using ViT and DeiT architectures demonstrating TNT's advantages over previous pruning methods.