Training Noise Token Pruning

要約

現在の作業では、視覚変圧器のトレーニングノイズトークン（TNT）剪定を提示します。
私たちの方法は、離散トークンドロップ条件を連続添加剤ノイズにリラックスさせ、トレーニングでスムーズな最適化を提供しながら、展開設定で個別のドロップする計算ゲインを保持します。
レート歪みの文献への理論的接続、および以前の剪定方法に対するTNTの利点を示すVITおよびDEITアーキテクチャを使用して、ImagENETデータセットの経験的評価を提供します。

要約(オリジナル)

In the present work we present Training Noise Token (TNT) Pruning for vision transformers. Our method relaxes the discrete token dropping condition to continuous additive noise, providing smooth optimization in training, while retaining discrete dropping computational gains in deployment settings. We provide theoretical connections to Rate-Distortion literature, and empirical evaluations on the ImageNet dataset using ViT and DeiT architectures demonstrating TNT’s advantages over previous pruning methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google