SHARCS: Efficient Transformers through Routing with Dynamic Width Sub-networks

要約

入力サンプルの硬度を考慮した適応推論のための SHARCS を紹介します。
SARCS は、任意の変圧器ネットワーク上でルーターをトレーニングできるため、モデルがさまざまなサンプルをさまざまな幅のサブネットワークに送信できるようになります。
私たちの実験は次のことを実証しています。(1) SHARCS は、精度対 FLOP の点で、さまざまな分類タスクにわたって既存のサンプルごとの適応推論方法を上回るか、補完します。
(2) SARCS はさまざまなアーキテクチャ間で一般化されており、圧縮された効率的なトランス エンコーダに適用して効率をさらに向上させることもできます。
(3) SARCS は、精度はわずかに低下しますが、推論速度が 2 倍向上します。

要約(オリジナル)

We introduce SHARCS for adaptive inference that takes into account the hardness of input samples. SHARCS can train a router on any transformer network, enabling the model to direct different samples to sub-networks with varying widths. Our experiments demonstrate that: (1) SHARCS outperforms or complements existing per-sample adaptive inference methods across various classification tasks in terms of accuracy vs. FLOPs; (2) SHARCS generalizes across different architectures and can be even applied to compressed and efficient transformer encoders to further improve their efficiency; (3) SHARCS can provide a 2 times inference speed up at an insignificant drop in accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google