Fast Feedforward Networks

要約

フィードフォワード ネットワークに代わる対数時間の高速フィードフォワード (FFF) アーキテクチャを導入することで、層のサイズとその推論コストの間の線形リンクを断ち切ります。
FFF はフィードフォワード ネットワークより最大 220 倍、エキスパート混合ネットワークより最大 6 倍高速であり、ノイズのない条件付き実行のおかげでエキスパート混合ネットワークよりも優れたトレーニング特性を示すことを実証します。
FFF を限界まで押し上げると、予測パフォーマンスの 94.2% を維持しながら、ビジョン トランスフォーマーの推論に層ニューロンのわずか 1% しか使用できないことがわかりました。

要約(オリジナル)

We break the linear link between the layer size and its inference cost by introducing the fast feedforward (FFF) architecture, a log-time alternative to feedforward networks. We demonstrate that FFFs are up to 220x faster than feedforward networks, up to 6x faster than mixture-of-experts networks, and exhibit better training properties than mixtures of experts thanks to noiseless conditional execution. Pushing FFFs to the limit, we show that they can use as little as 1% of layer neurons for inference in vision transformers while preserving 94.2% of predictive performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google