Fast Feedforward Networks

要約

フィードフォワード ネットワークに代わる対数時間の高速フィードフォワード (FFF) アーキテクチャを導入することで、層のサイズとその推論コストの間の線形リンクを断ち切ります。
FFF は、推論コストの指数関数的な割合でフィードフォワード ネットワークと同等のパフォーマンスを提供し、専門家混合ネットワークと比較してパフォーマンスの提供が速く、トランスフォーマーのどちらの代わりにもすぐに使用できることを示します。
FFF を絶対限界まで押し上げることで、全幅バリアントに対してわずか 5.8% のパフォーマンス低下を犠牲にして、単一ニューロン推論を実行するビジョン トランスフォーマーをトレーニングしました。
私たちの実装は Python パッケージとして利用できます。
「pip install fastfeedforward」を使用するだけです。

要約(オリジナル)

We break the linear link between the layer size and its inference cost by introducing the fast feedforward (FFF) architecture, a logarithmic-time alternative to feedforward networks. We show that FFFs give comparable performance to feedforward networks at an exponential fraction of their inference cost, are quicker to deliver performance compared to mixture-of-expert networks, and can readily take the place of either in transformers. Pushing FFFs to the absolute limit, we train a vision transformer to perform single-neuron inferences at the cost of only 5.8% performance decrease against the full-width variant. Our implementation is available as a Python package; just use ‘pip install fastfeedforward’.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google