Collaboration of Experts: Achieving 80% Top-1 Accuracy on ImageNet with 100M FLOPs

要約

このホワイトペーパーでは、複数のネットワークの専門知識を共通の目的に向けてプールするための専門家のコラボレーション（CoE）フレームワークを提案します。
各エキスパートは、データセットの固有の部分に関する専門知識を備えた個別のネットワークであり、集合的な能力を強化します。
サンプルが与えられると、専門家が委任者によって選択され、委任者は同時に大まかな予測を出力して早期終了をサポートします。
このフレームワークを満たすために、各モデルにその役割を果たすように促す3つのモジュール、つまり、重み生成モジュール（WGM）、ラベル生成モジュール（LGM）、および分散計算モジュール（VCM）を提案します。
私たちの方法は、ImageNetで最先端のパフォーマンス、1億9400万フロップスで80.7％のトップ1精度を達成します。
CoEは、PWLU活性化関数とCondConvを組み合わせることで、初めて1億フロップで80.0％の精度をさらに達成します。
さらに重要なことに、私たちの方法はハードウェアにやさしく、いくつかの既存の条件付き計算アプローチと比較して3〜6倍の高速化を実現します。

要約(オリジナル)

In this paper, we propose a Collaboration of Experts (CoE) framework to pool together the expertise of multiple networks towards a common aim. Each expert is an individual network with expertise on a unique portion of the dataset, which enhances the collective capacity. Given a sample, an expert is selected by the delegator, which simultaneously outputs a rough prediction to support early termination. To fulfill this framework, we propose three modules to impel each model to play its role, namely weight generation module (WGM), label generation module (LGM) and variance calculation module (VCM). Our method achieves the state-of-the-art performance on ImageNet, 80.7% top-1 accuracy with 194M FLOPs. Combined with PWLU activation function and CondConv, CoE further achieves the accuracy of 80.0% with only 100M FLOPs for the first time. More importantly, our method is hardware friendly and achieves a 3-6x speedup compared with some existing conditional computation approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google