Network Fission Ensembles for Low-Cost Self-Ensembles

要約

画像分類のための最近のアンサンブル学習方法は、余分なコストで分類の精度を改善することが示されています。
ただし、アンサンブル推論には複数の訓練されたモデルが必要であり、モデルサイズが増加すると最終的に大きな負担になります。
この論文では、従来のネットワーク自体をマルチエキシット構造に変換することにより、ネットワーク分裂アンサンブル（NFE）と呼ばれる低コストのアンサンブル学習と推論を提案します。
特定の初期ネットワークから始めて、最初にトレーニングの負担を軽減するために、いくつかの重みを剪定します。
次に、残りの重みをいくつかのセットにグループ化し、各セットを使用して複数の補助パスを作成してマルチキシットを構築します。
このプロセスネットワークの核分裂と呼びます。
これにより、単一のネットワークから複数の出力を取得でき、アンサンブル学習を可能にします。
このプロセスは、追加のネットワークを使用せずに既存のネットワーク構造をマルチエキシットに変更するだけであるため、アンサンブル学習と推論に追加の計算負担はありません。
さらに、すべての出口の複数の損失から学習することにより、マルチエキシットは正規化によりパフォーマンスを改善し、ネットワークのスパース性を高めても高性能を達成できます。
シンプルでありながら効果的な方法により、既存のアンサンブル方法と比較して大幅な改善が得られます。
このコードは、https：//github.com/hjdw2/nfeで入手できます。

要約(オリジナル)

Recent ensemble learning methods for image classification have been shown to improve classification accuracy with low extra cost. However, they still require multiple trained models for ensemble inference, which eventually becomes a significant burden when the model size increases. In this paper, we propose a low-cost ensemble learning and inference, called Network Fission Ensembles (NFE), by converting a conventional network itself into a multi-exit structure. Starting from a given initial network, we first prune some of the weights to reduce the training burden. We then group the remaining weights into several sets and create multiple auxiliary paths using each set to construct multi-exits. We call this process Network Fission. Through this, multiple outputs can be obtained from a single network, which enables ensemble learning. Since this process simply changes the existing network structure to multi-exits without using additional networks, there is no extra computational burden for ensemble learning and inference. Moreover, by learning from multiple losses of all exits, the multi-exits improve performance via regularization, and high performance can be achieved even with increased network sparsity. With our simple yet effective method, we achieve significant improvement compared to existing ensemble methods. The code is available at https://github.com/hjdw2/NFE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google