SAE: Single Architecture Ensemble Neural Networks

要約

個別のニューラル ネットワーク (NN) のアンサンブルは、複数のタスクにわたって単一の NN よりも優れた精度と信頼性のキャリブレーションを示しています。
最近の方法では、早期終了または多入力多出力フレームワークを介して単一ネットワーク内でアンサンブルを圧縮します。
ただし、これらの手法の状況はこれまでのところ細分化されており、特定のタスクに適切なアプローチを選択することが困難になっています。
さらに、これらのメソッドのアルゴリズムのパフォーマンスは個別の NN のアンサンブルよりも劣っており、大規模なアーキテクチャの調整が必要です。
私たちは、これらのアプローチを単一アーキテクチャ アンサンブル (SAE) に統合する新しい方法論を提案します。
私たちの方法は、単一の NN のアンサンブル入力ごとに最適な出口の数と深さを学習します。
これにより、SAE フレームワークは、特定のアーキテクチャまたはアプリケーションに合わせて構成を柔軟に調整できます。
当社は、さまざまなネットワーク アーキテクチャの種類とサイズにわたって、画像の分類と回帰に関して SAE を評価します。
コンピューティング操作またはパラメータ数を最大 $1.5{\sim}3.7\times$ 削減しながら、ベースラインに対する競争力のある精度または信頼性の調整を実証します。

要約(オリジナル)

Ensembles of separate neural networks (NNs) have shown superior accuracy and confidence calibration over single NN across tasks. Recent methods compress ensembles within a single network via early exits or multi-input multi-output frameworks. However, the landscape of these methods is fragmented thus far, making it difficult to choose the right approach for a given task. Furthermore, the algorithmic performance of these methods is behind the ensemble of separate NNs and requires extensive architecture tuning. We propose a novel methodology unifying these approaches into a Single Architecture Ensemble (SAE). Our method learns the optimal number and depth of exits per ensemble input in a single NN. This enables the SAE framework to flexibly tailor its configuration for a given architecture or application. We evaluate SAEs on image classification and regression across various network architecture types and sizes. We demonstrate competitive accuracy or confidence calibration to baselines while reducing the compute operations or parameter count by up to $1.5{\sim}3.7\times$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google