Window-Based Early-Exit Cascades for Uncertainty Estimation: When Deep Ensembles are More Efficient than Single Models

要約

ディープ アンサンブルは、ディープ ラーニング アプローチの予測性能と不確実性の推定の両方を改善する、シンプルで信頼性が高く効果的な方法です。
ただし、複数の独立したモデルを展開する必要があるため、計算コストが高いと広く批判されています。
最近の研究では、この見方に異議を唱えており、予測精度に関しては、アーキテクチャ ファミリ内の単一モデルをスケーリングするよりも、アンサンブルの方が (推論時に) 計算効率が高い可能性があることが示されています。
これは、早期終了アプローチを介してアンサンブル メンバーをカスケードすることによって実現されます。
この作業では、これらの効率の向上を不確実性の推定に関連するタスクに拡張することを調査します。
そのような多くのタスク。
選択的分類はバイナリ分類です。私たちの重要な新しい洞察は、バイナリ決定境界に近いウィンドウ内のサンプルのみを後のカスケード段階に渡すことです。
多数のネットワーク アーキテクチャと不確実性タスクにわたる ImageNet 規模のデータの実験は、提案されたウィンドウ ベースの早期終了アプローチが、単一モデルのスケーリングと比較して優れた不確実性と計算のトレードオフを達成できることを示しています。
たとえば、カスケード接続された EfficientNet-B2 アンサンブルは、MAC 数が 30% 未満の単一の EfficientNet-B4 と同様のカバレッジを 5% のリスクで達成できます。
また、カスケード/アンサンブルは、モデルのスケールアップよりも OOD データの信頼性の高い改善をもたらすこともわかりました。
この作業のコードは、https://github.com/Guoxoug/window-early-exit で入手できます。

要約(オリジナル)

Deep Ensembles are a simple, reliable, and effective method of improving both the predictive performance and uncertainty estimates of deep learning approaches. However, they are widely criticised as being computationally expensive, due to the need to deploy multiple independent models. Recent work has challenged this view, showing that for predictive accuracy, ensembles can be more computationally efficient (at inference) than scaling single models within an architecture family. This is achieved by cascading ensemble members via an early-exit approach. In this work, we investigate extending these efficiency gains to tasks related to uncertainty estimation. As many such tasks, e.g. selective classification, are binary classification, our key novel insight is to only pass samples within a window close to the binary decision boundary to later cascade stages. Experiments on ImageNet-scale data across a number of network architectures and uncertainty tasks show that the proposed window-based early-exit approach is able to achieve a superior uncertainty-computation trade-off compared to scaling single models. For example, a cascaded EfficientNet-B2 ensemble is able to achieve similar coverage at 5% risk as a single EfficientNet-B4 with <30% the number of MACs. We also find that cascades/ensembles give more reliable improvements on OOD data vs scaling models up. Code for this work is available at: https://github.com/Guoxoug/window-early-exit.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google