Packed-Ensembles for Efficient Uncertainty Estimation

要約

ディープ アンサンブル (DE) は、精度、キャリブレーション、不確実性の推定、分布外検出などの主要なメトリックで優れたパフォーマンスを達成するための優れたアプローチです。
ただし、現実世界のシステムのハードウェアの制限により、小規模なアンサンブルと低容量のネットワークに制約され、パフォーマンスとプロパティが大幅に低下します。
パックド アンサンブル (PE) を導入します。これは、エンコーディング スペースの次元を慎重に調整することにより、軽量の構造化アンサンブルを設計およびトレーニングするための戦略です。
グループ化された畳み込みを活用して、アンサンブルを単一の共有バックボーンとフォワード パスに並列化し、トレーニングと推論の速度を向上させます。
PE は、標準的なニューラル ネットワークのメモリ制限内で動作するように設計されています。
私たちの広範な研究は、PE が多様性などの DE の特性を正確に保持し、精度、キャリブレーション、分布外検出、および分布シフトに対するロバスト性の点で同等に機能することを示しています。
コードは https://github.com/ENSTA-U2IS/torch-uncertainty で入手できます。

要約(オリジナル)

Deep Ensembles (DE) are a prominent approach for achieving excellent performance on key metrics such as accuracy, calibration, uncertainty estimation, and out-of-distribution detection. However, hardware limitations of real-world systems constrain to smaller ensembles and lower-capacity networks, significantly deteriorating their performance and properties. We introduce Packed-Ensembles (PE), a strategy to design and train lightweight structured ensembles by carefully modulating the dimension of their encoding space. We leverage grouped convolutions to parallelize the ensemble into a single shared backbone and forward pass to improve training and inference speeds. PE is designed to operate within the memory limits of a standard neural network. Our extensive research indicates that PE accurately preserves the properties of DE, such as diversity, and performs equally well in terms of accuracy, calibration, out-of-distribution detection, and robustness to distribution shift. We make our code available at https://github.com/ENSTA-U2IS/torch-uncertainty.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google