Improving Predictive Performance and Calibration by Weight Fusion in Semantic Segmentation

要約

ディープアンサンブルの予測値を平均化することは、様々なベンチマークやKaggleコンペティションにおいて、予測性能とキャリブレーションを改善するための一般的かつ効果的な方法である。しかし、ディープアンサンブルの実行時間と学習コストは、アンサンブルのサイズに比例して増加するため、多くのアプリケーションには適していません。予測値の代わりにアンサンブルの重みを平均化することで、推論の際にこのデメリットを回避し、一般的にモデルの中間チェックポイントに適用して学習コストを削減します。ここでは、このアプローチを再検討し、単純な重み融合(WF)戦略により、予測性能とキャリブレーションを大幅に改善できることを示す。我々は、重み空間、関数空間、損失に関して、重みが満たすべき前提条件について説明する。さらに、重み間の機能空間を測定するための新しいテスト方法（オラクルテストと呼ばれる）を提示する。我々は、BDD100KやCityscapesのような実世界のデータセットだけでなく、最先端のセグメンテーションCNNやTransformerを横断して、我々のWF戦略の汎用性を実証する。WFを類似のアプローチと比較し、予測性能とキャリブレーションの観点から、分布内および分布外のデータに対する我々の優位性を示す。

要約(オリジナル)

Averaging predictions of a deep ensemble of networks is apopular and effective method to improve predictive performance andcalibration in various benchmarks and Kaggle competitions. However, theruntime and training cost of deep ensembles grow linearly with the size ofthe ensemble, making them unsuitable for many applications. Averagingensemble weights instead of predictions circumvents this disadvantageduring inference and is typically applied to intermediate checkpoints ofa model to reduce training cost. Albeit effective, only few works haveimproved the understanding and the performance of weight averaging.Here, we revisit this approach and show that a simple weight fusion (WF)strategy can lead to a significantly improved predictive performance andcalibration. We describe what prerequisites the weights must meet interms of weight space, functional space and loss. Furthermore, we presenta new test method (called oracle test) to measure the functional spacebetween weights. We demonstrate the versatility of our WF strategy acrossstate of the art segmentation CNNs and Transformers as well as real worlddatasets such as BDD100K and Cityscapes. We compare WF with similarapproaches and show our superiority for in- and out-of-distribution datain terms of predictive performance and calibration.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL