Improving Predictive Performance and Calibration by Weight Fusion in Semantic Segmentation

要約

ネットワークの深いアンサンブルの予測を平均化することは、さまざまなベンチマークやKaggleの競争で、予測のパフォーマンスとキャリブレーションを改善するための人気のある効果的な方法です。
ただし、ディープアンサンブルの実行時間とトレーニングコストは、アンサンブルのサイズに比例して増加するため、多くのアプリケーションには適していません。
予測の代わりに平均アンサンブルの重みは、推論中のこの不利な点を回避し、通常、トレーニングコストを削減するためにモデルの中間チェックポイントに適用されます。
効果的ではありますが、重みの平均化の理解とパフォーマンスを改善した作業はごくわずかです。ここで、このアプローチを再検討し、単純な重み融合（WF）戦略が大幅に改善された予測パフォーマンスとキャリブレーションにつながることを示します。
ウェイトがウェイトスペース、関数スペース、および損失の中間を満たす必要がある前提条件について説明します。
さらに、重み間の機能空間を測定するための新しいテスト方法（オラクルテストと呼ばれる）を紹介します。
最先端のセグメンテーションCNNとトランスフォーマー、およびBDD100KやCityscapesなどの実世界のデータセット全体にわたるWF戦略の多様性を示します。
WFを同様のアプローチと比較し、予測パフォーマンスとキャリブレーションの観点から、分布内および分布外のデータに対する優位性を示します。

要約(オリジナル)

Averaging predictions of a deep ensemble of networks is apopular and effective method to improve predictive performance andcalibration in various benchmarks and Kaggle competitions. However, theruntime and training cost of deep ensembles grow linearly with the size ofthe ensemble, making them unsuitable for many applications. Averagingensemble weights instead of predictions circumvents this disadvantageduring inference and is typically applied to intermediate checkpoints ofa model to reduce training cost. Albeit effective, only few works haveimproved the understanding and the performance of weight averaging.Here, we revisit this approach and show that a simple weight fusion (WF)strategy can lead to a significantly improved predictive performance andcalibration. We describe what prerequisites the weights must meet interms of weight space, functional space and loss. Furthermore, we presenta new test method (called oracle test) to measure the functional spacebetween weights. We demonstrate the versatility of our WF strategy acrossstate of the art segmentation CNNs and Transformers as well as real worlddatasets such as BDD100K and Cityscapes. We compare WF with similarapproaches and show our superiority for in- and out-of-distribution datain terms of predictive performance and calibration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google