The BRAVO Semantic Segmentation Challenge Results in UNCV2024

要約

私たちは、現実的な摂動や未知の配信外 (OOD) シナリオの下でセマンティック セグメンテーション モデルの信頼性をベンチマークするための統一 BRAVO チャレンジを提案します。
信頼性の 2 つのカテゴリを定義します。(1) 意味論的な信頼性。これは、さまざまな摂動にさらされたときのモデルの精度と校正を反映します。
(2) OOD の信頼性。トレーニング中に不明なオブジェクト クラスを検出するモデルの能力を測定します。
この課題には、著名な研究機関を代表する国際チームから 100 近い応募が集まりました。
この結果は、堅牢で信頼性の高いセマンティック セグメンテーション モデルの開発における大規模な事前トレーニングと最小限のアーキテクチャ設計の重要性について興味深い洞察を明らかにしました。

要約(オリジナル)

We propose the unified BRAVO challenge to benchmark the reliability of semantic segmentation models under realistic perturbations and unknown out-of-distribution (OOD) scenarios. We define two categories of reliability: (1) semantic reliability, which reflects the model’s accuracy and calibration when exposed to various perturbations; and (2) OOD reliability, which measures the model’s ability to detect object classes that are unknown during training. The challenge attracted nearly 100 submissions from international teams representing notable research institutions. The results reveal interesting insights into the importance of large-scale pre-training and minimal architectural design in developing robust and reliable semantic segmentation models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google