Prediction Accuracy & Reliability: Classification and Object Localization under Distribution Shift

要約

自然な分布シフトは、畳み込みニューラル ネットワーク (CNN) の知覚パフォーマンスの低下を引き起こします。
現実世界の交通データのこの包括的な分析では、1) 検出品質と信頼性推定の両方に対する自然分布シフトと気象増大の影響の調査、2) 分類と物体の位置特定の両方についてモデルのパフォーマンスの評価、3) 2 つの一般的な不確実性のベンチマークに取り組みます。
定量化方法 – アンサンブルおよびモンテカルロ (MC) ドロップアウトのさまざまなバリエーション – 自然および自然に近い分布シフトの下。
この目的のために、公開されている自動運転データセットから新しいデータセットが厳選されました。
ディストリビューション内 (ID) データは単一オブジェクトの切り抜きに基づいており、クラスと境界ボックスの両方の注釈が利用可能です。
6 つの分布シフト データセットは、悪天候シナリオ、シミュレートされた雨と霧、特殊なケース、分布外データをカバーします。
分布シフト下の CNN の詳細な分析により、タスクのパフォーマンスと信頼性推定の両方に対するさまざまなタイプのシフトの影響を量子化できます。ConvNeXt-Tiny は EfficientNet-B0 よりも堅牢です。
濃霧とは対照的に、大雨は局所化よりも分類を劣化させます。
MC-Dropout を選択したレイヤーに統合することは、タスクのパフォーマンスと信頼度の推定を向上させる可能性があるだけであり、これらのレイヤーの識別は分布シフトのタイプと考慮されるタスクに依存します。

要約(オリジナル)

Natural distribution shift causes a deterioration in the perception performance of convolutional neural networks (CNNs). This comprehensive analysis for real-world traffic data addresses: 1) investigating the effect of natural distribution shift and weather augmentations on both detection quality and confidence estimation, 2) evaluating model performance for both classification and object localization, and 3) benchmarking two common uncertainty quantification methods – Ensembles and different variants of Monte-Carlo (MC) Dropout – under natural and close-to-natural distribution shift. For this purpose, a novel dataset has been curated from publicly available autonomous driving datasets. The in-distribution (ID) data is based on cutouts of a single object, for which both class and bounding box annotations are available. The six distribution-shift datasets cover adverse weather scenarios, simulated rain and fog, corner cases, and out-of-distribution data. A granular analysis of CNNs under distribution shift allows to quantize the impact of different types of shifts on both, task performance and confidence estimation: ConvNeXt-Tiny is more robust than EfficientNet-B0; heavy rain degrades classification stronger than localization, contrary to heavy fog; integrating MC-Dropout into selected layers only has the potential to enhance task performance and confidence estimation, whereby the identification of these layers depends on the type of distribution shift and the considered task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google