Beyond Confidence: Adaptive Abstention in Dual-Threshold Conformal Prediction for Autonomous System Perception

要約

安全性の高い認識システムには、信頼できる不確実性の定量化と、さまざまな運用条件下で安全性を維持するための原則的な棄権メカニズムの両方が必要です。
統計的に保証された不確実性の推定値を提供しながら、リスクの高いシナリオで選択的な予測を可能にする新しいデュアル閾値立体化フレームワークを提示します。
私たちのアプローチは、ROC分析を通じて最適化された棄権のしきい値と有効な予測セットを確保するコンフォーマルしきい値を一意に組み合わせて、信頼できない予測を特定しながら、分布のないカバレッジ保証（> = 1 -Alpha）を提供します。
CIFAR-100、ImagENET1K、およびModelNet40データセットの包括的な評価を通じて、さまざまな環境摂動の下でカメラとライダーモダリティ全体で優れた堅牢性を示します。
このフレームワークは、環境の重大度が増加するにつれて、高いカバレッジ（> 90.0％）を維持し、適応棄権（13.5％から63.4％+/- 0.5）を維持しながら、厳しい条件下で例外的な検出性能（AUC：0.993〜0.995）を達成します。
Lidarベースの認識では、私たちのアプローチは特に強力なパフォーマンスを示し、堅牢なカバレッジ（> 84.5％）を維持しながら、信頼できない予測を適切に控えています。
特に、このフレームワークは、検出性能（AUC：0.995 +/- 0.001）で、重い摂動の下で顕著な安定性を示しています。
私たちの統一されたアプローチは、理論的保証と実用的な展開ニーズの間のギャップを橋渡しし、実際の条件に挑戦して動作する安全性が批判的な自律システムに堅牢なソリューションを提供します。

要約(オリジナル)

Safety-critical perception systems require both reliable uncertainty quantification and principled abstention mechanisms to maintain safety under diverse operational conditions. We present a novel dual-threshold conformalization framework that provides statistically-guaranteed uncertainty estimates while enabling selective prediction in high-risk scenarios. Our approach uniquely combines a conformal threshold ensuring valid prediction sets with an abstention threshold optimized through ROC analysis, providing distribution-free coverage guarantees (>= 1 – alpha) while identifying unreliable predictions. Through comprehensive evaluation on CIFAR-100, ImageNet1K, and ModelNet40 datasets, we demonstrate superior robustness across camera and LiDAR modalities under varying environmental perturbations. The framework achieves exceptional detection performance (AUC: 0.993 to 0.995) under severe conditions while maintaining high coverage (>90.0%) and enabling adaptive abstention (13.5% to 63.4% +/- 0.5) as environmental severity increases. For LiDAR-based perception, our approach demonstrates particularly strong performance, maintaining robust coverage (>84.5%) while appropriately abstaining from unreliable predictions. Notably, the framework shows remarkable stability under heavy perturbations, with detection performance (AUC: 0.995 +/- 0.001) significantly outperforming existing methods across all modalities. Our unified approach bridges the gap between theoretical guarantees and practical deployment needs, offering a robust solution for safety-critical autonomous systems operating in challenging real-world conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google