Robo3D: Towards Robust and Reliable 3D Perception against Corruptions

要約

タイトル: Robo3D: 信頼性と堅牢性のある3D認知の自然的破損に対する向上

要約:
– 3D認知システムの堅牢性は、環境やセンサーからの自然的破壊に対して重要であり、安全重要なアプリケーションにとって重要です。
– 既存の大規模な3D認知データセットは、緻密にクリーニングされたデータを含んでいます。しかし、このような構成は、展開時に認知モデルの信頼性を反映することができません。
– この研究では、Robo3Dを紹介し、実世界の環境で起こる自然的な損耗に対する外部分布シナリオでの3D検出器およびセグメンターの堅牢性を探る大幅なベンチマークの初めての網羅的ベンチマークを提供しています。
– 具体的には、敵対的な天候条件、外部の障害、および内部センサー障害から発生する8つの破壊タイプを考慮します。
– 標準的なベンチマークでは有望な結果が進歩的に達成されていますが、最先端の3D認知モデルは破壊に対して脆弱である危険があります。
– データ表現、拡張スキーム、およびトレーニング戦略の使用に関して主要な観察があります。
– より堅牢な認知を追求するために、密度に敏感であるトレーニングフレームワークと柔軟なボクセル化戦略を提供します。
– 私たちは、私たちのベンチマークとアプローチが、より堅牢で信頼性の高い3D認知モデルの設計につながることを期待しています。私たちの堅牢性ベンチマークスイートは公開されています。

要約(オリジナル)

The robustness of 3D perception systems under natural corruptions from environments and sensors is pivotal for safety-critical applications. Existing large-scale 3D perception datasets often contain data that are meticulously cleaned. Such configurations, however, cannot reflect the reliability of perception models during the deployment stage. In this work, we present Robo3D, the first comprehensive benchmark heading toward probing the robustness of 3D detectors and segmentors under out-of-distribution scenarios against natural corruptions that occur in real-world environments. Specifically, we consider eight corruption types stemming from adversarial weather conditions, external disturbances, and internal sensor failure. We uncover that, although promising results have been progressively achieved on standard benchmarks, state-of-the-art 3D perception models are at risk of being vulnerable to corruptions. We draw key observations on the use of data representations, augmentation schemes, and training strategies, that could severely affect the model’s performance. To pursue better robustness, we propose a density-insensitive training framework along with a simple flexible voxelization strategy to enhance the model resiliency. We hope our benchmark and approach could inspire future research in designing more robust and reliable 3D perception models. Our robustness benchmark suite is publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI