Robo3D: Towards Robust and Reliable 3D Perception against Corruptions

要約

タイトル：Robo3D：頑強で信頼性の高い3Dパーセプションに対する破壊に対するアプローチ

要約：

– 天候やセンサからの自然な破壊による3Dパーセプションシステムの堅牢性は、安全に関わるアプリケーションにとって重要です。
– 既存の大規模な3Dパーセプションデータセットには、手細工でクリーニングされたデータが含まれています。
– このような構成は、起案段階でパーセプションモデルの信頼性を反映することができません。
– この研究では、世界の実環境で起こる自然破壊に対して、3D検出器やセグメンタの強靱性を調査するための、最初の包括的なベンチマーク「Robo3D」を紹介しています。
– 具体的には、天候条件や外部障害、内部センサ故障から生じる8つの破壊のタイプを考慮しています。
– 標準ベンチマークで次々と有望な結果が得られてきたにもかかわらず、最先端の3Dパーセプションモデルは破壊に弱い可能性があります。
– データ表現、拡張スキーム、トレーニング戦略の使用に関する主要な観察結果を取り出しました。
– より強靱性を追求するために、密度に影響を受けないトレーニングフレームワークと柔軟なボクセル化戦略を提案しています。
– このベンチマークとアプローチが、将来の研究をインスピレーションすることを希望しています。我々の強靱性ベンチマークスイートは公開されています。

要約(オリジナル)

The robustness of 3D perception systems under natural corruptions from environments and sensors is pivotal for safety-critical applications. Existing large-scale 3D perception datasets often contain data that are meticulously cleaned. Such configurations, however, cannot reflect the reliability of perception models during the deployment stage. In this work, we present Robo3D, the first comprehensive benchmark heading toward probing the robustness of 3D detectors and segmentors under out-of-distribution scenarios against natural corruptions that occur in real-world environments. Specifically, we consider eight corruption types stemming from adversarial weather conditions, external disturbances, and internal sensor failure. We uncover that, although promising results have been progressively achieved on standard benchmarks, state-of-the-art 3D perception models are at risk of being vulnerable to corruptions. We draw key observations on the use of data representations, augmentation schemes, and training strategies, that could severely affect the model’s performance. To pursue better robustness, we propose a density-insensitive training framework along with a simple flexible voxelization strategy to enhance the model resiliency. We hope our benchmark and approach could inspire future research in designing more robust and reliable 3D perception models. Our robustness benchmark suite is publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI