SHIFT3D: Synthesizing Hard Inputs For Tricking 3D Detectors

要約

構造的にはもっともらしいが、3D オブジェクト検出器にとっては困難な 3D 形状を生成するための微分可能なパイプラインである SHIFT3D を紹介します。
自動運転などの安全性が重要なアプリケーションでは、このような新しい挑戦的なオブジェクトを発見することで、3D 検出器の未知の脆弱性についての洞察が得られる可能性があります。
符号付き距離関数 (SDF) でオブジェクトを表すことにより、勾配エラー信号により 3D オブジェクトの形状や姿勢を滑らかに変形させ、下流の 3D 検出器を混乱させることができることを示します。
重要なのは、SHIFT3D によって生成されたオブジェクトはベースライン オブジェクトとは物理的に異なりますが、意味的に認識可能な形状を保持していることです。
私たちのアプローチは、最新の 3D 物体検出器に解釈可能な故障モードを提供し、3D 認識システム内の潜在的な安全リスクを、重大な故障になる前に事前に発見するのに役立ちます。

要約(オリジナル)

We present SHIFT3D, a differentiable pipeline for generating 3D shapes that are structurally plausible yet challenging to 3D object detectors. In safety-critical applications like autonomous driving, discovering such novel challenging objects can offer insight into unknown vulnerabilities of 3D detectors. By representing objects with a signed distanced function (SDF), we show that gradient error signals allow us to smoothly deform the shape or pose of a 3D object in order to confuse a downstream 3D detector. Importantly, the objects generated by SHIFT3D physically differ from the baseline object yet retain a semantically recognizable shape. Our approach provides interpretable failure modes for modern 3D object detectors, and can aid in preemptive discovery of potential safety risks within 3D perception systems before these risks become critical failures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google