ReSimAD: Zero-Shot 3D Domain Transfer for Autonomous Driving with Source Reconstruction and Target Simulation

要約

自動運転 (AD) では、センサーの種類の変更や地理的状況の変化などのドメインの変化が一般的ですが、以前のドメインの知識に依存する AD モデルを追加コストなしで新しいドメインに直接展開することはほとんどできないため、これが課題となっています。
この論文では、Reconstruction-Simulation-Perception (ReSimAD) スキームを提案することにより、ドメイン シフトを緩和する新しい視点とアプローチを提供します。
具体的には、暗黙的再構成プロセスは以前の古いドメインからの知識に基づいており、ドメイン関連の知識をドメイン不変表現、\textit{e.g.}、3D シーンレベルのメッシュに変換することを目的としています。
さらに、複数の新しいドメインの点群シミュレーション プロセスは、ターゲット ドメインのようなシミュレーション サンプルを取得できる上記の再構成された 3D メッシュに基づいて条件付けされるため、後続の認識プロセスのための新しいドメイン データの収集と注釈付けのコストが削減されます。
。
実験では、Waymo-to-KITTI、Waymo-to-nuScenes、Waymo-to-ONCE、\textit{etc} などのさまざまなクロスドメイン状況を考慮し、\textbf{zero-shot} ターゲットドメインの認識を検証します。
ReSimADを使用します。
結果は、私たちの方法がドメイン汎化能力を高めるのに有益であり、3D 事前トレーニングにも有望であることを示しています。

要約(オリジナル)

Domain shifts such as sensor type changes and geographical situation variations are prevalent in Autonomous Driving (AD), which poses a challenge since AD model relying on the previous-domain knowledge can be hardly directly deployed to a new domain without additional costs. In this paper, we provide a new perspective and approach of alleviating the domain shifts, by proposing a Reconstruction-Simulation-Perception (ReSimAD) scheme. Specifically, the implicit reconstruction process is based on the knowledge from the previous old domain, aiming to convert the domain-related knowledge into domain-invariant representations, \textit{e.g.}, 3D scene-level meshes. Besides, the point clouds simulation process of multiple new domains is conditioned on the above reconstructed 3D meshes, where the target-domain-like simulation samples can be obtained, thus reducing the cost of collecting and annotating new-domain data for the subsequent perception process. For experiments, we consider different cross-domain situations such as Waymo-to-KITTI, Waymo-to-nuScenes, Waymo-to-ONCE, \textit{etc}, to verify the \textbf{zero-shot} target-domain perception using ReSimAD. Results demonstrate that our method is beneficial to boost the domain generalization ability, even promising for 3D pre-training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google