Transfer Your Perspective: Controllable 3D Generation from Any Viewpoint in a Driving Scene

要約

自動運転車は、自我中心の認識に依存して、感覚の制限に直面し、しばしば閉塞された遠くのオブジェクトを検出できません。
共同自律運転（CAV）は有望な方向のように思えますが、開発のためのデータの収集は自明ではありません。
同時に、複数のセンサー装備エージェントを現実世界の運転シーンに配置する必要があります！
そのため、既存のデータセットは場所やエージェントで制限されています。
救助に新しい代理を紹介します。これは、実際のサンプルである運転シーンのさまざまな視点から現実的な認識を生成することです。これは、エゴカーの感覚データです。
この代理には大きな可能性があります。キャブの開発を拡大するために、任意のエゴカーデータセットを共同運転の駆動に変える可能性があります。
シミュレートされた共同データと実際のエゴカーデータの組み合わせを使用して、最初のソリューションを提示します。
私たちの方法は、あなたの視点（typ）を転送し、出力サンプルが現実的であるだけでなく、特定のエゴカーデータを使用してセマンティクスとレイアウトの両方で一貫している条件付き拡散モデルを学習します。
経験的結果は、CAV設定での援助におけるTypの有効性を示しています。
特に、Typを使用すると、現実世界の共同データをほとんどまたはまったく使用して、早期および後期の融合などのコラボレーション認識アルゴリズムを（事前に）訓練することができ、下流のCAVアプリケーションを大幅に促進します。

要約(オリジナル)

Self-driving cars relying solely on ego-centric perception face limitations in sensing, often failing to detect occluded, faraway objects. Collaborative autonomous driving (CAV) seems like a promising direction, but collecting data for development is non-trivial. It requires placing multiple sensor-equipped agents in a real-world driving scene, simultaneously! As such, existing datasets are limited in locations and agents. We introduce a novel surrogate to the rescue, which is to generate realistic perception from different viewpoints in a driving scene, conditioned on a real-world sample – the ego-car’s sensory data. This surrogate has huge potential: it could potentially turn any ego-car dataset into a collaborative driving one to scale up the development of CAV. We present the very first solution, using a combination of simulated collaborative data and real ego-car data. Our method, Transfer Your Perspective (TYP), learns a conditioned diffusion model whose output samples are not only realistic but also consistent in both semantics and layouts with the given ego-car data. Empirical results demonstrate TYP’s effectiveness in aiding in a CAV setting. In particular, TYP enables us to (pre-)train collaborative perception algorithms like early and late fusion with little or no real-world collaborative data, greatly facilitating downstream CAV applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google