OmniRe: Omni Urban Scene Reconstruction

要約

オンデバイスのログから高忠実度のダイナミックな都市シーンを効率的に再構築するための総合的なアプローチである OmniRe を紹介します。
ニューラル放射輝度フィールドまたはガウス スプラッティングを使用して運転シーケンスをモデリングする最近の方法は、挑戦的な動的シーンを再構築できる可能性を実証しましたが、歩行者やその他の車両以外の動的アクターを見落とすことが多く、動的都市シーン再構築のための完全なパイプラインを妨げています。
この目的を達成するために、私たちは、運転ログ内の多様な動的オブジェクトの正確な全長の再構築を可能にする、OmniRe という名前の運転シーン用の包括的な 3DGS フレームワークを提案します。
OmniRe は、ガウス表現に基づいて動的なニューラル シーン グラフを構築し、車両、歩行者、自転車などのさまざまな動的なアクターをモデル化する複数のローカル標準空間を構築します。
この機能は、既存の方法では実現できません。
OmniRe を使用すると、シーン内に存在するさまざまなオブジェクトを総合的に再構築でき、その後、すべてのアクターがリアルタイム (~60Hz) で参加して再構築されたシナリオのシミュレーションが可能になります。
Waymo データセットの広範な評価により、私たちのアプローチが量的および質的に従来の最先端の方法を大幅に上回っていることが示されています。
私たちは、私たちの活動が復興を推進する上での重大なギャップを埋めると信じています。

要約(オリジナル)

We introduce OmniRe, a holistic approach for efficiently reconstructing high-fidelity dynamic urban scenes from on-device logs. Recent methods for modeling driving sequences using neural radiance fields or Gaussian Splatting have demonstrated the potential of reconstructing challenging dynamic scenes, but often overlook pedestrians and other non-vehicle dynamic actors, hindering a complete pipeline for dynamic urban scene reconstruction. To that end, we propose a comprehensive 3DGS framework for driving scenes, named OmniRe, that allows for accurate, full-length reconstruction of diverse dynamic objects in a driving log. OmniRe builds dynamic neural scene graphs based on Gaussian representations and constructs multiple local canonical spaces that model various dynamic actors, including vehicles, pedestrians, and cyclists, among many others. This capability is unmatched by existing methods. OmniRe allows us to holistically reconstruct different objects present in the scene, subsequently enabling the simulation of reconstructed scenarios with all actors participating in real-time (~60Hz). Extensive evaluations on the Waymo dataset show that our approach outperforms prior state-of-the-art methods quantitatively and qualitatively by a large margin. We believe our work fills a critical gap in driving reconstruction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google