Semantic Complete Scene Forecasting from a 4D Dynamic Point Cloud Sequence

要約

この研究では、セマンティック完全シーン予測 (SCSF) の新しい問題を研究します。
4D 動的点群シーケンスが与えられた場合、私たちの目標は、将来の次のフレームに対応する完全なシーンをその意味ラベルとともに予測することです。
この困難な問題に取り組むために、SCSFNet という新しいネットワークを通じて、将来の予測とセマンティック シーンの完成の間の相乗関係を適切にモデル化します。
SCSFNet は、ハイブリッド幾何学的表現を活用して、高解像度の完全なシーン予測を実現します。
マルチフレーム観察とシーンのダイナミクスの理解を活用して完了タスクを容易にするために、SCSFNet はアテンションベースのスキップ接続スキームを導入しています。
オクルージョンの変化をモデル化する必要性を軽減し、オクルージョンされた部分により重点を置くために、SCSFNet は補助可視グリッドを利用して予測タスクをガイドします。
SCSFNet の有効性を評価するために、私たちが提供した 2 つの大規模な屋内ベンチマークと屋外の SemanticKITTI ベンチマークを含むさまざまなベンチマークで実験を実施します。
広範な実験により、SCSFNet が複数のメトリクスでベースライン手法を大幅に上回るパフォーマンスを示すことが示され、また、将来の予測とセマンティック シーンの完成の間の相乗効果も証明されました。

要約(オリジナル)

We study a new problem of semantic complete scene forecasting (SCSF) in this work. Given a 4D dynamic point cloud sequence, our goal is to forecast the complete scene corresponding to the future next frame along with its semantic labels. To tackle this challenging problem, we properly model the synergetic relationship between future forecasting and semantic scene completion through a novel network named SCSFNet. SCSFNet leverages a hybrid geometric representation for high-resolution complete scene forecasting. To leverage multi-frame observation as well as the understanding of scene dynamics to ease the completion task, SCSFNet introduces an attention-based skip connection scheme. To ease the need to model occlusion variations and to better focus on the occluded part, SCSFNet utilizes auxiliary visibility grids to guide the forecasting task. To evaluate the effectiveness of SCSFNet, we conduct experiments on various benchmarks including two large-scale indoor benchmarks we contributed and the outdoor SemanticKITTI benchmark. Extensive experiments show SCSFNet outperforms baseline methods on multiple metrics by a large margin, and also prove the synergy between future forecasting and semantic scene completion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google