SceneTracker: Long-term Scene Flow Estimation Network

要約

空間領域におけるシーンフロー推定と時間領域における3D物体追跡のコヒーレンス性の相補性を考慮し、本研究では、オンライン方式で同時にきめ細かく長期的な3Dモーションを捉えることができる包括的な新しいタスク、長期シーンフロー推定（LSFE）に取り組むことを目的とする。我々はSceneTrackerを導入する。SceneTrackerは学習ベースのLSFEネットワークであり、最適な軌跡を近似するために反復アプローチを採用する。また、動的にインデックスを作成し、同時に外観と奥行きの相関特徴を構築し、軌跡内および軌跡間の長距離接続を探索し利用するためにTransformerを採用する。詳細な実験により、SceneTrackerは3D空間オクルージョンと奥行きノイズ干渉を扱う優れた能力を示し、LSFEタスクのニーズに高度に適合している。最後に、最初の実世界評価データセットであるLSFDrivingを構築し、SceneTrackerの賞賛に値する汎化能力をさらに実証する。SceneTrackerのコードとデータはhttps://github.com/wwsource/SceneTracker。

要約(オリジナル)

Considering the complementarity of scene flow estimation in the spatial domain’s focusing capability and 3D object tracking in the temporal domain’s coherence, this study aims to address a comprehensive new task that can simultaneously capture fine-grained and long-term 3D motion in an online manner: long-term scene flow estimation (LSFE). We introduce SceneTracker, a novel learning-based LSFE network that adopts an iterative approach to approximate the optimal trajectory. Besides, it dynamically indexes and constructs appearance and depth correlation features simultaneously and employs the Transformer to explore and utilize long-range connections within and between trajectories. With detailed experiments, SceneTracker shows superior capabilities in handling 3D spatial occlusion and depth noise interference, highly tailored to the LSFE task’s needs. Finally, we build the first real-world evaluation dataset, LSFDriving, further substantiating SceneTracker’s commendable generalization capacity. The code and data for SceneTracker is available at https://github.com/wwsource/SceneTracker.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL