PVO: Panoptic Visual Odometry

要約

我々は、シーンの動き、ジオメトリ、パノプティックセグメンテーション情報をより包括的にモデリングするために、PVOと呼ばれる新しいパノプティックビジュアルオドメトリフレームワークを提示する。PVOは、ビジュアルオドメトリ（VO）とビデオパノプティックセグメンテーション（VPS）を統一的にモデル化し、2つのタスクが互いに促進し合うことを可能にする。具体的には、VOモジュールにパノプティックアップデートモジュールを導入し、画像パノプティックセグメンテーションを操作します。このPanoptic-Enhanced VOモジュールは、最適化されたカメラポーズの重みを調整することで、カメラポーズ推定における動的物体の干渉をトリミングすることができます。一方、VO-Enhanced VPSモジュールは、VOモジュールから得られるカメラポーズ、奥行き、オプティカルフローなどの幾何情報を用いて、オンザフライで現フレームのパノプティックセグメンテーション結果を隣接フレームに融合し、セグメンテーション精度を向上させるものである。これら2つのモジュールは、再帰的な反復最適化によって互いに寄与し合う。広範な実験により、PVOは視覚オドメトリとビデオパノプティックセグメンテーションの両方のタスクにおいて、最先端の手法を凌駕することが実証されています。コードとデータはプロジェクトのウェブページで公開されています。\୧⃛(๑⃙⃘◡̈๑⃙⃘)\また、PVOは、視覚オドメトリとビデオパノラマセグメンテーションのタスクで、最新の手法に勝るとも劣らない性能を発揮します。

要約(オリジナル)

We present a novel panoptic visual odometry framework, termed PVO, to achieve a more comprehensive modeling of the scene’s motion, geometry, and panoptic segmentation information. PVO models visual odometry (VO) and video panoptic segmentation (VPS) in a unified view, enabling the two tasks to facilitate each other. Specifically, we introduce a panoptic update module into the VO module, which operates on the image panoptic segmentation. This Panoptic-Enhanced VO module can trim the interference of dynamic objects in the camera pose estimation by adjusting the weights of optimized camera poses. On the other hand, the VO-Enhanced VPS module improves the segmentation accuracy by fusing the panoptic segmentation result of the current frame on the fly to the adjacent frames, using geometric information such as camera pose, depth, and optical flow obtained from the VO module. These two modules contribute to each other through a recurrent iterative optimization. Extensive experiments demonstrate that PVO outperforms state-of-the-art methods in both visual odometry and video panoptic segmentation tasks. Code and data are available on the project webpage: \urlstyle{tt} \textcolor{url_color}{\url{https://zju3dv.github.io/pvo/}}.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL