Multi-Body Neural Scene Flow

要約

ニューラル事前分布として座標ネットワークを使用したシーン フローのテスト時の最適化は、そのシンプルさ、データセットの偏りのなさ、最先端のパフォーマンスにより人気を集めています。
ただし、座標ネットワークは空間的に滑らかになるようにシーン フロー予測を暗黙的に正規化することで一般的な動きを捕捉しますが、ニューラル プリアはそれ自体では実世界のデータに存在する基礎となる多体剛体の動きを識別できないことがわかります。
これに対処するために、以前の研究で行われたように、各剛体の $SE(3)$ パラメータを制約するという面倒で脆弱な戦略を使用せずに、マルチボディの剛体が達成できることを示します。
これは、シーン フローの最適化を正規化し、剛体のフロー予測におけるアイソメトリを促進することによって実現されます。
この戦略により、連続的な流れ場を維持しながらシーン フローのマルチボディの剛性が可能になるため、一連の点群にわたる高密度で長期的なシーン フローの統合が可能になります。
私たちは現実世界のデータセットで広範な実験を実施し、私たちのアプローチが 3D シーン フローと長期的な点ごとの 4D 軌道予測において最先端の手法を上回るパフォーマンスを示しています。
コードは https://github.com/kavisha725/MBNSF から入手できます。

要約(オリジナル)

The test-time optimization of scene flow – using a coordinate network as a neural prior – has gained popularity due to its simplicity, lack of dataset bias, and state-of-the-art performance. We observe, however, that although coordinate networks capture general motions by implicitly regularizing the scene flow predictions to be spatially smooth, the neural prior by itself is unable to identify the underlying multi-body rigid motions present in real-world data. To address this, we show that multi-body rigidity can be achieved without the cumbersome and brittle strategy of constraining the $SE(3)$ parameters of each rigid body as done in previous works. This is achieved by regularizing the scene flow optimization to encourage isometry in flow predictions for rigid bodies. This strategy enables multi-body rigidity in scene flow while maintaining a continuous flow field, hence allowing dense long-term scene flow integration across a sequence of point clouds. We conduct extensive experiments on real-world datasets and demonstrate that our approach outperforms the state-of-the-art in 3D scene flow and long-term point-wise 4D trajectory prediction. The code is available at: https://github.com/kavisha725/MBNSF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google