MultiViPerFrOG: A Globally Optimized Multi-Viewpoint Perception Framework for Camera Motion and Tissue Deformation

要約

移動深度カメラによって捕捉された情報から変形可能な環境の 3D 形状を再構成することは、手術と非常に関連性があります。
根本的な課題は、完全に変形可能なシーンでカメラの動きと組織の変形を同時に推定することは、特に単一の任意に移動する視点からは不適切な問題であるという事実です。
現在のソリューションは臓器固有のものであることが多く、大きな変形に対処するために必要な堅牢性に欠けています。
ここでは、低レベルの認識モジュールの出力 (データの関連付け、深度、および相対的なシーン フロー) を運動学およびシーン モデリングの事前分布と柔軟に統合して、複数のカメラの動きと絶対的なシーン フローを共同推定できる、多視点のグローバル最適化フレームワークを提案します。
。
シミュレートされたノイズを含むデータを使用して、収束を一意の解決策にうまく制限する 3 つの実際的な例を示します。
全体として、私たちの方法はノイズの多い入力測定の組み合わせに対して堅牢性を示しており、数ミリ秒で数百のポイントを処理できます。
MultiViPerFrOG は、高度な手術シーン表現を可能にし、将来のコンピューター支援手術技術の開発を促進する、時空間エンコーディングのための学習不要の一般化された足場を構築します。

要約(オリジナル)

Reconstructing the 3D shape of a deformable environment from the information captured by a moving depth camera is highly relevant to surgery. The underlying challenge is the fact that simultaneously estimating camera motion and tissue deformation in a fully deformable scene is an ill-posed problem, especially from a single arbitrarily moving viewpoint. Current solutions are often organ-specific and lack the robustness required to handle large deformations. Here we propose a multi-viewpoint global optimization framework that can flexibly integrate the output of low-level perception modules (data association, depth, and relative scene flow) with kinematic and scene-modeling priors to jointly estimate multiple camera motions and absolute scene flow. We use simulated noisy data to show three practical examples that successfully constrain the convergence to a unique solution. Overall, our method shows robustness to combined noisy input measures and can process hundreds of points in a few milliseconds. MultiViPerFrOG builds a generalized learning-free scaffolding for spatio-temporal encoding that can unlock advanced surgical scene representations and will facilitate the development of the computer-assisted-surgery technologies of the future.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google