SENDD: Sparse Efficient Neural Depth and Deformation for Tissue Tracking

要約

タイトル：SENDD：スパース効率的ニューラル深度と変形による組織トラッキング

要約：

– ロボット支援外科手術の自動化と画像ガイダンスのために、変形可能なトラッキングとリアルタイムの3D組織運動推定は不可欠である。
– SENDDモデルは、2Dトラッキングの先行研究を拡張して、3D空間でのフロー推定を行う。SENDDは、キーポイントのスパースなグラフニューラルネットワークを使用して、深度と3Dフローを両方推定する。モデルのパラメータ数は50万未満である。
– 自然数を増やしたり減らしたりすることで、SENDDのコストは線形的にスケールし、1280個のクエリポイントに対して、NVIDIA RTX 4000で10fpsでポイントを追跡し、深度を推定することができる。
– SENDDは組織データセットで評価され、同等の2Dフローモデルと比較された。SENDDは、2Dフローにできないアプリケーションを可能にしながら、同等なパフォーマンスを発揮した。
– SENDDは、3Dモーション推定を必要とする多数のダウンストリームアプリケーションを可能にする。

要約(オリジナル)

Deformable tracking and real-time estimation of 3D tissue motion is essential to enable automation and image guidance applications in robotically assisted surgery. Our model, Sparse Efficient Neural Depth and Deformation (SENDD), extends prior 2D tracking work to estimate flow in 3D space. SENDD introduces novel contributions of learned detection, and sparse per-point depth and 3D flow estimation, all with less than half a million parameters. SENDD does this by using graph neural networks of sparse keypoint matches to estimate both depth and 3D flow. We quantify and benchmark SENDD on a comprehensively labelled tissue dataset, and compare it to an equivalent 2D flow model. SENDD performs comparably while enabling applications that 2D flow cannot. SENDD can track points and estimate depth at 10fps on an NVIDIA RTX 4000 for 1280 tracked (query) points and its cost scales linearly with an increasing/decreasing number of points. SENDD enables multiple downstream applications that require 3D motion estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI