Robotic Arm Platform for Multi-View Image Acquisition and 3D Reconstruction in Minimally Invasive Surgery

要約

低侵襲手術 (MIS) は、回復時間の短縮や患者の外傷の最小化などの大きな利点をもたらしますが、視認性とアクセスに課題があり、正確な 3D 再構成が手術の計画とナビゲーションにおける重要なツールとなっています。
この研究では、MIS 設定における効率的なマルチビュー画像取得と正確な 3D 再構成のためのロボット アーム プラットフォームを紹介します。
私たちは、腹腔鏡をロボットアームに適合させ、さまざまな照明条件（手術室と腹腔鏡）および軌道（球状と腹腔鏡）にわたっていくつかのヒツジ臓器の体外画像を撮影しました。
最近リリースされた学習ベースの特徴マッチャーを COLMAP と組み合わせて使用​​し、再構成を作成しました。
定量的評価のために、再構成は高精度レーザースキャンに対して評価されました。
私たちの結果は、現実的な MIS 照明と軌道の下では再構成が最も困難になる一方、パイプラインの多くのバージョンは平均 1.05 mm の二乗平均平方根誤差と 0.82 mm の面取り距離でサブミリメートルに近い精度を達成していることを示しています。
手術室の照明と球状の軌道を使用すると、最良の再構成結果が得られます。
当社のロボット プラットフォームは、MIS 環境での 3D 生成のための、制御された反復可能なマルチビュー データ収集のためのツールを提供します。これが、学習ベースのモデルをトレーニングするための新しいデータセットにつながることを期待しています。

要約(オリジナル)

Minimally invasive surgery (MIS) offers significant benefits such as reduced recovery time and minimised patient trauma, but poses challenges in visibility and access, making accurate 3D reconstruction a significant tool in surgical planning and navigation. This work introduces a robotic arm platform for efficient multi-view image acquisition and precise 3D reconstruction in MIS settings. We adapted a laparoscope to a robotic arm and captured ex-vivo images of several ovine organs across varying lighting conditions (operating room and laparoscopic) and trajectories (spherical and laparoscopic). We employed recently released learning-based feature matchers combined with COLMAP to produce our reconstructions. The reconstructions were evaluated against high-precision laser scans for quantitative evaluation. Our results show that whilst reconstructions suffer most under realistic MIS lighting and trajectory, many versions of our pipeline achieve close to sub-millimetre accuracy with an average of 1.05 mm Root Mean Squared Error and 0.82 mm Chamfer distance. Our best reconstruction results occur with operating room lighting and spherical trajectories. Our robotic platform provides a tool for controlled, repeatable multi-view data acquisition for 3D generation in MIS environments which we hope leads to new datasets for training learning-based models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google