Acquiring Submillimeter-Accurate Multi-Task Vision Datasets for Computer-Assisted Orthopedic Surgery

要約

コンピュータービジョンの進歩、特に光学画像ベースの3D再構成と特徴のマッチングで、マーカーレスの外科的ナビゲーションや手術のデジタル化などの用途を可能にします。
ただし、それらの開発は、3Dグラウンドトゥルースを備えた適切なデータセットの欠如によって妨げられています。
この作業では、3D再構成とオープン整形外科手術での特徴マッチングに合わせて調整された現実的で正確なex vivoデータセットを生成するアプローチを探ります。
視力ベースの3D再構成と手術に適したマッチング方法を開発するには、シーンの正確に登録されたグラウンドトラースメッシュのセットと正確に登録されたグラウンドトゥルースサーフェスメッシュが必要です。
3つのコアステップで構成されるフレームワークを提案し、各ステップの異なる方法を比較します。3Dスキャン、高解像度RGB画像のセットの視点のキャリブレーション、およびシーン登録の光学ベースの方法。
このフレームワークの各ステップを、実際の手術室の条件下で実施した豚脊椎を使用して、ex vivo脊柱側osis症の手術に関する評価を評価します。
3Dグラウンドトゥルースに関して、0.35 mmの平均3Dユークリッド誤差が達成されます。
提案された方法は、0.1 mmの空間分解能を持つサブミリメーターの正確な3Dグラウンドトゥルースと外科的画像をもたらします。
これにより、高精度アプリケーションの将来の外科データセットを取得するための扉が開かれます。

要約(オリジナル)

Advances in computer vision, particularly in optical image-based 3D reconstruction and feature matching, enable applications like marker-less surgical navigation and digitization of surgery. However, their development is hindered by a lack of suitable datasets with 3D ground truth. This work explores an approach to generating realistic and accurate ex vivo datasets tailored for 3D reconstruction and feature matching in open orthopedic surgery. A set of posed images and an accurately registered ground truth surface mesh of the scene are required to develop vision-based 3D reconstruction and matching methods suitable for surgery. We propose a framework consisting of three core steps and compare different methods for each step: 3D scanning, calibration of viewpoints for a set of high-resolution RGB images, and an optical-based method for scene registration. We evaluate each step of this framework on an ex vivo scoliosis surgery using a pig spine, conducted under real operating room conditions. A mean 3D Euclidean error of 0.35 mm is achieved with respect to the 3D ground truth. The proposed method results in submillimeter accurate 3D ground truths and surgical images with a spatial resolution of 0.1 mm. This opens the door to acquiring future surgical datasets for high-precision applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google