An objective comparison of methods for augmented reality in laparoscopic liver resection by preoperative-to-intraoperative image fusion

要約

腹腔鏡下肝臓切除術の拡張現実は、外科医が腹腔鏡画像の上に腫瘍や肝臓内に埋め込まれた血管を投影することで位置を特定できるようにする視覚化モードです。
CT または MRI データから抽出された術前 3D モデルは、このプロセス中に術中の腹腔鏡画像に登録されます。
3D-2D 融合に関しては、ほとんどのアルゴリズムは登録をガイドするために解剖学的ランドマークを利用します。
これらのランドマークには、肝臓の下隆起、鎌状​​靱帯、閉塞輪郭が含まれます。
これらは通常、腹腔鏡画像と 3D モデルの両方で手作業でマークされますが、これには時間がかかり、経験のないユーザーが行うとエラーが発生する可能性があります。
したがって、拡張現実を手術室で効果的に使用できるように、このプロセスを自動化する必要があります。
我々は、医用画像処理とコンピュータ支援介入（MICCAI 2022）会議中に開催された、術前から術中の腹腔鏡下融合チャレンジ（P2ILF）について紹介します。このチャレンジでは、これらのランドマークを自動的に検出し、登録に使用する可能性を調査しています。
この課題は、1) 2D および 3D ランドマーク検出タスク、2) 3D-2D 登録タスクの 2 つのタスクに分割されました。
チームには、9 人の患者からの 167 枚の腹腔鏡画像と 9 つの術前 3D モデルで構成されるトレーニング データが、対応する 2D および 3D ランドマークの注釈とともに提供されました。
4 か国から合計 6 チームが参加し、提案された手法が 2 人の患者の 16 枚の画像と 2 つの術前 3D モデルで評価されました。
すべてのチームは、2D および 3D ランドマーク セグメンテーション タスクについては深層学習ベースの方法を提案し、登録タスクについては微分可能レンダリング ベースの方法を提案しました。
実験結果に基づいて、この分野の研究の現在の限界と将来の方向性を決定する 3 つの重要な仮説を提案します。

要約(オリジナル)

Augmented reality for laparoscopic liver resection is a visualisation mode that allows a surgeon to localise tumours and vessels embedded within the liver by projecting them on top of a laparoscopic image. Preoperative 3D models extracted from CT or MRI data are registered to the intraoperative laparoscopic images during this process. In terms of 3D-2D fusion, most of the algorithms make use of anatomical landmarks to guide registration. These landmarks include the liver’s inferior ridge, the falciform ligament, and the occluding contours. They are usually marked by hand in both the laparoscopic image and the 3D model, which is time-consuming and may contain errors if done by a non-experienced user. Therefore, there is a need to automate this process so that augmented reality can be used effectively in the operating room. We present the Preoperative-to-Intraoperative Laparoscopic Fusion Challenge (P2ILF), held during the Medical Imaging and Computer Assisted Interventions (MICCAI 2022) conference, which investigates the possibilities of detecting these landmarks automatically and using them in registration. The challenge was divided into two tasks: 1) A 2D and 3D landmark detection task and 2) a 3D-2D registration task. The teams were provided with training data consisting of 167 laparoscopic images and 9 preoperative 3D models from 9 patients, with the corresponding 2D and 3D landmark annotations. A total of 6 teams from 4 countries participated, whose proposed methods were evaluated on 16 images and two preoperative 3D models from two patients. All the teams proposed deep learning-based methods for the 2D and 3D landmark segmentation tasks and differentiable rendering-based methods for the registration task. Based on the experimental outcomes, we propose three key hypotheses that determine current limitations and future directions for research in this domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google