Learning Feature Descriptors for Pre- and Intra-operative Point Cloud Matching for Laparoscopic Liver Registration

要約

目的】腹腔鏡下肝臓手術（LLS）において，腹腔鏡映像から再構成された術中部分表面に術前モデルを3次元登録することにより，術中シーンに術前情報を重畳させることができる．このタスクを支援するために、我々の知る限り、腹腔鏡下肝臓レジストレーションに使用することが検討されていない、学習ベースの特徴記述子の使用を検討する。さらに、学習ベースの記述子の使用を訓練し、評価するためのデータセットが存在しない。 方法我々は，16個の術前モデルと術中3次元表面のシミュレーションからなるLiverMatchデータセットを提示する．また，このタスクのために設計されたLiverMatchネットワークを提案し，点ごとの特徴記述子，視認性スコア，およびマッチング点を出力する． 結果提案するLiverMatchネットワークと，LiverMatchに最も近いネットワーク，および，ヒストグラムベースの3次元記述子を，LiverMatchデータセットのテスト分割（未見の術前モデル2つと術中表面1400点を含む）で比較した．その結果、我々のLiverMatchネットワークは、他の2つの方法よりも正確で密なマッチングを予測でき、RANSAC-ICPベースのレジストレーションアルゴリズムとシームレスに統合して、正確な初期アライメントを達成できることが示唆された。 結論LLRにおける学習ベースの特徴記述子の使用は、正確な初期剛体アライメントを達成するのに役立ち、ひいてはその後の非剛体レジストレーションの初期化として機能するため、有望である。データセットとコードは、採用され次第公開する予定です。

要約(オリジナル)

Purpose: In laparoscopic liver surgery (LLS), pre-operative information can be overlaid onto the intra-operative scene by registering a 3D pre-operative model to the intra-operative partial surface reconstructed from the laparoscopic video. To assist with this task, we explore the use of learning-based feature descriptors, which, to our best knowledge, have not been explored for use in laparoscopic liver registration. Furthermore, a dataset to train and evaluate the use of learning-based descriptors does not exist. Methods: We present the LiverMatch dataset consisting of 16 preoperative models and their simulated intra-operative 3D surfaces. We also propose the LiverMatch network designed for this task, which outputs per-point feature descriptors, visibility scores, and matched points. Results: We compare the proposed LiverMatch network with anetwork closest to LiverMatch, and a histogram-based 3D descriptor on the testing split of the LiverMatch dataset, which includes two unseen pre-operative models and 1400 intra-operative surfaces. Results suggest that our LiverMatch network can predict more accurate and dense matches than the other two methods and can be seamlessly integrated with a RANSAC-ICP-based registration algorithm to achieve an accurate initial alignment. Conclusion: The use of learning-based feature descriptors in LLR is promising, as it can help achieve an accurate initial rigid alignment, which, in turn, serves as an initialization for subsequent non-rigid registration. We will release the dataset and code upon acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL