Shape Reconstruction from Thoracoscopic Images using Self-supervised Virtual Learning

要約

内視鏡カメラ画像からの臓器の術中形状再構成は、画像誘導手術にとって複雑でありながら不可欠な技術です。
単一視点の遮られた画像から形状全体を再構築する際の不確実性に対処するために、シミュレートされた画像と実際の画像の間で共通の潜在変数を持つ画像変換を使用して、形状再構築の生成仮想学習のフレームワークを提案します。
内視鏡画像と臓器形状の関係を学習するための十分な量のデータを用意することは困難であるため、統計的形状モデルから生成されたシミュレート画像を使用して自己教師付き仮想学習を実行します。
しかし、仮想画像と実際の画像のわずかな違いは、シミュレートされた画像が人間によって同等と見なされたとしても、推定性能を低下させる可能性があります。
この問題に対処するために、Variational Autoencoder を使用して、実際の画像とシミュレートされた画像を同一の合成画像に変換します。
この研究では、胸腔鏡画像から虚脱した肺の形状再構成を対象とし、仮想学習が実際の画像とシミュレートされた画像の類似性を改善できることを確認しました。
さらに、形状再構成誤差は 16.9% 改善できました。

要約(オリジナル)

Intraoperative shape reconstruction of organs from endoscopic camera images is a complex yet indispensable technique for image-guided surgery. To address the uncertainty in reconstructing entire shapes from single-viewpoint occluded images, we propose a framework for generative virtual learning of shape reconstruction using image translation with common latent variables between simulated and real images. As it is difficult to prepare sufficient amount of data to learn the relationship between endoscopic images and organ shapes, self-supervised virtual learning is performed using simulated images generated from statistical shape models. However, small differences between virtual and real images can degrade the estimation performance even if the simulated images are regarded as equivalent by humans. To address this issue, a Variational Autoencoder is used to convert real and simulated images into identical synthetic images. In this study, we targeted the shape reconstruction of collapsed lungs from thoracoscopic images and confirmed that virtual learning could improve the similarity between real and simulated images. Furthermore, shape reconstruction error could be improved by 16.9%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google