Self-Supervised Depth Estimation in Laparoscopic Image using 3D Geometric Consistency

要約

深度推定は、ロボット手術および腹腔鏡画像システムにおける画像誘導介入の重要なステップです。
ピクセルごとの深さのグラウンド トゥルースを腹腔鏡画像データで取得することは難しいため、教師あり深さ推定を外科的アプリケーションに適用することはほとんど不可能です。
別の方法として、同期されたステレオ画像ペアのみを使用して深度推定器をトレーニングするために、自己教師あり方法が導入されました。
ただし、最近の研究では 2D での左右の一貫性に焦点が当てられており、現実世界の座標のオブジェクトに関する貴重な固有の 3D 情報が無視されています。つまり、左右の 3D 幾何学的構造の一貫性が十分に活用されていません。
この制限を克服するために、単眼推論を維持しながら、ステレオ ペアに隠されている 3D 幾何学的構造情報を活用する自己教師あり深度推定器である M3Depth を提示します。
この方法はまた、ステレオ画像の少なくとも 1 つでは見えない境界領域の影響をマスキングによって除去し、重なり合う領域の左画像と右画像の間の対応を強化します。
集中的な実験により、私たちの方法は、公開データセットと新しく取得したデータセットの両方で以前の自己教師ありアプローチよりも大幅に優れていることが示され、さまざまなサンプルと腹腔鏡全体で優れた一般化が示されています。

要約(オリジナル)

Depth estimation is a crucial step for image-guided intervention in robotic surgery and laparoscopic imaging system. Since per-pixel depth ground truth is difficult to acquire for laparoscopic image data, it is rarely possible to apply supervised depth estimation to surgical applications. As an alternative, self-supervised methods have been introduced to train depth estimators using only synchronized stereo image pairs. However, most recent work focused on the left-right consistency in 2D and ignored valuable inherent 3D information on the object in real world coordinates, meaning that the left-right 3D geometric structural consistency is not fully utilized. To overcome this limitation, we present M3Depth, a self-supervised depth estimator to leverage 3D geometric structural information hidden in stereo pairs while keeping monocular inference. The method also removes the influence of border regions unseen in at least one of the stereo images via masking, to enhance the correspondences between left and right images in overlapping areas. Intensive experiments show that our method outperforms previous self-supervised approaches on both a public dataset and a newly acquired dataset by a large margin, indicating a good generalization across different samples and laparoscopes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google