MonoPCC: Photometric-invariant Cycle Constraint for Monocular Depth Estimation of Endoscopic Images

要約

測光制約は自己監視型単眼深度推定に不可欠です。
これには、推定された深度とポーズを使用してソース イメージをターゲット ビューにワープし、ワープされたイメージとターゲット イメージの差を最小限に抑えることが含まれます。
ただし、内視鏡に組み込まれた光は大幅な明るさの変動を引き起こすため、測光制約の信頼性が低くなります。
これまでの取り組みでは、画像の明るさを調整する追加のモデルに依存してこの問題を軽減するだけでした。
この論文では、測光上の制約をサイクル形式に再構成することで、明るさの不一致に根本的に対処する MonoPCC を提案します。
MonoPCC は、ソース イメージをワープするだけでなく、ターゲットからソースへ、そしてターゲットに戻るという 2 つの逆向きの前後方向のワーピング パスで構成される閉ループを構築します。
したがって、ターゲット画像は最終的に、それ自体からサイクルワープされた画像を受け取り、当然、制約は明るさの変化に対して不変になります。
さらに、MonoPCC はソース画像の位相周波数を中間ワープ画像に移植して構造の損失を回避し、また、指数移動平均 (EMA) 戦略を介してトレーニングを安定させて、順方向ワーピングの頻繁な変更を回避します。
4 つの内視鏡データセットに関する包括的かつ広範な実験結果は、私たちが提案する MonoPCC が明るさの不一致に対して優れた堅牢性を示し、絶対相対誤差を少なくとも 7.27%、9.38%、9.90% 削減することで他の最先端技術を超えていることを示しています。
それぞれ%と3.17%。

要約(オリジナル)

Photometric constraint is indispensable for self-supervised monocular depth estimation. It involves warping a source image onto a target view using estimated depth&pose, and then minimizing the difference between the warped and target images. However, the endoscopic built-in light causes significant brightness fluctuations, and thus makes the photometric constraint unreliable. Previous efforts only mitigate this relying on extra models to calibrate image brightness. In this paper, we propose MonoPCC to address the brightness inconsistency radically by reshaping the photometric constraint into a cycle form. Instead of only warping the source image, MonoPCC constructs a closed loop consisting of two opposite forward-backward warping paths: from target to source and then back to target. Thus, the target image finally receives an image cycle-warped from itself, which naturally makes the constraint invariant to brightness changes. Moreover, MonoPCC transplants the source image’s phase-frequency into the intermediate warped image to avoid structure lost, and also stabilizes the training via an exponential moving average (EMA) strategy to avoid frequent changes in the forward warping. The comprehensive and extensive experimental results on four endoscopic datasets demonstrate that our proposed MonoPCC shows a great robustness to the brightness inconsistency, and exceeds other state-of-the-arts by reducing the absolute relative error by at least 7.27%, 9.38%, 9.90% and 3.17%, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google