From Real Artifacts to Virtual Reference: A Robust Framework for Translating Endoscopic Images

要約

さまざまなモダリティ間の分布を橋渡しするドメイン適応は、マルチモーダル医用画像解析において重要な役割を果たします。
内視鏡画像処理では、術前データと術中画像処理を組み合わせることが、手術の計画とナビゲーションに重要です。
しかし、既存のドメイン適応方法は、生体内アーチファクトによって引き起こされる分布シフトによって妨げられており、術中ガイダンス中の姿勢推定のために、ノイズが多くアーチファクトが豊富な患者の内視鏡ビデオを、術前の断層撮影データから再構成されたきれいな仮想画像と位置合わせするための堅牢な技術が必要です。
この文書では、アーティファクトに強い画像変換方法と、この目的に関連するベンチマークを紹介します。
この方法には、新しい「ローカル-グローバル」変換フレームワークとノイズ耐性のある特徴抽出戦略が組み込まれています。
前者の場合、画像変換プロセスが、特徴ノイズ除去のためのローカル ステップと、グローバル スタイル転送のためのグローバル ステップに分離されます。
特徴抽出については、ドメイン間で堅牢な対応を確立するためにノイズに強い特徴を抽出できる、新しい対照学習戦略が提案されています。
公的および社内の臨床データセットの両方で詳細な検証が実施され、現在の最先端のものと比較してパフォーマンスが大幅に向上していることが実証されています。

要約(オリジナル)

Domain adaptation, which bridges the distributions across different modalities, plays a crucial role in multimodal medical image analysis. In endoscopic imaging, combining pre-operative data with intra-operative imaging is important for surgical planning and navigation. However, existing domain adaptation methods are hampered by distribution shift caused by in vivo artifacts, necessitating robust techniques for aligning noisy and artifact abundant patient endoscopic videos with clean virtual images reconstructed from pre-operative tomographic data for pose estimation during intraoperative guidance. This paper presents an artifact-resilient image translation method and an associated benchmark for this purpose. The method incorporates a novel “local-global” translation framework and a noise-resilient feature extraction strategy. For the former, it decouples the image translation process into a local step for feature denoising, and a global step for global style transfer. For feature extraction, a new contrastive learning strategy is proposed, which can extract noise-resilient features for establishing robust correspondence across domains. Detailed validation on both public and in-house clinical datasets has been conducted, demonstrating significantly improved performance compared to the current state-of-the-art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google