Label-Efficient Data Augmentation with Video Diffusion Models for Guidewire Segmentation in Cardiac Fluoroscopy

要約

インターベンショナル心臓透視ビデオにおけるガイドワイヤーの正確なセグメンテーションは、コンピューター支援ナビゲーション タスクにとって非常に重要です。
深層学習手法はワイヤ セグメンテーションにおける高い精度と堅牢性を実証していますが、一般化のためには大量の注釈付きデータセットが必要であり、モデルのパフォーマンスを向上させるためには広範なラベル付きデータの必要性が強調されています。
この課題に対処するために、私たちは、ラベル付き透視ビデオの大規模なコレクションを生成し、ワイヤー セグメンテーション ネットワークのトレーニング データを強化する、セグメンテーション ガイド付きフレーム一貫性ビデオ拡散モデル (SF-VD) を提案します。
SF-VD は、シーンの分布とモーションの分布を個別にモデル化することで、限定された注釈付きのビデオを活用します。
まず、指定された入力マスクに従って配置されたワイヤーを使用して 2D 透視画像を生成することでシーン分布をサンプリングし、次に後続のフレームを段階的に生成することで動きの分布をサンプリングし、フレーム一貫性戦略を通じてフレーム間のコヒーレンスを確保します。
セグメンテーションに基づくメカニズムにより、ワイヤーのコントラストを調整することでプロセスをさらに洗練し、合成画像の多様な可視性を確保します。
透視データセットの評価により、生成されたビデオの優れた品質が確認され、ガイドワイヤーのセグメンテーションが大幅に改善されたことがわかります。

要約(オリジナル)

The accurate segmentation of guidewires in interventional cardiac fluoroscopy videos is crucial for computer-aided navigation tasks. Although deep learning methods have demonstrated high accuracy and robustness in wire segmentation, they require substantial annotated datasets for generalizability, underscoring the need for extensive labeled data to enhance model performance. To address this challenge, we propose the Segmentation-guided Frame-consistency Video Diffusion Model (SF-VD) to generate large collections of labeled fluoroscopy videos, augmenting the training data for wire segmentation networks. SF-VD leverages videos with limited annotations by independently modeling scene distribution and motion distribution. It first samples the scene distribution by generating 2D fluoroscopy images with wires positioned according to a specified input mask, and then samples the motion distribution by progressively generating subsequent frames, ensuring frame-to-frame coherence through a frame-consistency strategy. A segmentation-guided mechanism further refines the process by adjusting wire contrast, ensuring a diverse range of visibility in the synthesized image. Evaluation on a fluoroscopy dataset confirms the superior quality of the generated videos and shows significant improvements in guidewire segmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google