Weakly-supervised High-fidelity Ultrasound Video Synthesis with Feature Decoupling

要約

超音波診断（US）は、リアルタイムイメージング、無放射線、携帯性などの利点から広く使用されている。臨床現場では、動的な解剖学的情報を得るために、単一の画像ではなく、USシーケンスに依存した解析と診断がしばしば行われます。これは、患者からの十分なビデオを用いた練習が臨床的に実用的でないため、初心者が習得するのは困難である。本論文では、高忠実度のUSビデオを合成するための新しいフレームワークを提案する。具体的には、与えられた走行映像の動きに基づいて、ソースコンテンツ画像をアニメーション化することにより、合成映像を生成する。我々のハイライトは3点である。まず、自己教師付き学習と完全教師付き学習の利点を活かし、提案システムはキーポイント検出のために弱教師付きで学習させる。これらのキーポイントは、米国ビデオにおける複雑で高ダイナミックな動きを処理するための重要な情報を提供します。第二に、コンテンツ学習とテクスチャ学習をデュアルデコーダを用いて分離し、モデル学習の困難さを効果的に軽減する。最後に、生成された映像の鮮明度をさらに向上させ、実映像と合成映像の間のギャップを縮めるために、GAN損失を用いた敵対的学習ストラテジーを採用する。我々は、動的な動きが多い大規模な骨盤データセットで本手法を検証する。また、広範な評価指標とユーザスタディにより、提案手法の有効性を証明する。

要約(オリジナル)

Ultrasound (US) is widely used for its advantages of real-time imaging, radiation-free and portability. In clinical practice, analysis and diagnosis often rely on US sequences rather than a single image to obtain dynamic anatomical information. This is challenging for novices to learn because practicing with adequate videos from patients is clinically unpractical. In this paper, we propose a novel framework to synthesize high-fidelity US videos. Specifically, the synthesis videos are generated by animating source content images based on the motion of given driving videos. Our highlights are three-fold. First, leveraging the advantages of self- and fully-supervised learning, our proposed system is trained in weakly-supervised manner for keypoint detection. These keypoints then provide vital information for handling complex high dynamic motions in US videos. Second, we decouple content and texture learning using the dual decoders to effectively reduce the model learning difficulty. Last, we adopt the adversarial training strategy with GAN losses for further improving the sharpness of the generated videos, narrowing the gap between real and synthesis videos. We validate our method on a large in-house pelvic dataset with high dynamic motion. Extensive evaluation metrics and user study prove the effectiveness of our proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL