A Spatial-Temporal Progressive Fusion Network for Breast Lesion Segmentation in Ultrasound Videos

要約

超音波ビデオベースの乳房病変のセグメンテーションは、乳房病変の早期発見と治療に貴重な助けとなります。
しかし、既存の研究は主に超音波乳房画像に基づく病変のセグメンテーションに焦点を当てており、通常は超音波ビデオで望ましい結果を得るためにうまく適合させることができません。
超音波ビデオベースの乳房病変セグメンテーションの主な課題は、フレーム内とフレーム間の両方の病変の手がかりを同時に利用する方法です。
この問題に対処するために、ビデオベースの乳房病変セグメンテーション問題のための新しい時空間プログレッシブフュージョンネットワーク (STPFNet) を提案します。
提案された STPFNet の主な側面は 3 つあります。
まず、超音波データ表現のために、各超音波フレーム内の空間的依存性と異なるフレーム間の時間的相関性の両方をキャプチャする統合ネットワーク アーキテクチャを採用することを提案します。
次に、病変検出のために空間的手がかりと時間的手がかりを融合する、マルチスケール特徴融合 (MSFF) と呼ばれる新しい融合モジュールを提案します。
MSFF は、病変領域の境界輪郭を決定して、病変境界のぼやけの問題を解決するのに役立ちます。
第三に、前のフレームのセグメンテーション結果を事前知識として利用して、ノイズの多い背景を抑制し、より堅牢な表現を学習することを提案します。
特に、乳房病変のセグメンテーションに特化した、UVBLS200 と呼ばれる新しい公的に利用可能な超音波ビデオ乳房病変セグメンテーション データセットを紹介します。
これには、良性病変のビデオ 80 件と悪性病変のビデオ 120 件を含む、200 件のビデオが含まれています。
提案されたデータセットの実験により、提案された STPFNet が最先端の方法よりも優れた乳房病変検出パフォーマンスを達成することが実証されました。

要約(オリジナル)

Ultrasound video-based breast lesion segmentation provides a valuable assistance in early breast lesion detection and treatment. However, existing works mainly focus on lesion segmentation based on ultrasound breast images which usually can not be adapted well to obtain desirable results on ultrasound videos. The main challenge for ultrasound video-based breast lesion segmentation is how to exploit the lesion cues of both intra-frame and inter-frame simultaneously. To address this problem, we propose a novel Spatial-Temporal Progressive Fusion Network (STPFNet) for video based breast lesion segmentation problem. The main aspects of the proposed STPFNet are threefold. First, we propose to adopt a unified network architecture to capture both spatial dependences within each ultrasound frame and temporal correlations between different frames together for ultrasound data representation. Second, we propose a new fusion module, termed Multi-Scale Feature Fusion (MSFF), to fuse spatial and temporal cues together for lesion detection. MSFF can help to determine the boundary contour of lesion region to overcome the issue of lesion boundary blurring. Third, we propose to exploit the segmentation result of previous frame as the prior knowledge to suppress the noisy background and learn more robust representation. In particular, we introduce a new publicly available ultrasound video breast lesion segmentation dataset, termed UVBLS200, which is specifically dedicated to breast lesion segmentation. It contains 200 videos, including 80 videos of benign lesions and 120 videos of malignant lesions. Experiments on the proposed dataset demonstrate that the proposed STPFNet achieves better breast lesion detection performance than state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google