GaraMoSt: Parallel Multi-Granularity Motion and Structural Modeling for Efficient Multi-Frame Interpolation in DSA Images

要約

デジタル サブトラクション アンギオグラフィー (DSA) 画像の迅速かつ正確な直接マルチフレーム補間方法は、放射線量を削減し、正確な診断と治療のために医師にリアルタイムの支援を提供するために非常に重要です。
DSA 画像には、複雑な血管構造やさまざまな動きが含まれています。
自然シーンのビデオ フレーム補間 (VFI) 手法を適用すると、モーション アーティファクト、構造の散逸、およびぼやけが発生します。
最近、MoSt-DSA は初めてこれらの問題に具体的に取り組み、SOTA の成果を達成しました。
ただし、MoSt-DSA はリアルタイム パフォーマンスに重点を置いているため、生成された画像内の高周波ノイズの抑制が不十分になり、低周波ノイズのフィルタリングが不完全になります。
同じ計算時間スケール内でこれらの問題に対処するために、GaraMoSt を提案します。
具体的には、並列設計でネットワークパイプラインを最適化し、MG-MSFEというモジュールを提案します。
MG-MSFE は、完全な畳み込み並列方式でさまざまな粒度でフレーム相対モーションと構造特徴を抽出し、さまざまなスケールでのコンテキストを認識した粒度の独立した柔軟な調整をサポートするため、計算効率と精度が向上します。
広範な実験により、GaraMoSt が精度、堅牢性、視覚効果、ノイズ抑制において SOTA パフォーマンスを達成し、MoSt-DSA やその他の自然シーン VFI 手法を総合的に上回ることが実証されました。
コードとモデルは https://github.com/ZyoungXu/GaraMoSt で入手できます。

要約(オリジナル)

The rapid and accurate direct multi-frame interpolation method for Digital Subtraction Angiography (DSA) images is crucial for reducing radiation and providing real-time assistance to physicians for precise diagnostics and treatment. DSA images contain complex vascular structures and various motions. Applying natural scene Video Frame Interpolation (VFI) methods results in motion artifacts, structural dissipation, and blurriness. Recently, MoSt-DSA has specifically addressed these issues for the first time and achieved SOTA results. However, MoSt-DSA’s focus on real-time performance leads to insufficient suppression of high-frequency noise and incomplete filtering of low-frequency noise in the generated images. To address these issues within the same computational time scale, we propose GaraMoSt. Specifically, we optimize the network pipeline with a parallel design and propose a module named MG-MSFE. MG-MSFE extracts frame-relative motion and structural features at various granularities in a fully convolutional parallel manner and supports independent, flexible adjustment of context-aware granularity at different scales, thus enhancing computational efficiency and accuracy. Extensive experiments demonstrate that GaraMoSt achieves the SOTA performance in accuracy, robustness, visual effects, and noise suppression, comprehensively surpassing MoSt-DSA and other natural scene VFI methods. The code and models are available at https://github.com/ZyoungXu/GaraMoSt.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google