要約
人工知能は医療画像分析にとって重要なツールとなっています。
高度な脳血管造影技術であるデジタル サブトラクション アンギオグラフィー (DSA) は、人間への放射線量が画像数に比例するという課題を引き起こします。
画像を縮小し、代わりにAI補間を使用することで、放射線を大幅にカットできます。
ただし、DSA 画像は自然のシーンよりも複雑な動きと構造の特徴を表現するため、補間がより困難になります。
私たちは、DSA フレーム補間に深層学習を使用する最初の研究である MoSt-DSA を提案します。
不明確または粗い特徴を抽出する自然シーンのビデオ フレーム補間 (VFI) 手法とは異なり、最適なコンテキスト範囲を調整し、コンテキストを線形関数に変換することにより、効率的なフルコンボリューション方式でフレーム間の動きと構造コンテキストの相互作用をモデル化する一般的なモジュールを考案します。
。
この利点を活かして、MoSt-DSA は、トレーニングとテストの両方において、1 回の前方パスで任意のタイム ステップで任意の数の補間を直接実現する最初の方法でもあります。
1 ～ 3 フレームの補間について 7 つの代表的な VFI モデルと広範な比較を行っています。MoSt-DSA は、470 枚の DSA 画像シーケンス (通常はそれぞれ 152 画像) にわたって、平均 SSIM が 0.93 以上、平均 PSNR が 38 以上 (標準偏差未満) という堅牢な結果を示しています。
それぞれ 0.030 と 3.6)、精度、速度、視覚効果、メモリ使用量において総合的に最先端のパフォーマンスを実現します。
私たちのコードは https://github.com/ZyoungXu/MoSt-DSA で入手できます。
要約(オリジナル)
Artificial intelligence has become a crucial tool for medical image analysis. As an advanced cerebral angiography technique, Digital Subtraction Angiography (DSA) poses a challenge where the radiation dose to humans is proportional to the image count. By reducing images and using AI interpolation instead, the radiation can be cut significantly. However, DSA images present more complex motion and structural features than natural scenes, making interpolation more challenging. We propose MoSt-DSA, the first work that uses deep learning for DSA frame interpolation. Unlike natural scene Video Frame Interpolation (VFI) methods that extract unclear or coarse-grained features, we devise a general module that models motion and structural context interactions between frames in an efficient full convolution manner by adjusting optimal context range and transforming contexts into linear functions. Benefiting from this, MoSt-DSA is also the first method that directly achieves any number of interpolations at any time steps with just one forward pass during both training and testing. We conduct extensive comparisons with 7 representative VFI models for interpolating 1 to 3 frames, MoSt-DSA demonstrates robust results across 470 DSA image sequences (each typically 152 images), with average SSIM over 0.93, average PSNR over 38 (standard deviations of less than 0.030 and 3.6, respectively), comprehensively achieving state-of-the-art performance in accuracy, speed, visual effect, and memory usage. Our code is available at https://github.com/ZyoungXu/MoSt-DSA.
arxiv情報
| 著者 | Ziyang Xu,Huangxuan Zhao,Ziwei Cui,Wenyu Liu,Chuansheng Zheng,Xinggang Wang |
| 発行日 | 2024-07-09 17:50:54+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google