Imaging foundation model for universal enhancement of non-ideal measurement CT

要約

非理想的な測定コンピュータ断層撮影法 (NICT) は、CT イメージングの新たな利点を得るために最適なイメージング標準を犠牲にしており、CT 画像の臨床応用範囲を拡大しています。
しかし、画像処理基準の低下に伴い、画質も低下し、臨床での受け入れが非常に制限されています。
特定のシナリオにおける NICT 強化のためのディープラーニングの実現可能性は多くの研究で実証されていますが、その高いデータコストと限られた一般化性が大きな障害となっています。
基礎モデルに関する最近の研究により、最小限のデータコストで画質の劣化を埋める、普遍的な NICT 拡張モデルを構築する新たな機会がもたらされました。
ただし、大規模な事前トレーニング データセットの収集とデータのバリエーションの互換性が課題であるため、成功は報告されていません。
本稿では、ユニバーサルNICT強化のための最初の画像基盤モデルであるマルチスケール統合型Transformer AMPlifier（TAMP）を提案します。
これは、360 万枚の NICT-ICT 画像ペアを含む大規模な物理駆動シミュレーション データセットで事前トレーニングされており、さまざまな非理想的な設定や身体領域を使用した NICT 強化タスクに直接一般化できます。
少ないデータでの適応により、現実世界の特定のシナリオでプロフェッショナルなパフォーマンスをさらに達成できます。
私たちの広範な実験により、提案されている TAMP が NICT の探索と応用を促進し、より幅広い医療シナリオに対応する大き​​な可能性を秘めていることが実証されました。

要約(オリジナル)

Non-ideal measurement computed tomography (NICT), which sacrifices optimal imaging standards for new advantages in CT imaging, is expanding the clinical application scope of CT images. However, with the reduction of imaging standards, the image quality has also been reduced, extremely limiting the clinical acceptability. Although numerous studies have demonstrated the feasibility of deep learning for the NICT enhancement in specific scenarios, their high data cost and limited generalizability have become large obstacles. The recent research on the foundation model has brought new opportunities for building a universal NICT enhancement model – bridging the image quality degradation with minimal data cost. However, owing to the challenges in the collection of large pre-training datasets and the compatibility of data variation, no success has been reported. In this paper, we propose a multi-scale integrated Transformer AMPlifier (TAMP), the first imaging foundation model for universal NICT enhancement. It has been pre-trained on a large-scale physical-driven simulation dataset with 3.6 million NICT-ICT image pairs, and is able to directly generalize to the NICT enhancement tasks with various non-ideal settings and body regions. Via the adaptation with few data, it can further achieve professional performance in real-world specific scenarios. Our extensive experiments have demonstrated that the proposed TAMP has significant potential for promoting the exploration and application of NICT and serving a wider range of medical scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google