HiFi-Syn: Hierarchical Granularity Discrimination for High-Fidelity Synthesis of MR Images with Structure Preservation

要約

医療画像の構造情報を保存しながら医療画像を合成することは、医学研究において非常に重要です。
このようなシナリオでは、解剖学的内容の保存が特に重要になります。
最近の進歩は、翻訳をガイドするためにインスタンスレベルの情報を組み込むことによって行われていますが、これらの方法では、構造レベルの表現の空間的一貫性と翻訳中のコンテンツの解剖学的不変性が見落とされています。
これらの問題に対処するために、医療画像に存在するさまざまなレベルの意味情報を利用する階層粒度識別を導入します。
私たちの戦略では、3 つのレベルの識別粒度を利用しています。脳メモリバンクを使用したピクセルレベルの識別、硬いサンプルに焦点を当てるための再重み付け戦略による各脳構造の構造レベルの識別、および翻訳中の解剖学的一貫性を確保するためのグローバルレベルの識別です。
。
私たちの戦略の画像変換パフォーマンスは 3 つの独立したデータセット (UK Biobank、IXI、BraTS 2018) で評価されており、最先端のアルゴリズムを上回るパフォーマンスを示しています。
特に、私たちのモデルは、病理学的特徴により異なるイメージングモダリティで観察されるコントラストの変動にもかかわらず、正常な構造を合成するだけでなく、脳腫瘍などの異常（病理学的）構造の処理にも優れています。
脳腫瘍を含む合成 MR 画像の診断価値は放射線科医によって評価されています。
これは、患者の特定の MR モダリティが利用できないシナリオにおいて、私たちのモデルが代替ソリューションを提供できる可能性があることを示しています。
広範な実験により、私たちの方法の多用途性がさらに実証され、医療画像の変換に関する独自の洞察が得られます。

要約(オリジナル)

Synthesizing medical images while preserving their structural information is crucial in medical research. In such scenarios, the preservation of anatomical content becomes especially important. Although recent advances have been made by incorporating instance-level information to guide translation, these methods overlook the spatial coherence of structural-level representation and the anatomical invariance of content during translation. To address these issues, we introduce hierarchical granularity discrimination, which exploits various levels of semantic information present in medical images. Our strategy utilizes three levels of discrimination granularity: pixel-level discrimination using a Brain Memory Bank, structure-level discrimination on each brain structure with a re-weighting strategy to focus on hard samples, and global-level discrimination to ensure anatomical consistency during translation. The image translation performance of our strategy has been evaluated on three independent datasets (UK Biobank, IXI, and BraTS 2018), and it has outperformed state-of-the-art algorithms. Particularly, our model excels not only in synthesizing normal structures but also in handling abnormal (pathological) structures, such as brain tumors, despite the variations in contrast observed across different imaging modalities due to their pathological characteristics. The diagnostic value of synthesized MR images containing brain tumors has been evaluated by radiologists. This indicates that our model may offer an alternative solution in scenarios where specific MR modalities of patients are unavailable. Extensive experiments further demonstrate the versatility of our method, providing unique insights into medical image translation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google