AV-GAN: Attention-Based Varifocal Generative Adversarial Network for Uneven Medical Image Translation

要約

染色の種類が異なると臓器の異なる構造が強調表示され、診断に役立ちます。
ただし、繰り返し染色できないため、同じ組織領域の異なる種類の染色スライドを取得することはできません。
入手が容易なスライド (H&E など) を入手が難しい染色タイプのスライド (MT、PAS など) に変換することは、この問題を解決する有望な方法です。
ただし、一部の地域は他の地域と密接に関係しており、その関係を維持するために複雑な構造になっていることが多く、翻訳が難しく、誤った翻訳につながる可能性があります。
本稿では、異なる領域での不均一な翻訳難易度、複数の解像度情報の相互干渉、核変形など、病理学的画像翻訳タスクにおける複数の問題を解決する、注意ベース可変焦点生成敵対的ネットワーク（AV-GAN）を提案します。
具体的には、翻訳難易度の高い領域に対応できるアテンションベースのキー領域選択モジュールを開発します。
次に、これらの領域を複数の解像度で変換するための可変焦点モジュールを開発します。
実験結果は、私たちが提案した AV-GAN が 2 つの仮想腎臓組織染色タスクで既存の画像変換方法を上回っており、H&E-MT タスクと H&E-PAS タスクで FID 値をそれぞれ 15.9 と 4.16 改善することを示しています。

要約(オリジナル)

Different types of staining highlight different structures in organs, thereby assisting in diagnosis. However, due to the impossibility of repeated staining, we cannot obtain different types of stained slides of the same tissue area. Translating the slide that is easy to obtain (e.g., H&E) to slides of staining types difficult to obtain (e.g., MT, PAS) is a promising way to solve this problem. However, some regions are closely connected to other regions, and to maintain this connection, they often have complex structures and are difficult to translate, which may lead to wrong translations. In this paper, we propose the Attention-Based Varifocal Generative Adversarial Network (AV-GAN), which solves multiple problems in pathologic image translation tasks, such as uneven translation difficulty in different regions, mutual interference of multiple resolution information, and nuclear deformation. Specifically, we develop an Attention-Based Key Region Selection Module, which can attend to regions with higher translation difficulty. We then develop a Varifocal Module to translate these regions at multiple resolutions. Experimental results show that our proposed AV-GAN outperforms existing image translation methods with two virtual kidney tissue staining tasks and improves FID values by 15.9 and 4.16 respectively in the H&E-MT and H&E-PAS tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google