Reliable Multi-modal Medical Image-to-image Translation Independent of Pixel-wise Aligned Data

要約

現在主流のマルチモーダル医用画像間の変換方法は矛盾に直面しています。
優れたパフォーマンスを実現する教師ありメソッドは、ピクセル単位で調整されたトレーニング データに依存してモデルの最適化を制約します。
ただし、ピクセル単位で位置合わせされたマルチモーダル医用画像データセットを取得するのは困難です。
教師なしメソッドはペアのデータなしでトレーニングできますが、その信頼性は保証できません。
現時点では、ピクセルごとに位置合わせされたデータを必要とせずに信頼性の高い変換結果を生成できる理想的なマルチモーダル医用画像間変換方法はありません。
この研究の目的は、ピクセル単位で整列されたデータ (MITIA) に依存しない新しい医用画像間変換モデルを開発し、不整合なトレーニング データの条件下で信頼性の高いマルチモーダル医用画像間変換を可能にすることです。
提案された MITIA モデルは、マルチモーダル医用画像登録モジュールとマルチモーダル位置ずれエラー検出モジュールで構成される事前抽出ネットワークを利用して、位置ずれエラーを含むトレーニング データからピクセルレベルの事前情報を最大限に抽出します。
次に、抽出された事前情報を使用して正則化項を構築し、教師なしサイクル整合性 GAN モデルの最適化を制約し、その解空間を制限して、ジェネレーターのパフォーマンスと信頼性を向上させます。
さまざまな位置ずれエラーを含む 6 つのデータセットと、適切に位置合わせされた 2 つのデータセットを使用して MITIA モデルをトレーニングしました。
続いて、提案手法を他の 6 つの最先端の画像間変換手法と比較しました。
定量的分析と定性的視覚検査の両方の結果は、MITIA が、位置ずれしたデータと位置合わせされたデータの両方において、競合する最先端の方法と比較して優れたパフォーマンスを達成していることを示しています。

要約(オリジナル)

The current mainstream multi-modal medical image-to-image translation methods face a contradiction. Supervised methods with outstanding performance rely on pixel-wise aligned training data to constrain the model optimization. However, obtaining pixel-wise aligned multi-modal medical image datasets is challenging. Unsupervised methods can be trained without paired data, but their reliability cannot be guaranteed. At present, there is no ideal multi-modal medical image-to-image translation method that can generate reliable translation results without the need for pixel-wise aligned data. This work aims to develop a novel medical image-to-image translation model that is independent of pixel-wise aligned data (MITIA), enabling reliable multi-modal medical image-to-image translation under the condition of misaligned training data. The proposed MITIA model utilizes a prior extraction network composed of a multi-modal medical image registration module and a multi-modal misalignment error detection module to extract pixel-level prior information from training data with misalignment errors to the largest extent. The extracted prior information is then used to construct a regularization term to constrain the optimization of the unsupervised cycle-consistent GAN model, restricting its solution space and thereby improving the performance and reliability of the generator. We trained the MITIA model using six datasets containing different misalignment errors and two well-aligned datasets. Subsequently, we compared the proposed method with six other state-of-the-art image-to-image translation methods. The results of both quantitative analysis and qualitative visual inspection indicate that MITIA achieves superior performance compared to the competing state-of-the-art methods, both on misaligned data and aligned data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google