Synthetic Privileged Information Enhances Medical Image Representation Learning

要約

マルチモーダル自己教師あり表現学習は、医療画像解析において非常に効果的な方法であることが一貫して証明されており、強力なタスクパフォ​​ーマンスを提供し、生物学的情報に基づいた洞察を生み出します。
ただし、これらの方法は大規模なペア データセットに大きく依存しているため、ペア データが存在しないか、利用可能なデータセットが少量しかないシナリオでは使用できません。
対照的に、画像生成方法は非常に小さなデータセットでうまく機能し、ペアになっていないデータセット間のマッピングを見つけることができるため、事実上無制限の量のペアになった合成データを生成できます。
この研究では、単一モダリティ (最大 4.4 倍のエラー削減) または本物のマルチモーダル ペア データセット (最大 5.6 倍のエラー削減) でのトレーニングと比較して、ペア情報を合成的に生成することで表現学習が大幅に改善できることを実証します。
）。

要約(オリジナル)

Multimodal self-supervised representation learning has consistently proven to be a highly effective method in medical image analysis, offering strong task performance and producing biologically informed insights. However, these methods heavily rely on large, paired datasets, which is prohibitive for their use in scenarios where paired data does not exist, or there is only a small amount available. In contrast, image generation methods can work well on very small datasets, and can find mappings between unpaired datasets, meaning an effectively unlimited amount of paired synthetic data can be generated. In this work, we demonstrate that representation learning can be significantly improved by synthetically generating paired information, both compared to training on either single-modality (up to 4.4x error reduction) or authentic multi-modal paired datasets (up to 5.6x error reduction).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google