MedCycle: Unpaired Medical Report Generation via Cycle-Consistency

要約

X 線画像の医療レポートの生成は、特にトレーニング用にペアになった画像レポート データにアクセスできないペアになっていないシナリオでは、大きな課題となります。
これまでの研究では通常、画像とレポートの共同埋め込み空間を学習しており、両方に特定のラベル付けスキーマが必要でした。
一貫したラベル付けスキーマの必要性を排除する革新的なアプローチを導入することで、データへのアクセス性が向上し、互換性のないデータセットの使用が可能になります。
このアプローチは、画像の埋め込みをレポートの埋め込みに変換するサイクル一貫性のあるマッピング機能に基づいており、医療レポート生成のためのレポートの自動エンコーディングと組み合わせられています。
私たちのモデルと目標は、複雑な局所的な詳細と、画像とレポート内の包括的な意味論的コンテキストを考慮します。
このアプローチにより、効果的なマッピング関数の学習が容易になり、一貫したレポートが生成されます。
これは、ペアのない胸部 X 線レポートの生成において最先端の結果を上回り、言語と臨床指標の両方で改善が示されています。

要約(オリジナル)

Generating medical reports for X-ray images presents a significant challenge, particularly in unpaired scenarios where access to paired image-report data for training is unavailable. Previous works have typically learned a joint embedding space for images and reports, necessitating a specific labeling schema for both. We introduce an innovative approach that eliminates the need for consistent labeling schemas, thereby enhancing data accessibility and enabling the use of incompatible datasets. This approach is based on cycle-consistent mapping functions that transform image embeddings into report embeddings, coupled with report auto-encoding for medical report generation. Our model and objectives consider intricate local details and the overarching semantic context within images and reports. This approach facilitates the learning of effective mapping functions, resulting in the generation of coherent reports. It outperforms state-of-the-art results in unpaired chest X-ray report generation, demonstrating improvements in both language and clinical metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google