Unified Chest X-ray and Radiology Report Generation Model with Multi-view Chest X-rays

要約

医学研究で生成された合成データは、プライバシーとセキュリティに敏感なデータを大規模な精選されたデータセットに置き換えることができ、データ収集と注釈のコストを削減します。
この取り組みの一環として、胸部 X 線とレポート生成の統合モデルである UniXGen を提案し、次の貢献を行います。
まず、ベクトル量子化法を採用して胸部 X 線を個別の視覚的トークンに離散化し、両方のタスクをシーケンス生成タスクとして定式化することにより、双方向胸部 X 線とレポート生成の統合モデルを設計します。
次に、特定のビューで胸部 X 線を生成するためのいくつかの特別なトークンを導入します。これは、目的のビューが利用できない場合に役立ちます。
さらに、UniXGen は、単一のビューから複数のビューまでさまざまな入力を柔軟に取得して、他の X 線ビューで利用可能な追加の調査結果を利用できます。
高解像度で長いパラグラフ レポートを含むマルチビュー胸部 X 線の長距離入力シーケンスを処理するために、計算効率とメモリ効率のために効率的な変換器を採用しています。
大規模な実験では、タスク固有のモデルのみをトレーニングするのではなく、統合モデルが両方の生成タスクに相乗効果をもたらすことを示しています。
また、ビュー固有の特別なトークンは、異なるビューを区別して、データセットに存在しない場合でも特定のビューを適切に生成できることもわかりました。マルチビューの胸部 X 線を利用すると、追加の X 線で異常な所見を忠実に捉えることができます。
.
ソース コードは、https://github.com/ttumyche/UniXGen で公開されています。

要約(オリジナル)

Generated synthetic data in medical research can substitute privacy and security-sensitive data with a large-scale curated dataset, reducing data collection and annotation costs. As part of this effort, we propose UniXGen, a unified chest X-ray and report generation model, with the following contributions. First, we design a unified model for bidirectional chest X-ray and report generation by adopting a vector quantization method to discretize chest X-rays into discrete visual tokens and formulating both tasks as sequence generation tasks. Second, we introduce several special tokens to generate chest X-rays with specific views that can be useful when the desired views are unavailable. Furthermore, UniXGen can flexibly take various inputs from single to multiple views to take advantage of the additional findings available in other X-ray views. We adopt an efficient transformer for computational and memory efficiency to handle the long-range input sequence of multi-view chest X-rays with high resolution and long paragraph reports. In extensive experiments, we show that our unified model has a synergistic effect on both generation tasks, as opposed to training only the task-specific models. We also find that view-specific special tokens can distinguish between different views and properly generate specific views even if they do not exist in the dataset, and utilizing multi-view chest X-rays can faithfully capture the abnormal findings in the additional X-rays. The source code is publicly available at: https://github.com/ttumyche/UniXGen.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google