Token Imbalance Adaptation for Radiology Report Generation

要約

タイトル – 放射線診断レポート生成のためのトークンの不均衡適応
要約 – テキストドキュメントには不均衡なトークン分布が自然に存在し、頻繁なトークンに過剰適合することでニューラル言語モデルを導く。複雑な医療用語が頻繁には現れないが、より多くの医療情報を反映するため、トークンの不均衡は放射線診断レポートジェネレーターの堅牢性を抑制することができる。本研究では、現在の最新のモデルが放射線診断レポート生成の2つの標準ベンチマークデータセット（IU X-RAYおよびMIMIC-CXR）において、頻繁でないトークンを生成することに失敗する方法を示す。
– トークンの不均衡に対応する方法を提案する初めての研究。
– トークンの不均衡を自動的に活用し、不可能性損失によって頻繁でないトークンを拡張することで、不均衡に対応する「TIMER」を提案する。
– 2つのベンチマークにおける複数の最新の手法と比較し、アプローチの効果を検証する。
– 実験により、不均衡なトークンにおけるモデルの堅牢性の向上を示唆する。
– 結果から、強化学習法が放射線診断レポート生成においてトークンの不均衡に重要な影響を与えることが分かる。

要約(オリジナル)

Imbalanced token distributions naturally exist in text documents, leading neural language models to overfit on frequent tokens. The token imbalance may dampen the robustness of radiology report generators, as complex medical terms appear less frequently but reflect more medical information. In this study, we demonstrate how current state-of-the-art models fail to generate infrequent tokens on two standard benchmark datasets (IU X-RAY and MIMIC-CXR) of radiology report generation. % However, no prior study has proposed methods to adapt infrequent tokens for text generators feeding with medical images. To solve the challenge, we propose the \textbf{T}oken \textbf{Im}balance Adapt\textbf{er} (\textit{TIMER}), aiming to improve generation robustness on infrequent tokens. The model automatically leverages token imbalance by an unlikelihood loss and dynamically optimizes generation processes to augment infrequent tokens. We compare our approach with multiple state-of-the-art methods on the two benchmarks. Experiments demonstrate the effectiveness of our approach in enhancing model robustness overall and infrequent tokens. Our ablation analysis shows that our reinforcement learning method has a major effect in adapting token imbalance for radiology report generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI