Joint Learning of Localized Representations from Medical Images and Reports

要約

対照的な学習は、ラベル付けされていないデータで画像モデルを事前トレーニングするのに効果的であることが証明されており、医療画像分類などのタスクで有望な結果が得られます。
事前トレーニング中にペアのテキスト (放射線レポートなど) を使用すると、結果がさらに向上します。
それでも、ほとんどの既存の方法は画像分類の下流タスクを対象としており、セマンティック セグメンテーションやオブジェクト検出などのローカライズされたタスクには最適ではない可能性があります。
したがって、ビジョンとテキスト (LoVT) から学習するローカライズされた表現を提案します。これは、ローカライズされた医用画像タスクをターゲットとする最初のテキスト教師あり事前トレーニング方法です。
私たちの方法は、インスタンス レベルの画像レポートの対照学習と、画像領域およびレポート文の表現に関する局所的な対照学習を組み合わせたものです。
5 つの公開データセットからの胸部 X 線に関する 18 のローカライズされたタスクの評価フレームワークで、LoVT と一般的に使用される事前トレーニング方法を評価します。
LoVT は、調査した 18 のタスクのうち 10 で最高のパフォーマンスを発揮し、ローカライズされたタスクに最適な方法です。

要約(オリジナル)

Contrastive learning has proven effective for pre-training image models on unlabeled data with promising results for tasks such as medical image classification. Using paired text (like radiological reports) during pre-training improves the results even further. Still, most existing methods target image classification downstream tasks and may not be optimal for localized tasks like semantic segmentation or object detection. We therefore propose Localized representation learning from Vision and Text (LoVT), to our best knowledge, the first text-supervised pre-training method that targets localized medical imaging tasks. Our method combines instance-level image-report contrastive learning with local contrastive learning on image region and report sentence representations. We evaluate LoVT and commonly used pre-training methods on an evaluation framework of 18 localized tasks on chest X-rays from five public datasets. LoVT performs best on 10 of the 18 studied tasks making it the preferred method of choice for localized tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google