A Foundation LAnguage-Image model of the Retina (FLAIR): Encoding expert knowledge in text supervision

要約

財団のビジョン言語モデルは現在、コンピューター ビジョンを変革しており、その非常に有望な一般化機能によって医療画像処理が増加しています。
ただし、この新しいパラダイムを医用画像処理に移行する最初の試みでは、大幅な領域の移行と医用画像処理タスクに固有の複雑で専門的な領域知識が原因で、他の領域で観察されたものほど優れたパフォーマンスは得られませんでした。
ドメインエキスパート基盤モデルの必要性を動機として、普遍的な網膜眼底画像理解のための事前トレーニング済み視覚言語モデルである FLAIR を紹介します。
この目的を達成するために、さまざまなソースから、最大 97 の異なるターゲット条件と 284,660 枚の画像を含む 37 のオープンアクセスの、主にカテゴリカルな眼底画像データセットを編集しました。
事前トレーニングとゼロショット推論の両方で、専門家のドメイン知識を説明的なテキストプロンプトの形で統合し、情報量の少ないデータのカテゴリ監視を強化します。
このような専門家の知識は、関連する臨床文献やコミュニティ標準から編集されたテキストであり、病状の詳細な特徴、およびそれらの間の階層と依存関係を説明しています。
包括的な評価を報告します。これは、ドメインの変化や未知のカテゴリを伴う困難なシナリオにおいて、専門知識と FLAIR の強力な一般化機能を統合する利点を示しています。
軽量の線形プローブを適用すると、FLAIR は完全にトレーニングされたデータセット中心のモデルよりも優れたパフォーマンスを発揮し、ショット数が少ない領域ではさらに優れたパフォーマンスを発揮します。
興味深いことに、FLAIR は、よりジェネラリストで大規模な画像言語モデルを大幅に上回っています。これは、医療画像における専門家の分野知識とジェネラリスト モデルの限界を埋め込む可能性を強調しています。

要約(オリジナル)

Foundation vision-language models are currently transforming computer vision, and are on the rise in medical imaging fueled by their very promising generalization capabilities. However, the initial attempts to transfer this new paradigm to medical imaging have shown less impressive performances than those observed in other domains, due to the significant domain shift and the complex, expert domain knowledge inherent to medical-imaging tasks. Motivated by the need for domain-expert foundation models, we present FLAIR, a pre-trained vision-language model for universal retinal fundus image understanding. To this end, we compiled 37 open-access, mostly categorical fundus imaging datasets from various sources, with up to 97 different target conditions and 284,660 images. We integrate the expert’s domain knowledge in the form of descriptive textual prompts, during both pre-training and zero-shot inference, enhancing the less-informative categorical supervision of the data. Such a textual expert’s knowledge, which we compiled from the relevant clinical literature and community standards, describes the fine-grained features of the pathologies as well as the hierarchies and dependencies between them. We report comprehensive evaluations, which illustrate the benefit of integrating expert knowledge and the strong generalization capabilities of FLAIR under difficult scenarios with domain shifts or unseen categories. When adapted with a lightweight linear probe, FLAIR outperforms fully-trained, dataset-focused models, more so in the few-shot regimes. Interestingly, FLAIR outperforms by a large margin more generalist, larger-scale image-language models, which emphasizes the potential of embedding experts’ domain knowledge and the limitations of generalist models in medical imaging.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google