A Textbook Remedy for Domain Shifts: Knowledge Priors for Medical Image Analysis

要約

ディープネットワークは自然画像の分析では幅広い成功を収めていますが、医療スキャンに適用すると、例外的な状況で失敗することがよくあります。
私たちはこの課題を調査し、胸部 X 線写真や皮膚病変画像との関連で、さまざまな病院からサンプリングされたデータや性別、人種などの人口統計学的変数によって混同されたデータなど、ドメインのシフトに対するモデルの感度に焦点を当てています。
私たちが経験的に示した重要な発見は、既存のビジュアル バックボーンには、これらの設定で信頼できる一般化を実現するためのアーキテクチャからの適切な事前分布が欠けているということです。
私たちは、医療トレーニングからインスピレーションを得て、自然言語で伝達される明示的な医学知識に基づいた事前知識をディープネットワークに与えることを提案します。
この目的を達成するために、医学教科書や PubMed に記載されている臨床的に関連する要素を使用して論理を推論することを制約する事前知識を組み込んだ概念ボトルネック モデルのクラスである、知識強化ボトルネック (KnoBo) を導入します。
KnoBo は、検索拡張言語モデルを使用して、概念を認識するための自動トレーニング手順と組み合わせた適切な概念空間を設計します。
私たちは、20 のデータセットにわたる幅広いドメインのシフトに関する知識と認識アーキテクチャのさまざまなリソースを評価します。
2 つの画像モダリティを使用した包括的な評価では、KnoBo は交絡したデータセットで微調整されたモデルよりも平均 32.4% 優れたパフォーマンスを示しました。
最後に、評価の結果、PubMed は医療モデルをドメインシフトの影響を受けにくくするための有望なリソースであり、情報の多様性と最終的な予測パフォーマンスの両方で他のリソースを上回っていることが明らかになりました。

要約(オリジナル)

While deep networks have achieved broad success in analyzing natural images, when applied to medical scans, they often fail in unexcepted situations. We investigate this challenge and focus on model sensitivity to domain shifts, such as data sampled from different hospitals or data confounded by demographic variables such as sex, race, etc, in the context of chest X-rays and skin lesion images. A key finding we show empirically is that existing visual backbones lack an appropriate prior from the architecture for reliable generalization in these settings. Taking inspiration from medical training, we propose giving deep networks a prior grounded in explicit medical knowledge communicated in natural language. To this end, we introduce Knowledge-enhanced Bottlenecks (KnoBo), a class of concept bottleneck models that incorporates knowledge priors that constrain it to reason with clinically relevant factors found in medical textbooks or PubMed. KnoBo uses retrieval-augmented language models to design an appropriate concept space paired with an automatic training procedure for recognizing the concept. We evaluate different resources of knowledge and recognition architectures on a broad range of domain shifts across 20 datasets. In our comprehensive evaluation with two imaging modalities, KnoBo outperforms fine-tuned models on confounded datasets by 32.4% on average. Finally, evaluations reveal that PubMed is a promising resource for making medical models less sensitive to domain shift, outperforming other resources on both diversity of information and final prediction performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google