Towards General Purpose Medical AI: Continual Learning Medical Foundation Model

要約

現実世界のシナリオで避けられないドメインとタスクの不一致は、医療データの事前トレーニング済みのディープ モデルの一般化パフォーマンスを損なう可能性があります。
したがって、下流のドメイン/タスクにシームレスに適応できる汎用医療 AI システムを構築する必要があることを大胆に提案します。
ドメイン/タスクの適応手順には、通常、ターゲット データの追加のラベル付け作業が含まれるため、学習した知識を転送するコストを節約するために、データ効率の高い適応アルゴリズムを設計することが望まれます。
私たちの最近の研究では、視覚言語モデル (VLM) が並外れたクロスドメイン能力を持つ効率的な学習者であることがわかりました。
したがって、この作業では、汎用医療 AI を構築するための医療基盤モデルとして、事前トレーニング済みの VLM を活用する可能性をさらに探ります。そこでは、3 つの機械学習パラダイム、つまり、ドメイン/タスクに特化した学習、共同学習を徹底的に調査します。
、および継続的学習。VLM をトレーニングし、クロスドメインおよびクロスタスク テスト セットでの一般化パフォーマンスを評価します。
シーケンシャル トレーニング中の壊滅的な忘却を軽減するために、リハーサル学習を採用し、汎化能力の点で急激なブーストを受け取ります。
一言で言えば、私たちの経験的証拠は、継続的な学習が医療基盤モデルにとって実用的で効率的な学習パラダイムである可能性があることを示唆しています。
そして、研究者が私たちの経験的証拠を基礎として使用して、医療基盤モデルへの道をさらに探求できることを願っています。

要約(オリジナル)

Inevitable domain and task discrepancies in real-world scenarios can impair the generalization performance of the pre-trained deep models for medical data. Therefore, we audaciously propose that we should build a general-purpose medical AI system that can be seamlessly adapted to downstream domains/tasks. Since the domain/task adaption procedures usually involve additional labeling work for the target data, designing a data-efficient adaption algorithm is desired to save the cost of transferring the learned knowledge. Our recent work found that vision-language models (VLMs) are efficient learners with extraordinary cross-domain ability. Therefore, in this work, we further explore the possibility of leveraging pre-trained VLMs as medical foundation models for building general-purpose medical AI, where we thoroughly investigate three machine-learning paradigms, i.e., domain/task-specialized learning, joint learning, and continual learning, for training the VLMs and evaluate their generalization performance on cross-domain and cross-task test sets. To alleviate the catastrophic forgetting during sequential training, we employ rehearsal learning and receive a sharp boost in terms of generalization capability. In a nutshell, our empirical evidence suggests that continual learning may be a practical and efficient learning paradigm for the medical foundation model. And we hope researchers can use our empirical evidence as basement to further explore the path toward medical foundation model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google