Intensive Care as One Big Sequence Modeling Problem

要約

医療における強化学習は通常、敗血症の予測や麻酔制御などの狭い自己完結型タスクに関係します。
ただし、これまでの研究では、ジェネラリスト モデル (その代表的な例は大規模言語モデル) が、暗黙的な転移学習の機能により、タスク固有のアプローチよりも優れたパフォーマンスを発揮する可能性があることが実証されています。
最先端の Transformer アーキテクチャの機能を活用するだけでなく、ヘルスケアの基礎モデルのトレーニングを可能にするために、患者と医療提供者の間の対話がイベント ストリームとタスクとして表現されるシーケンス モデリングとしてのヘルスケアのパラダイムを提案します。
診断や治療の選択などは、ストリーム内の将来のイベントの予測としてモデル化されます。
このパラダイムを実験的に探索するために、私たちは MIMIC-IV データセットからの異種の臨床記録を統一イベント ストリーム形式に変換することによって導出されたシーケンス モデリング ベンチマークである MIMIC-SEQ を開発し、ベースライン モデルをトレーニングしてその機能を探索します。

要約(オリジナル)

Reinforcement Learning in Healthcare is typically concerned with narrow self-contained tasks such as sepsis prediction or anesthesia control. However, previous research has demonstrated the potential of generalist models (the prime example being Large Language Models) to outperform task-specific approaches due to their capability for implicit transfer learning. To enable training of foundation models for Healthcare as well as leverage the capabilities of state of the art Transformer architectures, we propose the paradigm of Healthcare as Sequence Modeling, in which interaction between the patient and the healthcare provider is represented as an event stream and tasks like diagnosis and treatment selection are modeled as prediction of future events in the stream. To explore this paradigm experimentally we develop MIMIC-SEQ, a sequence modeling benchmark derived by translating heterogenous clinical records from MIMIC-IV dataset into a uniform event stream format, train a baseline model and explore its capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google