Making the Most Out of the Limited Context Length: Predictive Power Varies with Clinical Note Type and Note Section

要約

大規模言語モデルの最近の進歩により、臨床ノートの自由テキストを使用した医療における自然言語処理への新たな関心が高まっています。
臨床ノートの際立った特徴の 1 つは、複数の長い文書にわたる長期間の記録であることです。
臨床ノートの独自の構造により、新しい設計上の選択肢が生まれます。言語モデル予測子のコンテキストの長さが制限されている場合、臨床ノートのどの部分を入力として選択する必要があるでしょうか。
既存の研究では、ドメイン知識を含む入力を選択するか、単に切り捨てています。
予測力の高いセクションを分析するためのフレームワークを提案します。
MIMIC-III を使用して、1) 看護ノートと退院ノートでは予測力の分布が異なること、2) コンテキストの長さが長い場合、異なるタイプのノートを組み合わせることでパフォーマンスが向上する可能性があることを示します。
私たちの調査結果は、慎重に選択されたサンプリング関数により、臨床ノートからより効率的な情報抽出が可能になる可能性があることを示唆しています。

要約(オリジナル)

Recent advances in large language models have led to renewed interest in natural language processing in healthcare using the free text of clinical notes. One distinguishing characteristic of clinical notes is their long time span over multiple long documents. The unique structure of clinical notes creates a new design choice: when the context length for a language model predictor is limited, which part of clinical notes should we choose as the input? Existing studies either choose the inputs with domain knowledge or simply truncate them. We propose a framework to analyze the sections with high predictive power. Using MIMIC-III, we show that: 1) predictive power distribution is different between nursing notes and discharge notes and 2) combining different types of notes could improve performance when the context length is large. Our findings suggest that a carefully selected sampling function could enable more efficient information extraction from clinical notes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google