Optimizing Automatic Summarization of Long Clinical Records Using Dynamic Context Extension:Testing and Evaluation of the NBCE Method

要約

患者の臨床メモを要約することは、文書作成の負担を軽減するために不可欠です。
現在の手動要約は医療従事者を苦しめています。
我々は LLM を使用した自動手法を提案しますが、入力が長いと LLM がコンテキストを失い、特に小さいサイズのモデルで出力品質が低下します。
Native Bayes Context Extend で強化された 7B モデル open-calm-7b と、一度に 1 文を参照する再設計されたデコード メカニズムを使用し、入力をコンテキスト ウィンドウ (2048 トークン) 内に保持しました。
私たちの改良されたモデルは、200 サンプルの ROUGE-L 指標​​で Google の 1,750 億を超える Gemini とほぼ同等の結果を達成し、より少ないリソースで強力なパフォーマンスを示し、自動 EMR 要約の実現可能性を高めました。

要約(オリジナル)

Summarizing patient clinical notes is vital for reducing documentation burdens. Current manual summarization makes medical staff struggle. We propose an automatic method using LLMs, but long inputs cause LLMs to lose context, reducing output quality especially in small size model. We used a 7B model, open-calm-7b, enhanced with Native Bayes Context Extend and a redesigned decoding mechanism to reference one sentence at a time, keeping inputs within context windows, 2048 tokens. Our improved model achieved near parity with Google’s over 175B Gemini on ROUGE-L metrics with 200 samples, indicating strong performance using less resources, enhancing automated EMR summarization feasibility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google