Large Language Models for Outpatient Referral: Problem Definition, Benchmarking and Challenges

要約

大規模な言語モデル（LLM）は、ヘルスケアシステム全体の外来紹介タスクにますます適用されています。
ただし、特に動的でインタラクティブなシナリオにおいて、それらの有効性を評価するための標準化された評価基準が不足しています。
この研究では、インテリジェントな外来紹介（IOR）システム内のタスクの管理におけるLLMの機能と制限を体系的に調べ、そのようなシステム専用に設計された包括的な評価フレームワークを提案します。
このフレームワークは、2つのコアタスクで構成されています。定義された外来紹介の能力の評価に焦点を当てた静的評価と、反復対話を通じて外来患者の紹介の推奨事項を改良する能力を評価する動的評価です。
私たちの調査結果は、LLMSがBertのようなモデルよりも限られた利点を提供していることを示唆していますが、インタラクティブな対話中に効果的な質問をすることで有望です。

要約(オリジナル)

Large language models (LLMs) are increasingly applied to outpatient referral tasks across healthcare systems. However, there is a lack of standardized evaluation criteria to assess their effectiveness, particularly in dynamic, interactive scenarios. In this study, we systematically examine the capabilities and limitations of LLMs in managing tasks within Intelligent Outpatient Referral (IOR) systems and propose a comprehensive evaluation framework specifically designed for such systems. This framework comprises two core tasks: static evaluation, which focuses on evaluating the ability of predefined outpatient referrals, and dynamic evaluation, which evaluates capabilities of refining outpatient referral recommendations through iterative dialogues. Our findings suggest that LLMs offer limited advantages over BERT-like models, but show promise in asking effective questions during interactive dialogues.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google