MeNTi: Bridging Medical Calculator and LLM Agent with Nested Tool Calling

要約

ツールを大規模な言語モデル（LLMS）に統合することで、広範なアプリケーションが容易になりました。
それにもかかわらず、専門のダウンストリームタスクのコンテキストでは、ツールのみへの依存は、現実世界の複雑さに完全に対処するには不十分です。
これにより、医学などの分野でのLLMの効果的な展開が特に制限されています。
この論文では、標準化されたテストを使用して個人の健康状態を評価する医療計算機の下流タスクに焦点を当てています。
LLMSのユニバーサルエージェントアーキテクチャであるMentiを紹介します。
Mentiは、専門の医療ツールキットを統合し、LLMツールの利用を強化するためにメタツールおよびネストされた呼び出しメカニズムを採用しています。
具体的には、計算機の選択、スロット充填、ユニット変換など、複雑な医療シナリオで直面する実際的な問題に対処するための柔軟なツール選択とネストされたツール呼び出しを実現します。
計算機シナリオの臨床プロセス全体で定量的評価のためのLLMSの機能を評価するために、CalcqAを紹介します。
このベンチマークでは、LLMが医療計算機を使用して計算を実行し、患者の健康状態を評価する必要があります。
Calcqaは専門医によって構築されており、281の医療ツールのツールキットで補完された100の症例計算因子ペアが含まれています。
実験結果は、フレームワークで大幅なパフォーマンスの改善を示しています。
この研究は、医学の要求の厳しいシナリオにLLMを適用するための新しい方向性を舗装しています。

要約(オリジナル)

Integrating tools into Large Language Models (LLMs) has facilitated the widespread application. Despite this, in specialized downstream task contexts, reliance solely on tools is insufficient to fully address the complexities of the real world. This particularly restricts the effective deployment of LLMs in fields such as medicine. In this paper, we focus on the downstream tasks of medical calculators, which use standardized tests to assess an individual’s health status. We introduce MeNTi, a universal agent architecture for LLMs. MeNTi integrates a specialized medical toolkit and employs meta-tool and nested calling mechanisms to enhance LLM tool utilization. Specifically, it achieves flexible tool selection and nested tool calling to address practical issues faced in intricate medical scenarios, including calculator selection, slot filling, and unit conversion. To assess the capabilities of LLMs for quantitative assessment throughout the clinical process of calculator scenarios, we introduce CalcQA. This benchmark requires LLMs to use medical calculators to perform calculations and assess patient health status. CalcQA is constructed by professional physicians and includes 100 case-calculator pairs, complemented by a toolkit of 281 medical tools. The experimental results demonstrate significant performance improvements with our framework. This research paves new directions for applying LLMs in demanding scenarios of medicine.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google