CallNavi: A Study and Challenge on Function Calling Routing and Invocation in Large Language Models

要約

チャットボットを介してソフトウェア システムと対話することは、特にチャットボットがシステムと通信するために正しい順序で適切なパラメーターを使用して API 呼び出しを生成する必要がある場合に、困難になることがあります。
チャットボット システムでの API 呼び出しは、特に正確な API の選択と実行が必要な複雑な複数ステップのタスクにおいて、重大な課題を引き起こします。
私たちは 3 つの方法でこの領域に貢献しています。1 つは、API 関数の選択、パラメーターの生成、およびネストされた API 呼び出しに関するモデルを評価するように設計された新しいデータセットを導入することです。
2 つ目は、さまざまな複雑さのレベルにわたって最先端の言語モデルのベンチマークを行い、API 関数の生成とパラメーターの精度におけるパフォーマンスを評価することです。
3 番目は、API 選択用の汎用大規模言語モデルと、パラメーター生成用の微調整モデルおよび何らかの迅速なエンジニアリング アプローチを組み合わせた、強化された API ルーティング方法を提案することです。
これらのアプローチは、複雑な API タスクの処理における大幅な改善につながり、現実世界の API 駆動型チャットボット システムに実用的な進歩をもたらします。

要約(オリジナル)

Interacting with a software system via a chatbot can be challenging, especially when the chatbot needs to generate API calls, in the right order and with the right parameters, to communicate with the system. API calling in chatbot systems poses significant challenges, particularly in complex, multi-step tasks requiring accurate API selection and execution. We contribute to this domain in three ways: first, by introducing a novel dataset designed to assess models on API function selection, parameter generation, and nested API calls; second, by benchmarking state-of-the-art language models across varying levels of complexity to evaluate their performance in API function generation and parameter accuracy; and third, by proposing an enhanced API routing method that combines general-purpose large language models for API selection with fine-tuned models for parameter generation and some prompt engineering approach. These approaches lead to substantial improvements in handling complex API tasks, offering practical advancements for real-world API-driven chatbot systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google