CallNavi, A Challenge and Empirical Study on LLM Function Calling and Routing

要約

API駆動型のチャットボットシステムは、ソフトウェアエンジニアリングアプリケーションにますます不可欠になっていますが、API呼び出しの正確な生成と実行にその効果がかかっています。
これは、複雑なパラメーター化とネストされたAPI依存関係とのマルチステップの相互作用を必要とするシナリオで特に困難です。
これらの課題に対処するこの作業は、3つの重要な進歩を通じてAIベースのソフトウェア開発の評価と評価に貢献します。（1）API機能の選択、パラメーター生成、ネストされたAPI実行のベンチマーク用に設計された新しいデータセットの導入。
（2）最先端の言語モデルの経験的評価。API関数の生成とパラメーターの精度におけるさまざまなタスクの複雑さにわたるパフォーマンスを分析します。
（3）APIルーティングへのハイブリッドアプローチ。API選択の一般的な大規模な言語モデルと微調整モデルとパラメーター生成のプロンプトエンジニアリングを組み合わせます。
これらのイノベーションは、チャットボットシステムのAPI実行を大幅に改善し、実際のソフトウェアエンジニアリングコンテキストでソフトウェア設計、テスト、および運用ワークフローを強化するための実用的な方法論を提供します。

要約(オリジナル)

API-driven chatbot systems are increasingly integral to software engineering applications, yet their effectiveness hinges on accurately generating and executing API calls. This is particularly challenging in scenarios requiring multi-step interactions with complex parameterization and nested API dependencies. Addressing these challenges, this work contributes to the evaluation and assessment of AI-based software development through three key advancements: (1) the introduction of a novel dataset specifically designed for benchmarking API function selection, parameter generation, and nested API execution; (2) an empirical evaluation of state-of-the-art language models, analyzing their performance across varying task complexities in API function generation and parameter accuracy; and (3) a hybrid approach to API routing, combining general-purpose large language models for API selection with fine-tuned models and prompt engineering for parameter generation. These innovations significantly improve API execution in chatbot systems, offering practical methodologies for enhancing software design, testing, and operational workflows in real-world software engineering contexts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google