FunReason: Enhancing Large Language Models’ Function Calling via Self-Refinement Multiscale Loss and Automated Data Refinement

要約

大規模な言語モデル（LLMS）と関数呼び出しの統合は、実際のアプリケーションで実用的なユーティリティを強化するための重要な機能として浮上しています。
ただし、推論プロセスと正確な関数の実行を効果的に組み合わせることは、依然として重要な課題です。
従来のトレーニングアプローチは、詳細な推論ステップと関数呼び出しの精度のバランスをとるのに苦労し、最適ではないパフォーマンスにつながります。
これらの制限に対処するために、自動化されたデータ改良戦略と自己修正マルチスケール損失（SRML）アプローチを通じてLLMSの関数呼び出し機能を強化する新しいフレームワークであるFunreasonを紹介します。
FunReasonは、LLMの自然な推論能力を活用して高品質のトレーニングの例を生成し、クエリの分散性、一貫性の推論、および関数呼び出し精度に焦点を当てています。
SRMLアプローチは、トレーニング中の推論プロセスと関数呼び出しの精度の貢献度のバランスをとり、これら2つの重要な側面間の固有のトレードオフに対処します。
Funreasonは、GPT-4oに匹敵するパフォーマンスを達成しながら、微調整中の壊滅的な忘却を効果的に緩和します。
FunReasonは、バランスの取れたトレーニング方法とデータ改良パイプラインを導入することにより、LLMSの関数呼び出し機能を強化するための包括的なソリューションを提供します。
コードとデータセットについては、github https://github.com/bingguanghao/funreasonのリポジトリを参照してください。

要約(オリジナル)

The integration of large language models (LLMs) with function calling has emerged as a crucial capability for enhancing their practical utility in real-world applications. However, effectively combining reasoning processes with accurate function execution remains a significant challenge. Traditional training approaches often struggle to balance the detailed reasoning steps with the precision of function calls, leading to suboptimal performance. To address these limitations, we introduce FunReason, a novel framework that enhances LLMs’ function calling capabilities through an automated data refinement strategy and a Self-Refinement Multiscale Loss (SRML) approach. FunReason leverages LLMs’ natural reasoning abilities to generate high-quality training examples, focusing on query parseability, reasoning coherence, and function call precision. The SRML approach dynamically balances the contribution of reasoning processes and function call accuracy during training, addressing the inherent trade-off between these two critical aspects. FunReason achieves performance comparable to GPT-4o while effectively mitigating catastrophic forgetting during fine-tuning. FunReason provides a comprehensive solution for enhancing LLMs’ function calling capabilities by introducing a balanced training methodology and a data refinement pipeline. For code and dataset, please refer to our repository at GitHub https://github.com/BingguangHao/FunReason

arxiv情報

提供元, 利用サービス

arxiv.jp, Google