Towards Uncertainty-Aware Language Agent

要約

言語エージェントは、外部世界と動的に対話する、より汎用性の高い設計の中核に大規模言語モデルを配置することで有望な成功を収めていますが、既存のアプローチでは、これらの対話中の不確実性の概念が無視されています。
我々は、不確実性の定量化を使用してエージェントと外界との間の対話を調整するフレームワークである Uncertainty-Aware Language Agent (UALA) を紹介します。
ReAct などの他のよく知られた対応物と比較して、3 つの代表的なタスク (HotpotQA、StrategyQA、MMLU) とさまざまな LLM サイズにわたる広範な実験により、UALA が外部世界への依存度が大幅に低い一方で、パフォーマンスが大幅に向上することが実証されました。
、ツール呼び出しとトークンの数が減少します）。
私たちの分析は、エージェントの微調整と比較した UALA の大きな可能性や、不確実性の代用としての LLM の言語化された信頼性の信頼性の低さを強調するなど、さまざまな洞察を提供します。

要約(オリジナル)

While Language Agents have achieved promising success by placing Large Language Models at the core of a more versatile design that dynamically interacts with the external world, the existing approaches neglect the notion of uncertainty during these interactions. We present the Uncertainty-Aware Language Agent (UALA), a framework that orchestrates the interaction between the agent and the external world using uncertainty quantification. Compared with other well-known counterparts like ReAct, our extensive experiments across 3 representative tasks (HotpotQA, StrategyQA, MMLU) and various LLM sizes demonstrates that UALA brings a significant improvement of performance, while having a substantially lower reliance on the external world (i.e., reduced number of tool calls and tokens). Our analyses provide various insights including the great potential of UALA compared with agent fine-tuning, and underscoring the unreliably of verbalised confidence of LLMs as a proxy for uncertainty.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google