KwaiAgents: Generalized Information-seeking Agent System with Large Language Models

要約

人類は好奇心に駆られて、周囲の世界を探索し、理解しようと絶えず努力してきました。その結果、この好奇心を満たすためのさまざまなツールが発明されました。
人間は脳内で膨大な量の情報を処理して記憶する能力がないにもかかわらず、批判的思考、計画、熟考、利用可能なツールを活用して世界と対話し解釈することに優れており、効率的に答えを見つけることができます。
大規模言語モデル (LLM) の最近の進歩は、マシンも前述の人間のような機能を備えており、パラメータ数が制限されていても強力な能力を発揮できる可能性を示唆しています。
本稿では、LLM に基づいた汎用情報探索エージェント システムである KwaiAgents を紹介します。
KwaiAgents 内では、ユーザーのクエリ、行動ガイドラインを理解し、外部ドキュメントを参照できる認知コアとして LLM を採用するエージェント システムを提案します。
また、エージェントは、内部メモリから情報を更新および取得し、時間認識の検索ブラウズ ツールキットを使用してアクションを計画および実行し、最終的に包括的な応答を提供することもできます。
GPT-4 よりも高度ではない LLM を搭載した場合のシステムのパフォーマンスをさらに調査し、オープンソースの 7B または 13B モデルでも多くのエージェント システム間で良好なパフォーマンスを保証するように設計されたメタエージェント チューニング (MAT) フレームワークを紹介します。
私たちはベンチマークと人間による評価の両方を活用して、これらの機能を体系的に検証します。
広範な実験により、他の自律エージェントと比較した当社のエージェント システムの優位性が示され、微調整された LLM の強化された汎用エージェント能力が強調されています。

要約(オリジナル)

Driven by curiosity, humans have continually sought to explore and understand the world around them, leading to the invention of various tools to satiate this inquisitiveness. Despite not having the capacity to process and memorize vast amounts of information in their brains, humans excel in critical thinking, planning, reflection, and harnessing available tools to interact with and interpret the world, enabling them to find answers efficiently. The recent advancements in large language models (LLMs) suggest that machines might also possess the aforementioned human-like capabilities, allowing them to exhibit powerful abilities even with a constrained parameter count. In this paper, we introduce KwaiAgents, a generalized information-seeking agent system based on LLMs. Within KwaiAgents, we propose an agent system that employs LLMs as its cognitive core, which is capable of understanding a user’s query, behavior guidelines, and referencing external documents. The agent can also update and retrieve information from its internal memory, plan and execute actions using a time-aware search-browse toolkit, and ultimately provide a comprehensive response. We further investigate the system’s performance when powered by LLMs less advanced than GPT-4, and introduce the Meta-Agent Tuning (MAT) framework, designed to ensure even an open-sourced 7B or 13B model performs well among many agent systems. We exploit both benchmark and human evaluations to systematically validate these capabilities. Extensive experiments show the superiority of our agent system compared to other autonomous agents and highlight the enhanced generalized agent-abilities of our fine-tuned LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google