Husky: A Unified, Open-Source Language Agent for Multi-Step Reasoning

要約

言語エージェントは、各ステップを正確に実行するツールを使用して複雑なタスクを実行します。
ただし、既存のエージェントのほとんどは独自のモデルに基づいているか、数学やマルチホップ質問応答などの特定のタスクを対象とするように設計されています。
Husky は、数値的、表形式、知識ベースの推論を含むさまざまな複雑なタスクに対処するために、統一されたアクション空間を介して推論することを学習する、総合的なオープンソース言語エージェントです。
Husky は、1) 特定のタスクの解決に向けて実行する次のアクションを生成する、2) エキスパート モデルを使用してアクションを実行し、現在の解決状態を更新する 2 つのステージを繰り返します。
当社は、複雑なタスクに対処するためのアクションの徹底的なオントロジーを特定し、これらのアクションを実行するためのエキスパート モデルをトレーニングするために高品質のデータを収集します。
私たちの実験では、Husky が 14 の評価データセット全体で以前の言語エージェントよりも優れたパフォーマンスを示しました。
さらに、不足している知識の取得と数値推論の実行に重点を置き、混合ツール推論の言語エージェントをストレス テストする新しい評価セットである HuskyQA を紹介します。
7B モデルを使用しているにもかかわらず、Husky はこれらのタスクに関して GPT-4 などの最先端の LM に匹敵するか、それを上回っており、複雑な推論問題に対処する際の総合的なアプローチの有効性を示しています。
コードとモデルは https://github.com/agent-husky/Husky-v1 で入手できます。

要約(オリジナル)

Language agents perform complex tasks by using tools to execute each step precisely. However, most existing agents are based on proprietary models or designed to target specific tasks, such as mathematics or multi-hop question answering. We introduce Husky, a holistic, open-source language agent that learns to reason over a unified action space to address a diverse set of complex tasks involving numerical, tabular, and knowledge-based reasoning. Husky iterates between two stages: 1) generating the next action to take towards solving a given task and 2) executing the action using expert models and updating the current solution state. We identify a thorough ontology of actions for addressing complex tasks and curate high-quality data to train expert models for executing these actions. Our experiments show that Husky outperforms prior language agents across 14 evaluation datasets. Moreover, we introduce HuskyQA, a new evaluation set which stress tests language agents for mixed-tool reasoning, with a focus on retrieving missing knowledge and performing numerical reasoning. Despite using 7B models, Husky matches or even exceeds frontier LMs such as GPT-4 on these tasks, showcasing the efficacy of our holistic approach in addressing complex reasoning problems. Our code and models are available at https://github.com/agent-husky/Husky-v1.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google