TaskCraft: Automated Generation of Agentic Tasks

要約

自律性、ツールの使用、および適応的推論を伴うマルチステップの問題解決を必要とするエージェントタスクは、NLPとAIの進歩の中心になりつつあります。
ただし、既存の命令データにはツールの相互作用がなく、現在のエージェントベンチマークは高価な人間の注釈に依存しており、スケーラビリティが制限されています。
\ TextSC {TaskCraft}を紹介します。これは、実行可能な軌跡を実行する難易度、マルチツール、および検証可能なエージェントタスクを実行するための自動化されたワークフローです。
TaskCraftは、深さベースと幅ベースの拡張機能を使用してアトミックタスクを拡張して、構造的および階層的に複雑な課題を作成します。
経験的な結果は、これらのタスクが生成ワークフローの迅速な最適化を改善し、エージェントファンデーションモデルの監視された微調整を強化することを示しています。
約36,000のタスクの大規模な合成データセットを提示します。エージェントの調整と評価に関する将来の研究をサポートするために、さまざまな困難を抱えています。

要約(オリジナル)

Agentic tasks, which require multi-step problem solving with autonomy, tool use, and adaptive reasoning, are becoming increasingly central to the advancement of NLP and AI. However, existing instruction data lacks tool interaction, and current agentic benchmarks rely on costly human annotation, limiting their scalability. We introduce \textsc{TaskCraft}, an automated workflow for generating difficulty-scalable, multi-tool, and verifiable agentic tasks with execution trajectories. TaskCraft expands atomic tasks using depth-based and width-based extensions to create structurally and hierarchically complex challenges. Empirical results show that these tasks improve prompt optimization in the generation workflow and enhance supervised fine-tuning of agentic foundation models. We present a large-scale synthetic dataset of approximately 36,000 tasks with varying difficulty to support future research on agent tuning and evaluation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google