PLAY2PROMPT: Zero-shot Tool Instruction Optimization for LLM Agents via Tool Play

要約

大規模な言語モデル（LLM）は、特殊な外部ツールとますます統合されていますが、多くのタスクでは、最小限またはうるさいドキュメントでゼロショットツールの使用が必要です。
既存のソリューションは、検証のために手動の書き換えまたはラベル付きデータに依存しているため、真のゼロショット設定では適用できなくなります。
これらの課題に対処するために、各ツールで体系的に「再生」する自動化されたフレームワークであるPlay2Promptを提案します。
この反復的な試行用と誤差プロセスを通じて、Play2Promptはツールドキュメントを改良し、ラベル付きデータなしで使用例を生成します。
これらの例は、LLM推論をガイドするだけでなく、ツールの利用をさらに強化するための検証としても機能します。
現実世界のタスクに関する広範な実験は、Play2promptがオープンモデルと閉じたモデルの両方でゼロショットツールのパフォーマンスを大幅に改善し、ドメイン固有のツール統合にスケーラブルで効果的なソリューションを提供することを示しています。

要約(オリジナル)

Large language models (LLMs) are increasingly integrated with specialized external tools, yet many tasks demand zero-shot tool usage with minimal or noisy documentation. Existing solutions rely on manual rewriting or labeled data for validation, making them inapplicable in true zero-shot settings. To address these challenges, we propose PLAY2PROMPT, an automated framework that systematically ‘plays’ with each tool to explore its input-output behaviors. Through this iterative trial-and-error process, PLAY2PROMPT refines tool documentation and generates usage examples without any labeled data. These examples not only guide LLM inference but also serve as validation to further enhance tool utilization. Extensive experiments on real-world tasks demonstrate that PLAY2PROMPT significantly improves zero-shot tool performance across both open and closed models, offering a scalable and effective solution for domain-specific tool integration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google