ToolFactory: Automating Tool Generation by Leveraging LLM to Understand REST API Documentations

要約

LLMベースのツールエージェントは、自然言語インターフェイスを提供し、ユーザーがコンピューティングサービスとシームレスに対話できるようにします。
REST APIはそのようなエージェントを構築するための貴重なリソースですが、最初にAI互換ツールに変換する必要があります。
REST APIドキュメントからAI互換ツールを自動的に生成すると、ツールエージェントの開発を大幅に合理化し、ユーザー学習曲線を最小限に抑えることができます。
ただし、APIドキュメントは、標準化の欠如、一貫性のないスキーマ、および不完全な情報の欠如に苦しむことがよくあります。
これらの問題に対処するために、非構造化されたAPIドキュメントからツール生成を自動化するためのオープンソースパイプラインである\ TextBF {ToolFactory}を開発しました。
開発されたツールの信頼性を高めるために、エラーを診断するための評価方法を実装しました。
さらに、検証されたツールの知識ベースを構築しました。これは、文書化されていないAPIから欠落している情報を推測するために活用しました。
さまざまな形式で167のAPIドキュメントと744のエンドポイントを含むAPI抽出ベンチマークを開発し、それらを注釈にするJSONスキーマを設計しました。
この注釈付きデータセットは、ToolFactoryを訓練および検証するために利用されました。
実験結果は、ToolFactoryの有効性を強調しています。
また、グリマタリアル研究のためのドメイン固有のAIエージェントを作成することにより、ツールファクトリーを実証しました。
ToolFactoryは、AIワークフローへの科学的休憩APIのシームレスな統合を促進するための重要な可能性を示しています。

要約(オリジナル)

LLM-based tool agents offer natural language interfaces, enabling users to seamlessly interact with computing services. While REST APIs are valuable resources for building such agents, they must first be transformed into AI-compatible tools. Automatically generating AI-compatible tools from REST API documents can greatly streamline tool agent development and minimize user learning curves. However, API documentation often suffers from a lack of standardization, inconsistent schemas, and incomplete information. To address these issues, we developed \textbf{ToolFactory}, an open-source pipeline for automating tool generation from unstructured API documents. To enhance the reliability of the developed tools, we implemented an evaluation method to diagnose errors. Furthermore, we built a knowledge base of verified tools, which we leveraged to infer missing information from poorly documented APIs. We developed the API Extraction Benchmark, comprising 167 API documents and 744 endpoints in various formats, and designed a JSON schema to annotate them. This annotated dataset was utilized to train and validate ToolFactory. The experimental results highlight the effectiveness of ToolFactory. We also demonstrated ToolFactory by creating a domain-specific AI agent for glycomaterials research. ToolFactory exhibits significant potential for facilitating the seamless integration of scientific REST APIs into AI workflows.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google