Advanced System Integration: Analyzing OpenAPI Chunking for Retrieval-Augmented Generation

要約

高度な情報システム (IS) を構築するには、複数の (サブ) システムを統合することが不可欠です。
問題は主に、IS ライフサイクル全体にわたって動的環境を統合するときに発生します。
従来のアプローチは、システムのエンドポイントの API ドキュメントを提供するレジストリです。
大規模言語モデル (LLM) は、このドキュメントに基づいてシステム統合 (サービス構成など) を自動的に作成できることが示されていますが、入力トークンの制限により、特に包括的な API の説明に関しては簡潔な入力が必要です。
現時点では、これらの API 記述を前処理する最適な方法は不明です。
この作業では、(i) エンドポイント検出のための取得拡張生成 (RAG) の使用法と、最も関連性の高い情報を保持しながら入力トークンの長さを削減するための OpenAPI のチャンク化、つまり前処理を分析します。
構成プロンプトの入力トークンの長さをさらに短縮し、エンドポイントの取得を改善するために、(ii) 最も関連性の高いエンドポイントの概要のみを受信し、要求に応じて詳細を取得する Discovery Agent を提案します。
まず、さまざまなチャンク化の可能性と、エンドポイント取得の再現率、精度、および F1 スコアを測定するパラメーターについて、RestBench ベンチマークを使用してエンドポイント検出の RAG を評価します。
次に、同じテスト セットを使用して Discovery Agent を評価します。
私たちのプロトタイプを使用して、RAG をエンドポイント検出に使用してトークン数を削減する方法を示します。
リコール、精度、F1 の高い値が明らかになりましたが、必要なエンドポイントをすべて取得するにはさらなる研究が必要です。
私たちの実験では、前処理に関しては、LLM ベースの形式固有のアプローチが単純なチャンク方式よりも優れたパフォーマンスを発揮することが示されています。
エージェントに依存すると、エージェントがタスクを複数の細かいサブタスクに分割し、トークン数、精度、および F1 スコアの全体的な RAG パフォーマンスが向上するため、これらの結果がさらに向上します。

要約(オリジナル)

Integrating multiple (sub-)systems is essential to create advanced Information Systems (ISs). Difficulties mainly arise when integrating dynamic environments across the IS lifecycle. A traditional approach is a registry that provides the API documentation of the systems’ endpoints. Large Language Models (LLMs) have shown to be capable of automatically creating system integrations (e.g., as service composition) based on this documentation but require concise input due to input token limitations, especially regarding comprehensive API descriptions. Currently, it is unknown how best to preprocess these API descriptions. Within this work, we (i) analyze the usage of Retrieval Augmented Generation (RAG) for endpoint discovery and the chunking, i.e., preprocessing, of OpenAPIs to reduce the input token length while preserving the most relevant information. To further reduce the input token length for the composition prompt and improve endpoint retrieval, we propose (ii) a Discovery Agent that only receives a summary of the most relevant endpoints and retrieves details on demand. We evaluate RAG for endpoint discovery using the RestBench benchmark, first, for the different chunking possibilities and parameters measuring the endpoint retrieval recall, precision, and F1 score. Then, we assess the Discovery Agent using the same test set. With our prototype, we demonstrate how to successfully employ RAG for endpoint discovery to reduce the token count. While revealing high values for recall, precision, and F1, further research is necessary to retrieve all requisite endpoints. Our experiments show that for preprocessing, LLM-based and format-specific approaches outperform na\’ive chunking methods. Relying on an agent further enhances these results as the agent splits the tasks into multiple fine granular subtasks, improving the overall RAG performance in the token count, precision, and F1 score.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google