SwissNYF: Tool Grounded LLM Agents for Black Box Setting

要約

大規模言語モデル (LLM) は関数呼び出しの強化された機能を実証していますが、これらの進歩は主に関数の応答へのアクセスに依存しています。
この方法論は、単純な API には実用的ですが、データベース削除 API など、システムに大きな影響を与える不可逆的な API ではスケーラビリティの問題に直面します。
同様に、各 API 呼び出しに長時間を必要とするプロセスや、自動化されたアクション パイプラインなどの事前計画が必要なプロセスには、複雑な課題が存在します。
さらに、アルゴリズムがこれらの関数の特定の実装や関数を使用するための秘密に直接アクセスできないため、一般化されたアプローチが必要になるシナリオがよく発生します。
このような場合、従来のツール計画方法は不十分であり、ブラックボックス環境内で運用する必要があります。
ツール操作におけるパフォーマンスとは異なり、LLM はプログラム合成などのブラックボックス タスクに優れています。
したがって、LLM のプログラム合成機能を利用して、ブラックボックス設定でツールの使用を戦略化し、実装前にソリューションが確実に検証されるようにします。
ブラック ボックス ツールの計画にプログラム合成を活用した独創的なアプローチである TOPGUN を紹介します。
SwissNYF は、計画および検証タスク用のブラックボックス アルゴリズムを統合した包括的なスイートであり、前述の課題に対処し、複雑な API インタラクションにおける LLM の汎用性と有効性を強化します。
SwissNYF のパブリック コードは、https://github.com/iclr-dummy-user/SwissNYF で入手できます。

要約(オリジナル)

While Large Language Models (LLMs) have demonstrated enhanced capabilities in function-calling, these advancements primarily rely on accessing the functions’ responses. This methodology is practical for simpler APIs but faces scalability issues with irreversible APIs that significantly impact the system, such as a database deletion API. Similarly, processes requiring extensive time for each API call and those necessitating forward planning, like automated action pipelines, present complex challenges. Furthermore, scenarios often arise where a generalized approach is needed because algorithms lack direct access to the specific implementations of these functions or secrets to use them. Traditional tool planning methods are inadequate in these cases, compelling the need to operate within black-box environments. Unlike their performance in tool manipulation, LLMs excel in black-box tasks, such as program synthesis. Therefore, we harness the program synthesis capabilities of LLMs to strategize tool usage in black-box settings, ensuring solutions are verified prior to implementation. We introduce TOPGUN, an ingeniously crafted approach leveraging program synthesis for black box tool planning. Accompanied by SwissNYF, a comprehensive suite that integrates black-box algorithms for planning and verification tasks, addressing the aforementioned challenges and enhancing the versatility and effectiveness of LLMs in complex API interactions. The public code for SwissNYF is available at https://github.com/iclr-dummy-user/SwissNYF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google