Coalitions of Large Language Models Increase the Robustness of AI Agents

要約

大規模言語モデル（Large Language Models: LLM）の出現は、デジタルシステムとの関わり方を根本的に変え、日々のワークフローを支援するLLMを搭載したAIエージェントの追求につながった。LLMは、強力で、いくつかの創発的特性を示すことができる一方で、論理的推論者ではなく、ワークフローを計画し、実行するためにAIエージェントが実行するすべてのサブタスクにおいて、しばしばうまく実行するのに苦労する。既存の研究では、このような習熟度の不足を、膨大な規模での一般的な事前訓練や、ツール使用のための特別な微調整によって対処しているが、我々は、事前訓練されたLLMの連合で構成され、それぞれが個々のサブタスクで特別な性能を示すシステムが、単一のモデルエージェントの性能に匹敵できるかどうかを評価する。モデル連合のアプローチは、特定のモデルが示す特徴を活用することで、これらのAIエージェントの堅牢性を構築し、運用コストを削減する可能性を示す。我々の発見は、事前に訓練されたモデルの連合を考慮することにより、微調整を緩和できることを示しており、このアプローチはLLMを利用する他の非エージェントシステムにも適用できると考えている。

要約(オリジナル)

The emergence of Large Language Models (LLMs) have fundamentally altered the way we interact with digital systems and have led to the pursuit of LLM powered AI agents to assist in daily workflows. LLMs, whilst powerful and capable of demonstrating some emergent properties, are not logical reasoners and often struggle to perform well at all sub-tasks carried out by an AI agent to plan and execute a workflow. While existing studies tackle this lack of proficiency by generalised pretraining at a huge scale or by specialised fine-tuning for tool use, we assess if a system comprising of a coalition of pretrained LLMs, each exhibiting specialised performance at individual sub-tasks, can match the performance of single model agents. The coalition of models approach showcases its potential for building robustness and reducing the operational costs of these AI agents by leveraging traits exhibited by specific models. Our findings demonstrate that fine-tuning can be mitigated by considering a coalition of pretrained models and believe that this approach can be applied to other non-agentic systems which utilise LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL