MASLab: A Unified and Comprehensive Codebase for LLM-based Multi-Agent Systems

要約

LLMベースのマルチエージェントシステム（MAS）は、単一のLLMを強化して、実際のアプリケーションで複雑で多様なタスクに対処する重要な可能性を実証しています。
かなりの進歩にもかかわらず、この分野には既存の方法を統合する統一されたコードベースが欠けており、その結果、再実装の取り組み、不当な比較、および研究者の高い入学障壁があります。
これらの課題に対処するために、LLMベースのMAS向けの統一された包括的な、研究に優しいコードベースであるMaslabを紹介します。
（1）MASLABは、複数のドメインにわたって20を超える確立されたメソッドを統合し、それぞれがステップバイステップの出力と公式の実装を比較することにより厳密に検証されます。
（2）MASLABは、メソッド間の公正な比較のためにさまざまなベンチマークを備えた統一環境を提供し、一貫した入力と標準化された評価プロトコルを確保します。
（3）MASLABは、共有された合理化された構造内で方法を実装し、理解と拡張のための障壁を下げます。
MASLABに基づいて、10以上のベンチマークと8つのモデルをカバーする広範な実験を実施し、MASメソッドの現在のランドスケープの明確で包括的な見解を研究者に提供します。
Maslabは進化を続け、この分野の最新の開発を追跡し、より広範なオープンソースコミュニティからの貢献を招きます。

要約(オリジナル)

LLM-based multi-agent systems (MAS) have demonstrated significant potential in enhancing single LLMs to address complex and diverse tasks in practical applications. Despite considerable advancements, the field lacks a unified codebase that consolidates existing methods, resulting in redundant re-implementation efforts, unfair comparisons, and high entry barriers for researchers. To address these challenges, we introduce MASLab, a unified, comprehensive, and research-friendly codebase for LLM-based MAS. (1) MASLab integrates over 20 established methods across multiple domains, each rigorously validated by comparing step-by-step outputs with its official implementation. (2) MASLab provides a unified environment with various benchmarks for fair comparisons among methods, ensuring consistent inputs and standardized evaluation protocols. (3) MASLab implements methods within a shared streamlined structure, lowering the barriers for understanding and extension. Building on MASLab, we conduct extensive experiments covering 10+ benchmarks and 8 models, offering researchers a clear and comprehensive view of the current landscape of MAS methods. MASLab will continue to evolve, tracking the latest developments in the field, and invite contributions from the broader open-source community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google