Collaborative Evolving Strategy for Automatic Data-Centric Development

要約

人工知能 (AI) は、機械学習モデル用の大量の高品質データのおかげで、多くの分野に大きな影響を与えています。
現在は、モデル設計の進捗よりもデータ開発を優先する、データ中心の AI 戦略に重点が置かれています。
このプロセスを自動化することが重要です。
このペーパーでは、自動データ中心開発 (AD^2) タスクを紹介し、その中核となる課題について概説する最初の研究として機能します。これには、以前の研究ではほとんど調査されていなかった、ドメイン専門家のようなタスクのスケジューリングと実装能力が必要です。
大規模言語モデル (LLM) の強力で複雑な問題解決能力を活用することにより、我々は、Collaborative Knowledge-STudying-Enhanced Evolution by Retrieval (Co-STEER) という戦略を備えた LLM ベースの自律エージェントを提案し、すべての課題に同時に対処します。
課題。
具体的には、私たちが提案する Co-STEER エージェントは、私たちが提案する進化する戦略を通じてそのドメインの知識を強化し、ドメイン固有の実践的な経験を蓄積して取得することによって、スケジューリングと実装のスキルの両方を開発します。
スケジュールが改善されると、実装能力が加速されます。
同時に、実装のフィードバックがより徹底的になるため、スケジューリングの精度が向上します。
これら 2 つの機能は実践的なフィードバックを通じて一緒に進化し、協力的な進化プロセスを可能にします。
広範な実験結果は、当社の Co-STEER エージェントが AD^2 研究に新境地を開拓し、強力な進化可能なスケジュールと実装能力を備え、そのコンポーネントの重要な有効性を実証していることを示しています。
私たちの Co-STEER は、AD^2 の進歩への道を切り開きます。

要約(オリジナル)

Artificial Intelligence (AI) significantly influences many fields, largely thanks to the vast amounts of high-quality data for machine learning models. The emphasis is now on a data-centric AI strategy, prioritizing data development over model design progress. Automating this process is crucial. In this paper, we serve as the first work to introduce the automatic data-centric development (AD^2) task and outline its core challenges, which require domain-experts-like task scheduling and implementation capability, largely unexplored by previous work. By leveraging the strong complex problem-solving capabilities of large language models (LLMs), we propose an LLM-based autonomous agent, equipped with a strategy named Collaborative Knowledge-STudying-Enhanced Evolution by Retrieval (Co-STEER), to simultaneously address all the challenges. Specifically, our proposed Co-STEER agent enriches its domain knowledge through our proposed evolving strategy and develops both its scheduling and implementation skills by accumulating and retrieving domain-specific practical experience. With an improved schedule, the capability for implementation accelerates. Simultaneously, as implementation feedback becomes more thorough, the scheduling accuracy increases. These two capabilities evolve together through practical feedback, enabling a collaborative evolution process. Extensive experimental results demonstrate that our Co-STEER agent breaks new ground in AD^2 research, possesses strong evolvable schedule and implementation ability, and demonstrates the significant effectiveness of its components. Our Co-STEER paves the way for AD^2 advancements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google