PEER: Expertizing Domain-Specific Tasks with a Multi-Agent Framework and Tuning Methods

要約

ドメイン固有のアプリケーションでは、正確なプロンプトまたは検索拡張生成 (RAG) で強化された GPT-4 は顕著な可能性を示しますが、パフォーマンス、コスト、データ プライバシーという重要なトリレンマに直面しています。
高いパフォーマンスには高度な処理技術が必要ですが、複雑なワークフロー内で複数のエージェントを管理することはコストがかかり、困難であることがよくあります。
これに対処するために、PEER (計画、実行、エクスプレス、レビュー) マルチエージェント フレームワークを導入します。
これにより、正確な質問の分解、高度な情報検索、包括的な要約、および厳格な自己評価を統合することにより、ドメイン固有のタスクが体系化されます。
コストとデータ プライバシーの懸念を考慮して、企業は GPT-4 のような独自モデルからカスタム モデルに移行し、コスト、セキュリティ、パフォーマンスのバランスをとっています。
私たちは、オンライン データとユーザー フィードバックを活用して効率的なモデル チューニングを行う業界慣行を開発しました。
この調査では、ドメイン固有の問題解決にマルチエージェント システムを適用し、効果的なエージェント調整戦略を実装するためのベスト プラクティス ガイドラインを提供します。
特に財務上の質問応答領域における当社の実証研究では、コストを効果的に管理し、データ プライバシーを確​​保しながら、当社のアプローチが GPT-4 のパフォーマンスの 95.0% を達成することが実証されています。

要約(オリジナル)

In domain-specific applications, GPT-4, augmented with precise prompts or Retrieval-Augmented Generation (RAG), shows notable potential but faces the critical tri-lemma of performance, cost, and data privacy. High performance requires sophisticated processing techniques, yet managing multiple agents within a complex workflow often proves costly and challenging. To address this, we introduce the PEER (Plan, Execute, Express, Review) multi-agent framework. This systematizes domain-specific tasks by integrating precise question decomposition, advanced information retrieval, comprehensive summarization, and rigorous self-assessment. Given the concerns of cost and data privacy, enterprises are shifting from proprietary models like GPT-4 to custom models, striking a balance between cost, security, and performance. We developed industrial practices leveraging online data and user feedback for efficient model tuning. This study provides best practice guidelines for applying multi-agent systems in domain-specific problem-solving and implementing effective agent tuning strategies. Our empirical studies, particularly in the financial question-answering domain, demonstrate that our approach achieves 95.0% of GPT-4’s performance, while effectively managing costs and ensuring data privacy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google