Engineering LLM Powered Multi-agent Framework for Autonomous CloudOps

要約

クラウド運用 (CloudOps) は、ますます複雑化するクラウド環境に対処する組織にとって不可欠な、クラウド インフラストラクチャの自動管理と最適化に焦点を当てた急速に成長している分野です。
MontyCloud Inc. は、自律型ボットを活用してクラウドのコンプライアンス、セキュリティ、継続的運用を管理する CloudOps 分野の大手企業の 1 つです。
プラットフォームを顧客にとってよりアクセスしやすく、効果的なものにするために、GenAI を活用しました。
既存の MontyCloud システム向けに自律型 CloudOps 用の GenAI ベースのソリューションを開発することにより、次のようなさまざまな課題が発生しました。i) 多様なデータ ソース。
ii) 複数のプロセスのオーケストレーション。
iii) 複雑なワークフローを処理して日常業務を自動化する。
この目的を達成するために、私たちは GenAI を活用し、自律性と必要な人間による制御のバランスをとるマルチエージェント フレームワークである MOYA を開発しました。
このフレームワークは、さまざまな内部および外部システムを統合し、タスク オーケストレーション、セキュリティ、エラー軽減などの要素に合わせて最適化され、検索拡張生成 (RAG) を利用して正確で信頼性の高い関連性のある洞察を生成します。
専門家の支援と自動チェックの使用による当社のマルチエージェント システムの評価では、複雑なワークフロー全体で非エージェント アプローチよりも精度、応答性、有効性が向上していることが実証されています。

要約(オリジナル)

Cloud Operations (CloudOps) is a rapidly growing field focused on the automated management and optimization of cloud infrastructure which is essential for organizations navigating increasingly complex cloud environments. MontyCloud Inc. is one of the major companies in the CloudOps domain that leverages autonomous bots to manage cloud compliance, security, and continuous operations. To make the platform more accessible and effective to the customers, we leveraged the use of GenAI. Developing a GenAI-based solution for autonomous CloudOps for the existing MontyCloud system presented us with various challenges such as i) diverse data sources; ii) orchestration of multiple processes; and iii) handling complex workflows to automate routine tasks. To this end, we developed MOYA, a multi-agent framework that leverages GenAI and balances autonomy with the necessary human control. This framework integrates various internal and external systems and is optimized for factors like task orchestration, security, and error mitigation while producing accurate, reliable, and relevant insights by utilizing Retrieval Augmented Generation (RAG). Evaluations of our multi-agent system with the help of practitioners as well as using automated checks demonstrate enhanced accuracy, responsiveness, and effectiveness over non-agentic approaches across complex workflows.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google