RCAgent: Cloud Root Cause Analysis by Autonomous Agents with Tool-Augmented Large Language Models

要約

クラウド根本原因分析 (RCA) における大規模言語モデル (LLM) アプリケーションは、最近活発に検討されています。
ただし、現在の方法は依然として手動のワークフロー設定に依存しており、LLM の意思決定および環境インタラクション機能を解放していません。
RCAgent は、実用的でプライバシーを意識した産業用 RCA 用途のための、ツールで強化された LLM 自律エージェント フレームワークです。
RCAgent は、GPT ファミリではなく内部に展開されたモデル上で実行され、自由形式のデータ収集とツールを使用した包括的な分析が可能です。
私たちのフレームワークは、アクション軌跡の独自の自己一貫性や、コンテキスト管理、安定化、ドメイン知識のインポートのための一連のメソッドなど、さまざまな機能強化を組み合わせています。
私たちの実験では、根本原因、解決策、証拠、責任の予測など、RCA のあらゆる側面、および現在のルールでカバーされているタスクとカバーされていないタスクにおいて、RCAgent が ReAct よりも明白で一貫した優位性を示しており、これは自動化されたメトリクスと人間による評価の両方で検証されています。
さらに、RCAgent は、Alibaba Cloud の Apache Flink 用リアルタイム コンピューティング プラットフォームの診断および問題発見ワークフローにすでに統合されています。

要約(オリジナル)

Large language model (LLM) applications in cloud root cause analysis (RCA) have been actively explored recently. However, current methods are still reliant on manual workflow settings and do not unleash LLMs’ decision-making and environment interaction capabilities. We present RCAgent, a tool-augmented LLM autonomous agent framework for practical and privacy-aware industrial RCA usage. Running on an internally deployed model rather than GPT families, RCAgent is capable of free-form data collection and comprehensive analysis with tools. Our framework combines a variety of enhancements, including a unique Self-Consistency for action trajectories, and a suite of methods for context management, stabilization, and importing domain knowledge. Our experiments show RCAgent’s evident and consistent superiority over ReAct across all aspects of RCA — predicting root causes, solutions, evidence, and responsibilities — and tasks covered or uncovered by current rules, as validated by both automated metrics and human evaluations. Furthermore, RCAgent has already been integrated into the diagnosis and issue discovery workflow of the Real-time Compute Platform for Apache Flink of Alibaba Cloud.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google