The PetShop Dataset — Finding Causes of Performance Issues across Microservices

要約

複雑なシステムにおける予期せぬ動作や望ましくない動作の根本原因を特定することは、一般的な課題です。
この問題は、多数のマイクロサービスを採用する最新のクラウド アプリケーションでは特に重要になります。
機械学習およびシステム研究コミュニティは、この問題に取り組むためにさまざまな手法を提案してきましたが、現在、定量的なベンチマークのための標準化されたデータセットが不足しています。
その結果、研究グループは実験用に独自のデータセットを作成する必要に迫られています。
このペーパーでは、マイクロサービス ベースのアプリケーションにおける根本原因分析を評価するために特別に設計されたデータセットを紹介します。
このデータセットには、分散アプリケーションから 5 分間隔で発行されるレイテンシ、リクエスト、可用性のメトリクスが含まれています。
通常の操作メトリクスに加えて、データセットには 68 件のパフォーマンスの問題が含まれており、これによりシステム全体のレイテンシが増加し、可用性が低下します。
このデータセットを使用して、根本原因分析問題のさまざまな因果関係と非因果関係にわたるさまざまな方法の精度を評価する方法を紹介します。
https://github.com/amazon-science/petshop-root-cause-analysis/ で入手できる新しいデータセットにより、この重要な分野における技術のさらなる開発が可能になることを願っています。

要約(オリジナル)

Identifying root causes for unexpected or undesirable behavior in complex systems is a prevalent challenge. This issue becomes especially crucial in modern cloud applications that employ numerous microservices. Although the machine learning and systems research communities have proposed various techniques to tackle this problem, there is currently a lack of standardized datasets for quantitative benchmarking. Consequently, research groups are compelled to create their own datasets for experimentation. This paper introduces a dataset specifically designed for evaluating root cause analyses in microservice-based applications. The dataset encompasses latency, requests, and availability metrics emitted in 5-minute intervals from a distributed application. In addition to normal operation metrics, the dataset includes 68 injected performance issues, which increase latency and reduce availability throughout the system. We showcase how this dataset can be used to evaluate the accuracy of a variety of methods spanning different causal and non-causal characterisations of the root cause analysis problem. We hope the new dataset, available at https://github.com/amazon-science/petshop-root-cause-analysis/ enables further development of techniques in this important area.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google