Harmonia: A Multi-Agent Reinforcement Learning Approach to Data Placement and Migration in Hybrid Storage Systems

要約

ハイブリッドストレージシステム（HSS）は、複数のストレージデバイスを多様な特性と組み合わせて、低コストで高性能と容量を実現します。
HSSのパフォーマンスは、2つの重要なポリシーの有効性に大きく依存します。（1）着信データに最適なストレージデバイスを決定するデータ配置ポリシーと、（2）高HSSパフォーマンスを維持するためにデバイス全体にデータを格納したデータ移行ポリシー。
以前の作業は、HSSのデータ配置のみまたはデータ移行のみを改善することに焦点を当てており、HSSのパフォーマンスが比較的低くなります。
残念ながら、両方のポリシーを一緒に最適化しようとする事前の作業はありません。
私たちの目標は、HSSの可能性を完全に活用してシステムパフォーマンスを大幅に改善するために、データの配置とデータ移行ポリシーの両方を最適化する全体的なデータ管理手法を設計することです。
私たちの目標を達成するために、複数の強化学習（RL）エージェントの必要性を実証します。
2つの軽量自律RLエージェント、データ配置エージェント、およびデータ移行エージェントを採用するマルチエージェントRLベースのデータ管理手法であるHarmoniaを提案します。
最大4つの不均一で多様なストレージデバイスを持つ実際のHSSでハーモニアを評価します。
2つのストレージデバイスを備えたパフォーマンス最適化（コスト最適化）HSSに関する17のデータ集約型ワークロードを使用した当社の評価は、平均して、ハーモニアが49.5％（31.7％）で最もパフォーマンスの高い事前アプローチよりも優れていることを示しています。
3つのデバイスを備えたHSSでは、ハーモニアは最高のパフォーマンスの以前の作業を37.0％（42.0％）よりも優れています。
Harmoniaのパフォーマンスの利点には、レイテンシが低く（推論の場合は240ns）、ストレージオーバーヘッド（両方のRLエージェントを一緒にドラムで206 KIB）が搭載されています。
HSSに関する将来の研究を支援するために、Harmoniaの実装をオープンソースします。

要約(オリジナル)

Hybrid storage systems (HSS) combine multiple storage devices with diverse characteristics to achieve high performance and capacity at low cost. The performance of an HSS highly depends on the effectiveness of two key policies: (1) the data-placement policy, which determines the best-fit storage device for incoming data, and (2) the data-migration policy, which rearranges stored data across the devices to sustain high HSS performance. Prior works focus on improving only data placement or only data migration in HSS, which leads to relatively low HSS performance. Unfortunately, no prior work tries to optimize both policies together. Our goal is to design a holistic data-management technique that optimizes both data-placement and data-migration policies to fully exploit the potential of an HSS, and thus significantly improve system performance. We demonstrate the need for multiple reinforcement learning (RL) agents to accomplish our goal. We propose Harmonia, a multi-agent RL-based data-management technique that employs two lightweight autonomous RL agents, a data-placement agent and a data-migration agent, which adapt their policies for the current workload and HSS configuration, and coordinate with each other to improve overall HSS performance. We evaluate Harmonia on a real HSS with up to four heterogeneous and diverse storage devices. Our evaluation using 17 data-intensive workloads on performance-optimized (cost-optimized) HSS with two storage devices shows that, on average, Harmonia outperforms the best-performing prior approach by 49.5% (31.7%). On an HSS with three (four) devices, Harmonia outperforms the best-performing prior work by 37.0% (42.0%). Harmonia’s performance benefits come with low latency (240ns for inference) and storage overheads (206 KiB in DRAM for both RL agents together). We will open-source Harmonia’s implementation to aid future research on HSS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google