Cora: Accelerating Stateful Network Applications with SmartNICs

要約

ネットワーク化されたアプリケーションに対するパフォーマンス要件の増大に伴い、ステートフル ネットワーク アプリケーションを SmartNIC にオフロードしてパフォーマンスを向上させ、総所有コストを削減するという新たな傾向が見られます。
ただし、ステートフル ネットワーク アプリケーションのオフロードは、状態の操作の複雑さ、状態のリソースの消費、トラフィックと状態の複雑な関係のため、簡単ではありません。
状態やトラフィックによってプログラムを単純に分割すると、CPU 使用率が高くなったり、パケットがドロップしたりする最適ではない分割計画が作成される可能性があります。
このペーパーでは、ステートフル ネットワーク アプリケーションを SmartNIC で高速化されたホストにオフロードするコンパイラおよびランタイムである Cora を提案します。
Cora コンパイラは、各 SmartNIC に正確なパフォーマンス モデルを導入し、効率的なコンパイル アルゴリズムを採用してオフロード プランを検索します。
Cora ランタイムはトラフィックのダイナミクスを監視し、CPU 使用率を最小限に抑えるように適応できます。
Cora は、Netronome Agilio および BlueField 2 SmartNIC 上に構築されています。
私たちの評価によると、同じスループット目標に対して、Cora はベースライン ソリューションの 1.9 倍、最大 94.0% の CPU コアを節約するパーティション プランを提案できます。
同じリソース制約の下で、Cora はネットワーク機能を 44.9% ～ 82.3% 高速化できます。
Cora ランタイムはトラフィックの変化に適応し、CPU 使用率を低く抑えることができます。

要約(オリジナル)

With the growing performance requirements on networked applications, there is a new trend of offloading stateful network applications to SmartNICs to improve performance and reduce the total cost of ownership. However, offloading stateful network applications is non-trivial due to state operation complexity, state resource consumption, and the complicated relationship between traffic and state. Naively partitioning the program by state or traffic can result in a suboptimal partition plan with higher CPU usage or even packet drops. In this paper, we propose Cora, a compiler and runtime that offloads stateful network applications to SmartNIC-accelerated hosts. Cora compiler introduces an accurate performance model for each SmartNIC and employs an efficient compiling algorithm to search the offloading plan. Cora runtime can monitor traffic dynamics and adapt to minimize CPU usage. Cora is built atop Netronome Agilio and BlueField 2 SmartNICs. Our evaluation shows that for the same throughput target, Cora can propose partition plans saving up to 94.0% CPU cores, 1.9 times more than baseline solutions. Under the same resource constraint, Cora can accelerate network functions by 44.9%-82.3%. Cora runtime can adapt to traffic changes and keep CPU usage low.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google