Palantir: Towards Efficient Super Resolution for Ultra-high-definition Live Streaming

要約

超解像度ディープ ニューラル ネットワークによるニューラルの強化により、既存のエンコーディングおよびネットワーキング インフラストラクチャ上での超高解像度ライブ ストリーミングの新たな可能性が開かれます。
しかし、SR DNN 推論のオーバーヘッドが大きいため、導入に深刻な課題が生じます。
オーバーヘッドを削減するために、既存のシステムは、軽量の再利用ベースの SR アプローチによって非アンカー フレームをアップスケールしながら、選択したアンカー フレームにのみ DNN ベースの SR を適用することを提案しています。
ただし、フレームレベルのスケジューリングは粒度が粗く、最適な効率を実現できません。
この研究では、きめ細かいパッチレベルのスケジューリングを備えた初のニューラル強化 UHD ライブ ストリーミング システムである Palantir を提案します。
提示されたソリューションでは、推論オーバーヘッド最適化のための適切なスケジューリング決定を行い、スケジューリング待ち時間を短縮するために、2 つの新しい技術が組み込まれています。
まず、Palantir は、当社の先駆的かつ理論的な分析の指導の下、可能なアンカー パッチ セットの下で軽量かつ正確な品質推定を行う有向非巡回グラフ (DAG) を構築します。
次に、スケジューリング レイテンシーをさらに最適化するために、Palantir は、推定プロセスの計算サブプロシージャをスパース行列 – 行列の乗算演算にリファクタリングすることで並列性を向上させます。
評価結果は、Palantir が発生するスケジューリング レイテンシは、エンドツーエンドのレイテンシ要件の 5.7% 未満に相当する無視できる程度であることを示唆しています。
最先端のリアルタイム フレーム レベルのスケジューリング戦略と比較すると、Palantir は SR 統合モバイル クライアントのエネルギー オーバーヘッドを最大 38.1% (平均 22.4%) 削減し、クラウドの金銭的コストを削減します。
ベースの SR は最大 80.1% (平均 38.4%) 増加しました。

要約(オリジナル)

Neural enhancement through super-resolution deep neural networks opens up new possibilities for ultra-high-definition live streaming over existing encoding and networking infrastructure. Yet, the heavy SR DNN inference overhead leads to severe deployment challenges. To reduce the overhead, existing systems propose to apply DNN-based SR only on selected anchor frames while upscaling non-anchor frames via the lightweight reusing-based SR approach. However, frame-level scheduling is coarse-grained and fails to deliver optimal efficiency. In this work, we propose Palantir, the first neural-enhanced UHD live streaming system with fine-grained patch-level scheduling. In the presented solutions, two novel techniques are incorporated to make good scheduling decisions for inference overhead optimization and reduce the scheduling latency. Firstly, under the guidance of our pioneering and theoretical analysis, Palantir constructs a directed acyclic graph (DAG) for lightweight yet accurate quality estimation under any possible anchor patch set. Secondly, to further optimize the scheduling latency, Palantir improves parallelizability by refactoring the computation subprocedure of the estimation process into a sparse matrix-matrix multiplication operation. The evaluation results suggest that Palantir incurs a negligible scheduling latency accounting for less than 5.7% of the end-to-end latency requirement. When compared to the state-of-the-art real-time frame-level scheduling strategy, Palantir reduces the energy overhead of SR-integrated mobile clients by 38.1% at most (and 22.4% on average) and the monetary costs of cloud-based SR by 80.1% at most (and 38.4% on average).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google