Reparo: Loss-Resilient Generative Codec for Video Conferencing

要約

ビデオ会議でパケットが失われると、品質の低下やビデオのフリーズが発生することがよくあります。
リアルタイム再生の要件により、失われたパケットを再送信しようとすることは通常は現実的ではありません。
前方誤り訂正 (FEC) を使用して失われたパケットを回復することは、適切な冗長レベルを決定することが難しいため、困難です。
この論文では、生成深層学習モデルを使用して損失に強いビデオ会議を作成するための Reparo と呼ばれるフレームワークを提案します。
私たちのアプローチには、フレームまたはフレームの一部が失われたときに欠落情報を生成することが含まれます。
この世代は、これまでに受け取ったデータと、視覚的な世界で人々がどのように見え、服装をし、相互作用するかについてのモデルの知識に基づいて条件付けされます。
公開されているビデオ会議データセットに対する私たちの実験では、Reparo がビデオ品質 (PSNR で測定) とビデオ フリーズの両方の点で最先端の FEC ベースのビデオ会議よりも優れていることが示されています。

要約(オリジナル)

Loss of packets in video conferencing often results in poor quality and video freezing. Attempting to retransmit the lost packets is usually not practical due to the requirement for real-time playback. Using Forward Error Correction (FEC) to recover the lost packets is challenging since it is difficult to determine the appropriate level of redundancy. In this paper, we propose a framework called Reparo for creating loss-resilient video conferencing using generative deep learning models. Our approach involves generating missing information when a frame or part of a frame is lost. This generation is conditioned on the data received so far, and the model’s knowledge of how people look, dress, and interact in the visual world. Our experiments on publicly available video conferencing datasets show that Reparo outperforms state-of-the-art FEC-based video conferencing in terms of both video quality (measured by PSNR) and video freezes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google