Telepresence Video Quality Assessment

要約

ビデオとオーディオの両方のコンテンツを含むビデオ会議は、COVID-19の大流行により何百万人もの人々が家で働き、学ぶことを余儀なくされたため、インターネットトラフィックの劇的な増加に貢献しました。
ビデオ会議のグローバルインターネットトラフィックは劇的に増加しました。このため、Zoom、Webex、Meetなどを介してストリーミングされるテレプレゼンストラフィックを監視および知覚的に最適化するには、効率的で正確なビデオ品質ツールが必要です。ただし、既存のモデルは、マルチでの予測機能に制限があります。
-モーダル、ライブストリーミングテレプレゼンスコンテンツ。
ここでは、テレプレゼンスビデオ品質評価（TVQA）の重要な課題にいくつかの方法で対処します。
まず、さまざまな国から約2kのテレプレゼンス動画を収集することで、主観的にラベル付けされたデータの不足を軽減しました。このビデオでは、約80kの主観的な品質のラベルをクラウドソーシングしました。
この新しいリソースを使用して、ライブストリーミング用の初めてのオンラインビデオ品質予測フレームワークを作成しました。ビジュアルとオーディオの品質予測を計算するための個別の経路を備えたマルチモーダル学習フレームワークを使用しました。
当社のオールインワンモデルは、パッチ、フレーム、クリップ、および視聴覚レベルで正確な品質予測を提供できます。
私たちのモデルは、既存の品質データベースと新しいTVQAデータベースの両方で最先端のパフォーマンスを実現し、計算コストを大幅に削減して、モバイルおよび組み込みシステムにとって魅力的なソリューションにしています。

要約(オリジナル)

Video conferencing, which includes both video and audio content, has contributed to dramatic increases in Internet traffic, as the COVID-19 pandemic forced millions of people to work and learn from home. Global Internet traffic of video conferencing has dramatically increased Because of this, efficient and accurate video quality tools are needed to monitor and perceptually optimize telepresence traffic streamed via Zoom, Webex, Meet, etc. However, existing models are limited in their prediction capabilities on multi-modal, live streaming telepresence content. Here we address the significant challenges of Telepresence Video Quality Assessment (TVQA) in several ways. First, we mitigated the dearth of subjectively labeled data by collecting ~2k telepresence videos from different countries, on which we crowdsourced ~80k subjective quality labels. Using this new resource, we created a first-of-a-kind online video quality prediction framework for live streaming, using a multi-modal learning framework with separate pathways to compute visual and audio quality predictions. Our all-in-one model is able to provide accurate quality predictions at the patch, frame, clip, and audiovisual levels. Our model achieves state-of-the-art performance on both existing quality databases and our new TVQA database, at a considerably lower computational expense, making it an attractive solution for mobile and embedded systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google