要約
映像コンテンツは、人間だけでなく、機械も視聴するようになってきています。例えば、機械学習モデルは、セキュリティや交通監視のための監視カメラの映像を解析したり、YouTubeの動画を検索して不適切なコンテンツを探したりしている。本論文では、ベースレイヤービットストリームでマシンビジョン（特に物体検出）を、エンハンスメントレイヤービットストリームでヒューマンビジョンをサポートするスケーラブルなビデオコーディングフレームワークを提案する。提案するフレームワークは、従来のビデオコーディングとDNN（Deep Neural Network）ベースのビデオコーディングの両方のコンポーネントを含んでいます。その結果、オブジェクト検出において、提案フレームワークは、最新のビデオコーデックと比較して13-19%のビット削減を達成し、ヒューマンビジョンタスクではMS-SSIMの点で競争力を維持していることが示されました。
要約(オリジナル)
Video content is watched not only by humans, but increasingly also by machines. For example, machine learning models analyze surveillance video for security and traffic monitoring, search through YouTube videos for inappropriate content, and so on. In this paper, we propose a scalable video coding framework that supports machine vision (specifically, object detection) through its base layer bitstream and human vision via its enhancement layer bitstream. The proposed framework includes components from both conventional and Deep Neural Network (DNN)-based video coding. The results show that on object detection, the proposed framework achieves 13-19% bit savings compared to state-of-the-art video codecs, while remaining competitive in terms of MS-SSIM on the human vision task.
arxiv情報
| 著者 | Hyomin Choi,Ivan V. Bajić |
| 発行日 | 2022-08-04 07:45:41+00:00 |
| arxivサイト | arxiv_id(pdf) |