Machine Perception-Driven Image Compression: A Layered Generative Approach

要約

タイトル： 機械学習駆動の画像圧縮：層状生成的アプローチ

要約：

– 画像は情報を保存および伝達するための重要な媒体であるため、視覚圧縮と視覚データ知覚は、急速に成長する画像データ量に対して注目されている重要な研究トピックの2つである。
– ただし、これら2つのトピックはめったに一緒に議論されず、別々の研究道を歩んでいる。
– 学習ベースの画像圧縮方法によって提供されるコンパクトな圧縮ドメイン表現のため、効率的なデータストレージと圧縮、および機械学習タスクに対応する1つのストリームを持つ可能性がある。
– 本稿では、高い人間のビジョン指向の画像再構成品質を実現する層状生成的な画像圧縮モデルを提案している。
– 実験結果は、私たちの提案された圧縮ドメインベースのマルチタスク分析方法が、元のRGB画像を分析モデルの入力として取ることと比較して、最大99.6%ビットレート節約を実現できることを確認している。
– 模型のサイズと情報の信頼性の面から、私たちのモデルの実用能力がさらに証明されている。

要約(オリジナル)

In this age of information, images are a critical medium for storing and transmitting information. With the rapid growth of image data amount, visual compression and visual data perception are two important research topics attracting a lot attention. However, those two topics are rarely discussed together and follow separate research path. Due to the compact compressed domain representation offered by learning-based image compression methods, there exists possibility to have one stream targeting both efficient data storage and compression, and machine perception tasks. In this paper, we propose a layered generative image compression model achieving high human vision-oriented image reconstructed quality, even at extreme compression ratios. To obtain analysis efficiency and flexibility, a task-agnostic learning-based compression model is proposed, which effectively supports various compressed domain-based analytical tasks while reserves outstanding reconstructed perceptual quality, compared with traditional and learning-based codecs. In addition, joint optimization schedule is adopted to acquire best balance point among compression ratio, reconstructed image quality, and downstream perception performance. Experimental results verify that our proposed compressed domain-based multi-task analysis method can achieve comparable analysis results against the RGB image-based methods with up to 99.6% bit rate saving (i.e., compared with taking original RGB image as the analysis model input). The practical ability of our model is further justified from model size and information fidelity aspects.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI