Scalable Image Coding for Humans and Machines Using Feature Fusion Network

要約

画像認識モデルが普及するにつれて、機械と人間のためのスケーラブルなコーディング方法の重要性が増しています。
画像認識モデルのアプリケーションには、交通監視や農場管理などがあります。
このようなユースケースでは、タスクでは人間による時折の画像チェックが必要となるため、スケーラブル コーディング方法が効果的であることが証明されています。
人間と機械のための既存の画像圧縮方法は、これらの要件をある程度満たしています。
ただし、これらの圧縮方法は特定の画像認識モデルにのみ有効です。
我々は、多数の画像認識モデルと互換性のある、人間と機械のための学習ベースのスケーラブルな画像符号化方法を提案します。
マシン用の画像圧縮モデルと圧縮モデルを組み合わせて、人間による画像のデコードを容易にするための追加情報を提供します。
これらの圧縮モデルの特徴は、特徴融合ネットワークを使用して融合され、効率的な画像圧縮が実現されます。
私たちの手法の追加情報圧縮モデルは、特徴融合ネットワークで異なるサイズの特徴の組み合わせを可能にすることでパラメーターの数を減らすように調整されています。
私たちのアプローチにより、特徴融合ネットワークがパラメーターの数を減らしながら画像圧縮モデルを効率的に組み合わせることが確認されました。
さらに、復号画質とビットレートの観点から画像圧縮性能を評価することにより、提案するスケーラブル符号化方式の有効性を実証する。

要約(オリジナル)

As image recognition models become more prevalent, scalable coding methods for machines and humans gain more importance. Applications of image recognition models include traffic monitoring and farm management. In these use cases, the scalable coding method proves effective because the tasks require occasional image checking by humans. Existing image compression methods for humans and machines meet these requirements to some extent. However, these compression methods are effective solely for specific image recognition models. We propose a learning-based scalable image coding method for humans and machines that is compatible with numerous image recognition models. We combine an image compression model for machines with a compression model, providing additional information to facilitate image decoding for humans. The features in these compression models are fused using a feature fusion network to achieve efficient image compression. Our method’s additional information compression model is adjusted to reduce the number of parameters by enabling combinations of features of different sizes in the feature fusion network. Our approach confirms that the feature fusion network efficiently combines image compression models while reducing the number of parameters. Furthermore, we demonstrate the effectiveness of the proposed scalable coding method by evaluating the image compression performance in terms of decoded image quality and bitrate.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google