A Novel Framework for Image-to-image Translation and Image Compression

要約

機械学習を用いたデータ駆動型パラダイムは、画像処理と通信においてユビキタスになってきている。特に、画像間（I2I）変換は、画像合成、スタイル転送、画像復元などの画像処理問題に対する汎用的で広く利用されているアプローチである。同時に、ニューラル画像圧縮は、ビジュアルコミュニケーションにおいて、従来の符号化アプローチに代わるデータ駆動型のアプローチとして登場した。本論文では、この2つのパラダイムを組み合わせたI2I圧縮・翻訳フレームワークを、マルチドメイン画像合成に焦点を当てながら研究する。まず、量子化とエントロピー符号化をI2I変換フレームワーク（I2Icodec）に統合することで、分散I2I変換を提案する。しかし、実際には、画像圧縮機能（自動エンコード機能）も必要であり、I2Icodecと一緒に通常の画像コーデックを導入する必要がある。そこで、我々はさらに、1つのコーデックで翻訳と自動エンコードの両方の機能を可能にする統一的なフレームワークを提案する。翻訳/圧縮モードに応じた適応的な残差ブロックにより、希望する機能への柔軟な適応を実現する。実験では、単一のモデルを用いて、I2I翻訳と画像圧縮の両方で有望な結果を示した。

要約(オリジナル)

Data-driven paradigms using machine learning are becoming ubiquitous in image processing and communications. In particular, image-to-image (I2I) translation is a generic and widely used approach to image processing problems, such as image synthesis, style transfer, and image restoration. At the same time, neural image compression has emerged as a data-driven alternative to traditional coding approaches in visual communications. In this paper, we study the combination of these two paradigms into a joint I2I compression and translation framework, focusing on multi-domain image synthesis. We first propose distributed I2I translation by integrating quantization and entropy coding into an I2I translation framework (i.e. I2Icodec). In practice, the image compression functionality (i.e. autoencoding) is also desirable, requiring to deploy alongside I2Icodec a regular image codec. Thus, we further propose a unified framework that allows both translation and autoencoding capabilities in a single codec. Adaptive residual blocks conditioned on the translation/compression mode provide flexible adaptation to the desired functionality. The experiments show promising results in both I2I translation and image compression using a single model.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL