Conditional Hallucinations for Image Compression

要約

非可逆画像圧縮では、モデルは、情報のボトルネックにより、細部が幻覚になったり、配布範囲外のサンプルが生成されたりするという課題に直面します。
これは、配布中のサンプルを生成するには、幻覚の導入が必要な場合があることを意味します。
人間は意味上の意味を変える小さな変化に敏感であるため、最適な幻覚レベルは画像の内容によって異なります。
コンテンツに基づいて幻覚の程度を動的にバランスさせる新しい圧縮方法を提案します。
データを収集し、幻覚に関するユーザーの好みを予測するモデルをトレーニングします。
この予測を使用して再構成損失における知覚の重みを調整することにより、最先端の画像圧縮方法を上回る条件付き幻覚圧縮モデル (ConHa) を開発します。
コードと画像は https://polybox.ethz.ch/index.php/s/owS1k5JYs4KD4TA で入手できます。

要約(オリジナル)

In lossy image compression, models face the challenge of either hallucinating details or generating out-of-distribution samples due to the information bottleneck. This implies that at times, introducing hallucinations is necessary to generate in-distribution samples. The optimal level of hallucination varies depending on image content, as humans are sensitive to small changes that alter the semantic meaning. We propose a novel compression method that dynamically balances the degree of hallucination based on content. We collect data and train a model to predict user preferences on hallucinations. By using this prediction to adjust the perceptual weight in the reconstruction loss, we develop a Conditionally Hallucinating compression model (ConHa) that outperforms state-of-the-art image compression methods. Code and images are available at https://polybox.ethz.ch/index.php/s/owS1k5JYs4KD4TA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google