Multi-Realism Image Compression with a Conditional Generator

要約

タイトル： 条件付きジェネレータを用いたマルチリアリズム画像圧縮

要約：従来のレート・歪み最適化モデルが生成するぼやけた再構成ではなく、低ビットレートでも詳細でリアルな画像を生成する生成圧縮手法は、レート・歪み・リアリズムのトレードオフを最適化することで実現されます。しかしながら、これらの手法は、どの程度の詳細が合成されるかを明示的に制御することはできないため、この手法についての共通の批判として、入力画像から遠いところで誤った再構成が生成されるのではないかと心配するユーザーがいます。本研究では、両方の領域を橋渡しするデコーダをトレーニングすることで、この懸念を軽減することに取り組んでいます。単一の圧縮表現から、受信者は、入力に近い低平均二乗誤差再構成、高い知覚品質を持つリアルな再構成、またはその間の何かを決定することができます。本手法では、歪み – リアリズムの新記録を樹立し、実現可能な歪みリアリズムのペアの前線を押し広げ、つまり、本手法はより高いリアリズムでより良い歪み性能を発揮し、より低い歪みでより良いリアリズム性能を発揮しています。

– 従来のレート・歪み最適化モデルが生成する再構成のぼやけを、生成圧縮手法は詳細でリアルな画像に置き換える。
– 過去の研究では、詳細がどの程度合成されるかが制御できないことが懸念されていたが、本研究ではその問題に取り組んでいる。
– 受信者が入力に近い低平均二乗誤差再構成、高い知覚品質を持つリアルな再構成、またはその間のどちらを選択できるようになる。
– 本手法は、歪み性能とリアリズム性能の両方において、新記録を樹立し、より高いリアリズムでより良い歪み性能を発揮し、より低い歪みでより良いリアリズム性能を発揮しています。

要約(オリジナル)

By optimizing the rate-distortion-realism trade-off, generative compression approaches produce detailed, realistic images, even at low bit rates, instead of the blurry reconstructions produced by rate-distortion optimized models. However, previous methods do not explicitly control how much detail is synthesized, which results in a common criticism of these methods: users might be worried that a misleading reconstruction far from the input image is generated. In this work, we alleviate these concerns by training a decoder that can bridge the two regimes and navigate the distortion-realism trade-off. From a single compressed representation, the receiver can decide to either reconstruct a low mean squared error reconstruction that is close to the input, a realistic reconstruction with high perceptual quality, or anything in between. With our method, we set a new state-of-the-art in distortion-realism, pushing the frontier of achievable distortion-realism pairs, i.e., our method achieves better distortions at high realism and better realism at low distortion than ever before.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI