Domain Adaptation for Learned Image Compression with Supervised Adapters

要約

学習済み画像圧縮 (LIC) では、ソース ドメインからサンプリングされた画像のエンコードとデコードでモデルがトレーニングされ、多くの場合、自然画像に対する従来のコーデックよりも優れたパフォーマンスを発揮します。
ただし、さまざまなドメインからサンプリングされた画像では、そのパフォーマンスは最適とは程遠いかもしれません。
この研究では、ソース ドメインを含む各ターゲット ドメインのアダプター モジュールをデコーダーに接続することで、事前トレーニングされたモデルを複数のターゲット ドメインに適応させるという問題に取り組みます。
各アダプターは、モデルがトレーニング時に表示された画像を忘れることなく、特定のドメインでのデコーダーのパフォーマンスを向上させます。
ゲート ネットワークは、ビットストリームがデコードされるときに、アダプターからの寄与を最適にブレンドするために重みを計算します。
2 つの最先端の事前トレーニング済みモデルでこの方法を実験的に検証し、ソース ドメインでのペナルティなしでターゲット ドメインでのレート歪み効率の向上を観察しました。
さらに、学習されたターゲット ドメインとの類似性を見つけるゲートの機能により、ターゲット ドメイン外の画像に対してもエンコード効率が向上します。

要約(オリジナル)

In Learned Image Compression (LIC), a model is trained at encoding and decoding images sampled from a source domain, often outperforming traditional codecs on natural images; yet its performance may be far from optimal on images sampled from different domains. In this work, we tackle the problem of adapting a pre-trained model to multiple target domains by plugging into the decoder an adapter module for each of them, including the source one. Each adapter improves the decoder performance on a specific domain, without the model forgetting about the images seen at training time. A gate network computes the weights to optimally blend the contributions from the adapters when the bitstream is decoded. We experimentally validate our method over two state-of-the-art pre-trained models, observing improved rate-distortion efficiency on the target domains without penalties on the source domain. Furthermore, the gate’s ability to find similarities with the learned target domains enables better encoding efficiency also for images outside them.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google