Few-shot Semantic Image Synthesis with Class Affinity Transfer

要約

タイトル：Few-shot Semantic Image Synthesis with Class Affinity Transfer
要約：
– セマンティックイメージ合成は、セマンティックセグメンテーションマップが与えられたとき、写真のようなリアルな画像を生成することを目的としています。
– しかし、これらをトレーニングするためには、非常に手間のかかるピクセルごとのラベルマップで注釈付けされた画像の大規模なデータセットが必要となります。
– 高い注釈コストを緩和するために、我々は、ソースデータセットでトレーニングされたモデルを用いて、ソースとターゲットのクラス間の予測ペアの関係を利用して、小規模なターゲットデータセットでの学習能力を向上させる転移法を提案します。
– クラスアフィニティ行列は、最初のレイヤーとしてソースモデルに導入され、ターゲットラベルマップと互換性があるようになり、その後、ソースモデルはターゲットドメイン用にさらに微調整されます。
– クラスの親和性を推定するために、ソースドメインでのセマンティックセグメンテーション、テキストラベル埋め込み、自己教師付きビジョン特徴を利用するさまざまなアプローチを考慮します。
– 我々のアプローチをSEMANTIC合成に基づくGANと拡散ベースのアーキテクチャに適用しました。
– 実験結果は、クラスアフィニティを推定するための異なる方法を効果的に組み合わせることができ、我々のアプローチが生成画像モデルの既存のSOTA転移手法よりも大幅に改善されたことを示しています。

要約(オリジナル)

Semantic image synthesis aims to generate photo realistic images given a semantic segmentation map. Despite much recent progress, training them still requires large datasets of images annotated with per-pixel label maps that are extremely tedious to obtain. To alleviate the high annotation cost, we propose a transfer method that leverages a model trained on a large source dataset to improve the learning ability on small target datasets via estimated pairwise relations between source and target classes. The class affinity matrix is introduced as a first layer to the source model to make it compatible with the target label maps, and the source model is then further finetuned for the target domain. To estimate the class affinities we consider different approaches to leverage prior knowledge: semantic segmentation on the source domain, textual label embeddings, and self-supervised vision features. We apply our approach to GAN-based and diffusion-based architectures for semantic synthesis. Our experiments show that the different ways to estimate class affinity can be effectively combined, and that our approach significantly improves over existing state-of-the-art transfer approaches for generative image models.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI