A Semi-Paired Approach For Label-to-Image Translation

要約

データ効率、つまり少数のラベル付きデータから一般化する能力は、依然として深層学習における大きな課題です。
半教師あり学習は、大量のラベル付きデータの必要性を軽減する従来の認識タスクでは盛んに行われてきましたが、画像から画像への変換 (I2I) タスクでは依然として研究が進んでいません。
この研究では、セマンティック ラベル マップからフォトリアリスティックな画像を生成する I2I の挑戦的なサブタスクである、ラベルから画像への変換のための最初の半教師あり (半ペア) フレームワークを紹介します。
セミペア設定では、モデルはペアになったデータの小さなセットと、ペアになっていない画像とラベルの大きなセットにアクセスできます。
以前の研究のように幾何学的変換を口実タスクとして使用する代わりに、ペアになったデータの条件付き弁別器を逆生成器として利用することにより、入力再構成タスクを利用します。
我々は、この共有ネットワークのトレーニング アルゴリズムを提案し、過小評価されているクラスに焦点を当てるためのレア クラス サンプリング アルゴリズムを提示します。
3 つの標準ベンチマークの実験では、提案されたモデルが、はるかに少ない数のペア サンプルを使用しながら、最先端の教師なしアプローチおよび半教師ありアプローチ、さらに一部の完全教師ありアプローチよりも優れたパフォーマンスを発揮することが示されています。

要約(オリジナル)

Data efficiency, or the ability to generalize from a few labeled data, remains a major challenge in deep learning. Semi-supervised learning has thrived in traditional recognition tasks alleviating the need for large amounts of labeled data, yet it remains understudied in image-to-image translation (I2I) tasks. In this work, we introduce the first semi-supervised (semi-paired) framework for label-to-image translation, a challenging subtask of I2I which generates photorealistic images from semantic label maps. In the semi-paired setting, the model has access to a small set of paired data and a larger set of unpaired images and labels. Instead of using geometrical transformations as a pretext task like previous works, we leverage an input reconstruction task by exploiting the conditional discriminator on the paired data as a reverse generator. We propose a training algorithm for this shared network, and we present a rare classes sampling algorithm to focus on under-represented classes. Experiments on 3 standard benchmarks show that the proposed model outperforms state-of-the-art unsupervised and semi-supervised approaches, as well as some fully supervised approaches while using a much smaller number of paired samples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google