Transferring disentangled representations: bridging the gap between synthetic and real images

要約

データ生成メカニズムの基本構造を分離する、意味のある効率的な表現を開発することは、表現の学習において非常に重要です。
ただし、相関する生成要素、その解像度、およびグラウンド トゥルース ラベルへのアクセスが制限されているため、解絡表現学習は実際の画像ではその可能性を完全に発揮できていません。
特に後者については、合成データを活用して実際のデータに適用できる汎用のもつれ解除表現を学習する可能性を調査し、微調整の効果と、転送後にどのようなもつれ解除の特性が保持されるかについて議論します。
私たちはこれらの問題に対処するために広範な実証研究を提供します。
さらに、表現にエンコードされた因子の質を測定するための、解釈可能な介入ベースの新しい指標を提案します。
私たちの結果は、合成データから実際のデータに表現を転送する、ある程度のレベルのもつれの解除が可能かつ効果的であることを示しています。

要約(オリジナル)

Developing meaningful and efficient representations that separate the fundamental structure of the data generation mechanism is crucial in representation learning. However, Disentangled Representation Learning has not fully shown its potential on real images, because of correlated generative factors, their resolution and limited access to ground truth labels. Specifically on the latter, we investigate the possibility of leveraging synthetic data to learn general-purpose disentangled representations applicable to real data, discussing the effect of fine-tuning and what properties of disentanglement are preserved after the transfer. We provide an extensive empirical study to address these issues. In addition, we propose a new interpretable intervention-based metric, to measure the quality of factors encoding in the representation. Our results indicate that some level of disentanglement, transferring a representation from synthetic to real data, is possible and effective.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google