Simple Disentanglement of Style and Content in Visual Representations

要約

解釈可能な特徴を備えた視覚表現、つまりもつれの解けた表現を学習することは、依然として困難な問題です。
既存の方法はある程度の成功を示していますが、ImageNet のような大規模なビジョン データセットに適用するのは困難です。
この研究では、事前にトレーニングされた視覚モデルから学習された表現のコンテンツとスタイルを解きほぐすための、単純な後処理フレームワークを提案します。
事前トレーニングされた特徴を、潜在コンテンツとスタイル要素の線形もつれの組み合わせとして確率的にモデル化し、確率モデルに基づいて単純なもつれ解除アルゴリズムを開発します。
この方法がコンテンツとスタイルの特徴を明らかに解きほぐすことを示し、その有効性を経験的に検証します。
後処理された機能により、スタイルの変更やスタイルに関連した偽の相関によって分布のシフトが発生した場合に、ドメイン汎化のパフォーマンスが大幅に向上します。

要約(オリジナル)

Learning visual representations with interpretable features, i.e., disentangled representations, remains a challenging problem. Existing methods demonstrate some success but are hard to apply to large-scale vision datasets like ImageNet. In this work, we propose a simple post-processing framework to disentangle content and style in learned representations from pre-trained vision models. We model the pre-trained features probabilistically as linearly entangled combinations of the latent content and style factors and develop a simple disentanglement algorithm based on the probabilistic model. We show that the method provably disentangles content and style features and verify its efficacy empirically. Our post-processed features yield significant domain generalization performance improvements when the distribution shift occurs due to style changes or style-related spurious correlations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google