How good are variational autoencoders at transfer learning?

要約

タイトル：変分オートエンコーダーは転移学習にどの程度優れているか？

要約：
– 変分オートエンコーダー（VAE）は、音楽生成や医療画像解析など、さまざまな研究分野で転移学習に使用されています。
– ただし、転送前に再トレーニングするコンポーネントを評価する方法や、転移学習がターゲットタスクに役立つ可能性があるかどうかを評価する原則的な方法はありません。
– この問題について、「表現類似性」の観点から探ることを提案します。
– 特に、Centred Kernel Alignment（CKA）を使用して、異なるデータセットでトレーニングされたVAEの類似性を評価することで、エンコーダーの表現が一般的であるが、デコーダーの表現は特定であることを示します。
– これらの洞察から、VAEのどのコンポーネントを再トレーニングするかを選択するための示唆を議論し、分類タスクで転移学習が役立つ可能性があるかどうかを視覚的に評価する方法を提案します。

要約(オリジナル)

Variational autoencoders (VAEs) are used for transfer learning across various research domains such as music generation or medical image analysis. However, there is no principled way to assess before transfer which components to retrain or whether transfer learning is likely to help on a target task. We propose to explore this question through the lens of representational similarity. Specifically, using Centred Kernel Alignment (CKA) to evaluate the similarity of VAEs trained on different datasets, we show that encoders’ representations are generic but decoders’ specific. Based on these insights, we discuss the implications for selecting which components of a VAE to retrain and propose a method to visually assess whether transfer learning is likely to help on classification tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI