TVAE: Triplet-Based Variational Autoencoder using Metric Learning

要約

ディープメトリック学習は、メトリック学習で学習した埋め込みに依存して、意味表現の学習とデータの類似度測定に利用できる情報の符号化に高い効果を発揮することが実証されている。一方、近似推論には変分オートエンコーダ（VAE）が広く用いられ、有向性確率モデルに対して良好な性能を持つことが証明されている。しかし、従来のVAEでは、データラベルや特徴量の情報が扱いにくい。同様に、従来の表現学習アプローチでは、データの多くの顕著な側面を表現することができない。本プロジェクトでは、深層メトリック学習を取り入れることで、VAEにおける潜在的埋め込みを学習するための新しい統合フレームワークを提案する。特徴は、VAEの平均ベクトルに対するトリプレットロスを、VAEの標準的な証拠下限（ELBO）と組み合わせて最適化することによって学習される。このアプローチは、我々がTriplet based Variational Autoencoder (TVAE)と呼ぶもので、潜在的埋め込みにおいてよりきめ細かい情報を捉えることが可能となる。本モデルはMNISTデータセットでテストされ、従来のVAE（Kingma & Welling, 2013）がトリプレット精度75.08%を達成するのに対し、95.60%という高いトリプレット精度を達成することができました。

要約(オリジナル)

Deep metric learning has been demonstrated to be highly effective in learning semantic representation and encoding information that can be used to measure data similarity, by relying on the embedding learned from metric learning. At the same time, variational autoencoder (VAE) has widely been used to approximate inference and proved to have a good performance for directed probabilistic models. However, for traditional VAE, the data label or feature information are intractable. Similarly, traditional representation learning approaches fail to represent many salient aspects of the data. In this project, we propose a novel integrated framework to learn latent embedding in VAE by incorporating deep metric learning. The features are learned by optimizing a triplet loss on the mean vectors of VAE in conjunction with standard evidence lower bound (ELBO) of VAE. This approach, which we call Triplet based Variational Autoencoder (TVAE), allows us to capture more fine-grained information in the latent embedding. Our model is tested on MNIST data set and achieves a high triplet accuracy of 95.60% while the traditional VAE (Kingma & Welling, 2013) achieves triplet accuracy of 75.08%.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL