Guided Deep Metric Learning

要約

ディープメトリック学習（DML）メソッドは、視覚的類似性学習に関連することが証明されています。
ただし、不適切なサンプル選択戦略を使用してトレーニングされることが多いため、またはデータの分布シフトによって引き起こされるデータセットの難しさのために、一般化プロパティが不足している場合があります。
これらは、基礎となるデータ多様体を学習しようとするときに重大な欠点を表します。
したがって、基礎となる多様体の一般化と表現を取得するためのより良い方法を開発する差し迫った必要性があります。
この論文では、DMLへの新しいアプローチを提案します。これは、よりコンパクトなクラスターを学習し、DMLの分布シフトの下での一般化を改善することを目的とした新しいアーキテクチャであるGuided DeepMetricLearningと呼ばれます。
この新しいアーキテクチャは、2つの独立したモデルで構成されています。Few-ShotLearning（FSL）の観点から着想を得たマルチブランチマスターモデルは、ラベル付けされたデータからの事前知識に基づいて、縮小された仮説空間を生成します。
オフライン知識蒸留スキームの下でのトレーニング中の学生モデル。
実験により、Musgrave et al。によって提案されたガイドラインを使用して、提案された方法が最大40％の改善（Recall @ 1、CIFAR10）までより良い多様体の一般化と表現が可能であることが示されました。
より公平で現実的な比較を実行するために、これは現在文献にはありません

要約(オリジナル)

Deep Metric Learning (DML) methods have been proven relevant for visual similarity learning. However, they sometimes lack generalization properties because they are trained often using an inappropriate sample selection strategy or due to the difficulty of the dataset caused by a distributional shift in the data. These represent a significant drawback when attempting to learn the underlying data manifold. Therefore, there is a pressing need to develop better ways of obtaining generalization and representation of the underlying manifold. In this paper, we propose a novel approach to DML that we call Guided Deep Metric Learning, a novel architecture oriented to learning more compact clusters, improving generalization under distributional shifts in DML. This novel architecture consists of two independent models: A multi-branch master model, inspired from a Few-Shot Learning (FSL) perspective, generates a reduced hypothesis space based on prior knowledge from labeled data, which guides or regularizes the decision boundary of a student model during training under an offline knowledge distillation scheme. Experiments have shown that the proposed method is capable of a better manifold generalization and representation to up to 40% improvement (Recall@1, CIFAR10), using guidelines suggested by Musgrave et al. to perform a more fair and realistic comparison, which is currently absent in the literature

arxiv情報

提供元, 利用サービス

arxiv.jp, Google