Learning Empirical Bregman Divergence for Uncertain Distance Representation

要約

タイトル：不確実な距離表現のための経験的Bregmanダイバージェンスの学習

要約：深層メトリック学習技術は、深いネットワークを用いたサンプルの埋め込みを学習することにより、監視されたおよび非監視されたさまざまな学習タスクでの視覚的表現に使用されています。ただし、固定距離メトリックを2つの埋め込み間の類似度関数として使用する従来のアプローチは、複雑なデータ分布をキャプチャするために最適でない場合があります。Bregmanダイバージェンスは、さまざまな距離メトリックの測定を一般化し、深層メトリック学習の多くの分野で現れます。本論文では、まず、Bregmanダイバージェンスから深層メトリック学習の損失がどのように生じるかを示します。次に、Bregmanダイバージェンスの基礎となる凸関数を深層学習設定でパラメータ化することにより、データから直接学習するための新しい方法を紹介します。さらに、私たちのアプローチがパターン認識問題に特に効果的であることを含め、他のSOTA深層メトリック学習手法と比較して、5つの人気のある公共データセットで効果的に実行されることを実験的に示します。

– 深層メトリック学習の従来のアプローチは、固定距離メトリックを2つの埋め込み間の類似度関数として使用することで、複雑なデータ分布をキャプチャするために最適でない場合がある。
– Bregmanダイバージェンスは、深層メトリック学習の多くの分野で現れる。
– 本論文では、Bregmanダイバージェンスから深層メトリック学習の損失がどのように生じるかを示した後、データから直接学習するための新しい方法を紹介する。
– このアプローチは、他のSOTA深層メトリック学習手法と比較して、5つの人気のある公共データセットで効果的に実行されることを実験的に示す。
– このアプローチは、パターン認識問題に特に効果的であることを示す。

要約(オリジナル)

Deep metric learning techniques have been used for visual representation in various supervised and unsupervised learning tasks through learning embeddings of samples with deep networks. However, classic approaches, which employ a fixed distance metric as a similarity function between two embeddings, may lead to suboptimal performance for capturing the complex data distribution. The Bregman divergence generalizes measures of various distance metrics and arises throughout many fields of deep metric learning. In this paper, we first show how deep metric learning loss can arise from the Bregman divergence. We then introduce a novel method for learning empirical Bregman divergence directly from data based on parameterizing the convex function underlying the Bregman divergence with a deep learning setting. We further experimentally show that our approach performs effectively on five popular public datasets compared to other SOTA deep metric learning methods, particularly for pattern recognition problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI