Deep Metric Learning with Chance Constraints

要約

ディープメトリクス学習 (DML) は、埋め込み空間におけるペアごとのクラス内/クラス間近接違反の経験的に予想される損失を最小限に抑えることを目的としています。
DML を有限確率制約の実現可能性問題に関連付けます。
プロキシベースの DML のミニマイザーは特定の確率制約を満たし、プロキシベースのメソッドの最悪の場合の汎化パフォーマンスは、対応するクラスのドメイン全体をカバーするクラス プロキシの周囲の最小ボールの半径によって特徴付けることができることを示します。
サンプルでは、​​クラスごとに複数のプロキシを使用するとパフォーマンスが向上することを提案しています。
スケーラブルなアルゴリズムを提供し、より多くのプロキシを活用するために、プロキシ ベースの DML インスタンスのミニマイザーによって暗示される偶然の制約を考慮し、そのような制約の交差点で実行可能な点を見つけるように DML を再定式化します。その結果、問題は次のように近似的に解決されます。
反復投影。
簡単に言えば、正規化されたプロキシベースの損失を繰り返しトレーニングし、意図的に選択された新しいサンプルの埋め込みでプロキシを再初期化します。
私たちは、広く受け入れられている 4 つの DML 損失にこの手法を適用し、4 つの一般的な DML ベンチマークでの広範な評価によって有効性を示しました。
コードはhttps://github.com/yetigurbuz/ccp-dmlで入手できます。

要約(オリジナル)

Deep metric learning (DML) aims to minimize empirical expected loss of the pairwise intra-/inter- class proximity violations in the embedding space. We relate DML to feasibility problem of finite chance constraints. We show that minimizer of proxy-based DML satisfies certain chance constraints, and that the worst case generalization performance of the proxy-based methods can be characterized by the radius of the smallest ball around a class proxy to cover the entire domain of the corresponding class samples, suggesting multiple proxies per class helps performance. To provide a scalable algorithm as well as exploiting more proxies, we consider the chance constraints implied by the minimizers of proxy-based DML instances and reformulate DML as finding a feasible point in intersection of such constraints, resulting in a problem to be approximately solved by iterative projections. Simply put, we repeatedly train a regularized proxy-based loss and re-initialize the proxies with the embeddings of the deliberately selected new samples. We applied our method with 4 well-accepted DML losses and show the effectiveness with extensive evaluations on 4 popular DML benchmarks. Code is available at: https://github.com/yetigurbuz/ccp-dml

arxiv情報

提供元, 利用サービス

arxiv.jp, Google