Improving Generalization of Metric Learning via Listwise Self-distillation

要約

ほとんどのディープメトリックラーニング（DML）メソッドは、すべてのポジティブサンプルを埋め込みスペースに近づけ、ネガティブサンプルから遠ざける戦略を採用しています。
ただし、このような戦略では、ポジティブ（ネガティブ）サンプルの内部関係が無視され、特にハードサンプルや誤ったラベルのサンプルが存在する場合、過剰適合につながることがよくあります。
この作業では、シンプルで効果的な正則化、つまりListwise Self-Distillation（LSD）を提案します。これは、モデル自体の知識を段階的に抽出して、バッチ内の各サンプルペアにより適切な距離ターゲットを適応的に割り当てます。
LSDは、過剰適合を軽減し、一般化を改善する方法として、ポジティブ（ネガティブ）サンプル内でのよりスムーズな埋め込みと情報マイニングを促進します。
当社のLSDは、一般的なDMLフレームワークに直接統合できます。
広範な実験により、LSDは複数のデータセットでさまざまなメトリック学習方法のパフォーマンスを一貫して向上させることが示されています。

要約(オリジナル)

Most deep metric learning (DML) methods employ a strategy that forces all positive samples to be close in the embedding space while keeping them away from negative ones. However, such a strategy ignores the internal relationships of positive (negative) samples and often leads to overfitting, especially in the presence of hard samples and mislabeled samples. In this work, we propose a simple yet effective regularization, namely Listwise Self-Distillation (LSD), which progressively distills a model’s own knowledge to adaptively assign a more appropriate distance target to each sample pair in a batch. LSD encourages smoother embeddings and information mining within positive (negative) samples as a way to mitigate overfitting and thus improve generalization. Our LSD can be directly integrated into general DML frameworks. Extensive experiments show that LSD consistently boosts the performance of various metric learning methods on multiple datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google