Anti-Collapse Loss for Deep Metric Learning Based on Coding Rate Metric

要約

ディープメトリック学習(Deep Metric Learning: DML)は、分類、クラスタリング、検索のような下流のタスクのために、識別可能な高次元埋め込み空間を学習することを目的としている。先行文献では、クラス間の不一致を最大化し、クラス内の多様性を最小化するために、ペアベースやプロキシベースの手法が主に用いられている。しかし、これらの手法はラベル情報に過度に依存するため、埋め込み空間の崩壊に悩まされる傾向がある。これは、最適でない特徴表現と劣ったモデル性能につながる。埋め込み空間の構造を維持し、特徴の崩壊を回避するために、我々はAnti-Collapse Lossと呼ばれる新しい損失関数を提案する。具体的には、我々の提案する損失は、主に最大符号化率削減の原理から着想を得ている。これは、埋め込み空間における特徴クラスタの疎密を促進し、サンプル特徴またはクラスプロキシの平均符号化率を最大化することで崩壊を防ぐ。さらに、我々の提案する損失をペアベースやプロキシベースの手法と統合することで、顕著な性能向上をもたらす。ベンチマークデータセットを用いた包括的な実験により、提案手法が既存の最先端手法を凌駕することを実証する。広範なアブレーション研究により、埋め込み空間の崩壊を防ぎ、汎化性能を促進する本手法の有効性を検証する。

要約(オリジナル)

Deep metric learning (DML) aims to learn a discriminative high-dimensional embedding space for downstream tasks like classification, clustering, and retrieval. Prior literature predominantly focuses on pair-based and proxy-based methods to maximize inter-class discrepancy and minimize intra-class diversity. However, these methods tend to suffer from the collapse of the embedding space due to their over-reliance on label information. This leads to sub-optimal feature representation and inferior model performance. To maintain the structure of embedding space and avoid feature collapse, we propose a novel loss function called Anti-Collapse Loss. Specifically, our proposed loss primarily draws inspiration from the principle of Maximal Coding Rate Reduction. It promotes the sparseness of feature clusters in the embedding space to prevent collapse by maximizing the average coding rate of sample features or class proxies. Moreover, we integrate our proposed loss with pair-based and proxy-based methods, resulting in notable performance improvement. Comprehensive experiments on benchmark datasets demonstrate that our proposed method outperforms existing state-of-the-art methods. Extensive ablation studies verify the effectiveness of our method in preventing embedding space collapse and promoting generalization performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL