DAAL: Density-Aware Adaptive Line Margin Loss for Multi-Modal Deep Metric Learning

要約

マルチモーダルディープメトリクスラーニングは、顔認証、きめ細かいオブジェクト認識、製品検索などのタスクで多様な表現を効果的にキャプチャするために不可欠です。
距離メトリクスに基づくか、マージン メトリクスに基づくかにかかわらず、メトリクス学習に対する従来のアプローチでは、主にクラス分離が強調され、マルチモーダル特徴学習に不可欠なクラス内分布が見落とされることがよくあります。
これに関連して、我々は、密度認識適応マージン損失(DAAL)と呼ばれる新しい損失関数を提案します。これは、各クラス内の適応サブクラスターの形成を促進しながら、埋め込みの密度分布を保存します。
適応ライン戦略を採用することにより、DAAL はクラス内の分散を強化するだけでなく、堅牢なクラス間の分離を保証し、効果的なマルチモーダル表現を促進します。
ベンチマークの粒度の細かいデータセットに関する包括的な実験により、DAAL の優れたパフォーマンスが実証され、高度な検索アプリケーションとマルチモーダルなディープ メトリクス ラーニングにおける DAAL の可能性が強調されています。

要約(オリジナル)

Multi-modal deep metric learning is crucial for effectively capturing diverse representations in tasks such as face verification, fine-grained object recognition, and product search. Traditional approaches to metric learning, whether based on distance or margin metrics, primarily emphasize class separation, often overlooking the intra-class distribution essential for multi-modal feature learning. In this context, we propose a novel loss function called Density-Aware Adaptive Margin Loss(DAAL), which preserves the density distribution of embeddings while encouraging the formation of adaptive sub-clusters within each class. By employing an adaptive line strategy, DAAL not only enhances intra-class variance but also ensures robust inter-class separation, facilitating effective multi-modal representation. Comprehensive experiments on benchmark fine-grained datasets demonstrate the superior performance of DAAL, underscoring its potential in advancing retrieval applications and multi-modal deep metric learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google