Self-distillation with Online Diffusion on Batch Manifolds Improves Deep Metric Learning

要約

最近のディープ メトリック ラーニング (DML) メソッドは通常、クラス ラベルのみを利用して、ポジティブ サンプルをネガティブ サンプルから遠ざけます。
ただし、このタイプの方法は通常、データに隠されている重要な知識 (クラス内情報の変動など) を無視します。これは、トレーニング済みモデルの一般化に有害です。
この問題を軽減するために、このホワイト ペーパーでは、DML のオンライン バッチ拡散ベースの自己蒸留 (OBD-SD) を提案します。
具体的には、トレーニング中にモデル自体から段階的に知識を抽出する、シンプルだが効果的なプログレッシブ自己蒸留 (PSD) を最初に提案します。
PSD によって達成されるソフト ディスタンス ターゲットは、サンプル間でより豊富な関係情報を提示できます。これは、埋め込み表現の多様性にとって有益です。
次に、PSD を Online Batch Diffusion Process (OBDP) で拡張します。OBDP は、バッチ内のサンプル間の固有の関係を明らかにし、より良いソフト ディスタンス ターゲットを生成できるように、各バッチ内の多様体の局所的な幾何学的構造をキャプチャします。
OBDP は、元の PSD によって得られた不十分な多様体の関係を復元し、大幅なパフォーマンスの向上を達成できることに注意してください。
当社の OBD-SD は、最先端の (SOTA) DML メソッドに統合できる柔軟なフレームワークです。
さまざまなベンチマーク、つまり CUB200、CARS196、Stanford Online Products での広範な実験により、当社の OBD-SD が複数のデータセットで既存の DML メソッドのパフォーマンスを一貫して改善し、追加のトレーニング時間はごくわずかであり、非常に競争力のある結果を達成することが実証されています。
コード: \url{https://github.com/ZelongZeng/OBD-SD_Pytorch}

要約(オリジナル)

Recent deep metric learning (DML) methods typically leverage solely class labels to keep positive samples far away from negative ones. However, this type of method normally ignores the crucial knowledge hidden in the data (e.g., intra-class information variation), which is harmful to the generalization of the trained model. To alleviate this problem, in this paper we propose Online Batch Diffusion-based Self-Distillation (OBD-SD) for DML. Specifically, we first propose a simple but effective Progressive Self-Distillation (PSD), which distills the knowledge progressively from the model itself during training. The soft distance targets achieved by PSD can present richer relational information among samples, which is beneficial for the diversity of embedding representations. Then, we extend PSD with an Online Batch Diffusion Process (OBDP), which is to capture the local geometric structure of manifolds in each batch, so that it can reveal the intrinsic relationships among samples in the batch and produce better soft distance targets. Note that our OBDP is able to restore the insufficient manifold relationships obtained by the original PSD and achieve significant performance improvement. Our OBD-SD is a flexible framework that can be integrated into state-of-the-art (SOTA) DML methods. Extensive experiments on various benchmarks, namely CUB200, CARS196, and Stanford Online Products, demonstrate that our OBD-SD consistently improves the performance of the existing DML methods on multiple datasets with negligible additional training time, achieving very competitive results. Code: \url{https://github.com/ZelongZeng/OBD-SD_Pytorch}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google