Advancing Deep Metric Learning Through Multiple Batch Norms And Multi-Targeted Adversarial Examples

要約

ディープ メトリック ラーニング (DML) は、機械学習の重要な分野であり、視覚的な類似性の学習に重点を置いた広範な実用的なアプリケーションを備えています。
クリーンなデータの分布とは異なる分布に従う Adversarial Examples (AX) などの入力は、DML システムからの誤った予測をもたらすことが知られています。
このホワイト ペーパーでは、MDProp を提案します。これは、複数のディストリビューションに続くクリーン データと入力に対する DML モデルのパフォーマンスを同時に改善するためのフレームワークです。
MDProp は、DML モデルのトレーニング中に複数のバッチ正規化レイヤーを介して解きほぐされた学習を活用しながら、AX 生成プロセスを通じてマルチ分布データを利用します。
MDProp は、特徴空間のマルチターゲット AX を生成して、トレーニング モデルのより高密度の埋め込み空間領域でターゲットを絞った正則化を実行する最初の製品です。その結果、埋め込み空間密度が改善され、トレーニングされたモデルの一般化が改善されます。
包括的な実験分析から、MDProp は、従来の方法と比較して、クリーン データ Recall@1 スコアが最大 2.95% 増加し、さまざまな入力分布に対するロバスト性が最大 2.12 倍増加することを示しています。

要約(オリジナル)

Deep Metric Learning (DML) is a prominent field in machine learning with extensive practical applications that concentrate on learning visual similarities. It is known that inputs such as Adversarial Examples (AXs), which follow a distribution different from that of clean data, result in false predictions from DML systems. This paper proposes MDProp, a framework to simultaneously improve the performance of DML models on clean data and inputs following multiple distributions. MDProp utilizes multi-distribution data through an AX generation process while leveraging disentangled learning through multiple batch normalization layers during the training of a DML model. MDProp is the first to generate feature space multi-targeted AXs to perform targeted regularization on the training model’s denser embedding space regions, resulting in improved embedding space densities contributing to the improved generalization in the trained models. From a comprehensive experimental analysis, we show that MDProp results in up to 2.95% increased clean data Recall@1 scores and up to 2.12 times increased robustness against different input distributions compared to the conventional methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google