Refining Self-Supervised Learning in Imaging: Beyond Linear Metric

要約

このホワイト ペーパーでは、Jaccard 類似性メトリックを活用した新しい統計的観点を、自己教師あり対照学習の損失における非線形機能を効果的に呼び出すための測定ベースのメトリックとして紹介します。
具体的には、提案されたメトリックは、いわゆる潜在表現から学習された 2 つの適応された投影間の依存性測定として解釈される場合があります。
これは、相関情報を説明する従来の対照学習モデルのコサイン類似度とは対照的です。
私たちの知る限りでは、Jaccard 類似性に埋め込まれたこの効果的に非線形に融合された情報は、有望な結果を伴う自己教師学習にとって目新しいものです。
提案されたアプローチは、3 つの画像データセットに対する 2 つの最先端の自己教師付き対照学習法と比較されます。
現在の ML 問題への適切な適用性を示すだけでなく、パフォーマンスとトレーニング効率の向上も実証します。

要約(オリジナル)

We introduce in this paper a new statistical perspective, exploiting the Jaccard similarity metric, as a measure-based metric to effectively invoke non-linear features in the loss of self-supervised contrastive learning. Specifically, our proposed metric may be interpreted as a dependence measure between two adapted projections learned from the so-called latent representations. This is in contrast to the cosine similarity measure in the conventional contrastive learning model, which accounts for correlation information. To the best of our knowledge, this effectively non-linearly fused information embedded in the Jaccard similarity, is novel to self-supervision learning with promising results. The proposed approach is compared to two state-of-the-art self-supervised contrastive learning methods on three image datasets. We not only demonstrate its amenable applicability in current ML problems, but also its improved performance and training efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google