ContraSim — A Similarity Measure Based on Contrastive Learning

要約

最近の研究では、類似性ベースの分析によってニューラル ネットワーク表現を比較し、さまざまな側面 (アーキテクチャ、トレーニング データなど) がモデルの内部表現にどのように影響するかを明らかにしています。
類似性尺度の品質は、通常、一致すると予想される表現に高いスコアを割り当てることに成功したかどうかによって評価されます。
ただし、既存の類似性測定は、標準的なベンチマークでは平凡に機能します。
この作業では、対照学習に基づいて、ContraSim と呼ばれる新しい類似性尺度を開発します。
一般的な閉じた形式の類似性測定とは対照的に、ContraSim は類似した例と異なる例の両方を使用してパラメーター化された測定を学習します。
標準レイヤー予測ベンチマークと、導入した 2 つの新しいベンチマーク (多言語ベンチマークと画像キャプション ベンチマーク) で、言語モデルと視覚モデルの両方を使用して、この方法の広範な実験的評価を実行します。
すべての場合において、ContraSim は、困難な例が提示された場合でも、以前の類似性測定よりもはるかに高い精度を達成し、以前の測定では捉えられなかった新しい洞察を明らかにします。

要約(オリジナル)

Recent work has compared neural network representations via similarity-based analyses, shedding light on how different aspects (architecture, training data, etc.) affect models’ internal representations. The quality of a similarity measure is typically evaluated by its success in assigning a high score to representations that are expected to be matched. However, existing similarity measures perform mediocrely on standard benchmarks. In this work, we develop a new similarity measure, dubbed ContraSim, based on contrastive learning. In contrast to common closed-form similarity measures, ContraSim learns a parameterized measure by using both similar and dissimilar examples. We perform an extensive experimental evaluation of our method, with both language and vision models, on the standard layer prediction benchmark and two new benchmarks that we introduce: the multilingual benchmark and the image-caption benchmark. In all cases, ContraSim achieves much higher accuracy than previous similarity measures, even when presented with challenging examples, and reveals new insights not captured by previous measures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google