Towards Better Understanding of Contrastive Sentence Representation Learning: A Unified Paradigm for Gradient

要約

文表現学習 (SRL) は、自然言語処理 (NLP) において重要なタスクです。現在、対照的な自己教師あり学習 (SSL) が主流のアプローチです。
しかし、その顕著な効果の背後にある理由はまだ不明です。
具体的には、多くの研究で、理論的な観点から、コントラスト SSL と非コントラスト SSL の類似点が調査されています。
このような類似性は分類タスクで検証でき、2 つのアプローチは同等のパフォーマンスを達成します。
しかし、ランク付けタスク (つまり、SRL のセマンティック テキスト類似性 (STS)) では、対照的な SSL は非対照的な SSL よりも大幅に優れています。
したがって、2 つの疑問が生じます: 1 つ目は、*さまざまな対照的な損失が STS で優れたパフォーマンスを達成できる共通点は何ですか?* 2 つ目は、*どのようにして非対照的な SSL も STS でも有効にできるのでしょうか?* これらの質問に対処するために、次の観点から始めます。
そして、4 つの有効なコントラスト損失を統合パラダイムに統合できることを発見します。このパラダイムは、**勾配散逸**、**重み**、**比率**の 3 つの要素に依存します。
次に、これらのコンポーネントが最適化において果たす役割を詳細に分析し、モデルのパフォーマンスに対するコンポーネントの重要性を実験的に実証します。
最後に、これらのコンポーネントを調整することで、非コントラスト SSL が STS で優れたパフォーマンスを達成できるようにします。

要約(オリジナル)

Sentence Representation Learning (SRL) is a crucial task in Natural Language Processing (NLP), where contrastive Self-Supervised Learning (SSL) is currently a mainstream approach. However, the reasons behind its remarkable effectiveness remain unclear. Specifically, many studies have investigated the similarities between contrastive and non-contrastive SSL from a theoretical perspective. Such similarities can be verified in classification tasks, where the two approaches achieve comparable performance. But in ranking tasks (i.e., Semantic Textual Similarity (STS) in SRL), contrastive SSL significantly outperforms non-contrastive SSL. Therefore, two questions arise: First, *what commonalities enable various contrastive losses to achieve superior performance in STS?* Second, *how can we make non-contrastive SSL also effective in STS?* To address these questions, we start from the perspective of gradients and discover that four effective contrastive losses can be integrated into a unified paradigm, which depends on three components: the **Gradient Dissipation**, the **Weight**, and the **Ratio**. Then, we conduct an in-depth analysis of the roles these components play in optimization and experimentally demonstrate their significance for model performance. Finally, by adjusting these components, we enable non-contrastive SSL to achieve outstanding performance in STS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google