SIFTER: A Task-specific Alignment Strategy for Enhancing Sentence Embeddings

要約

事前トレーニングの後に下流タスクで微調整を行うパラダイムは、自然言語処理タスクの主流の方法となっています。
事前トレーニングされたモデルには一般化という利点がありますが、そのパフォーマンスはドメイン タスクごとに大きく異なる可能性があります。
これは、ドメインごとにデータの分布が異なるためです。
たとえば、「彼は Smt と結婚しました」という文のさまざまな部分が異なります。
「1947 年にディパリ ゴーシュは非常に幸せな結婚生活を送りました」は、下流のタスクに異なる影響を与える可能性があります。
類似性の計算では、「led」や「life」などの単語がより重要です。
一方、感情分析では「幸せ」という言葉が重要です。
これは、下流タスクが異なれば、文の構成要素に対する感度が異なることを示しています。
私たちの出発点は、下流タスクの詳細に従ってモデルとデータの情報をスケールし、これらのタスクに関連する部分のドメイン情報を強化し、SIFTER と呼ばれるさまざまなドメイン タスクに無関係な要素を削減することです。
実験部分では、SIFTER を使用して、文幹の強化と文内の重要でないコンポーネントの削減に基づいてポジティブなサンプル ペアを構築し、3 つの文間の類似性を最大化することで SimCSE を改善します。
同様に、SIFTER は、重要な単語の入力ゲートを短絡することで LSTM モデルのゲート メカニズムを改善し、LSTM モデルが文の重要な部分を記憶できるようにします。
私たちの実験では、SIFTER が SimCSE および LSTM ベースラインを上回るパフォーマンスを示しています。

要約(オリジナル)

The paradigm of pre-training followed by fine-tuning on downstream tasks has become the mainstream method in natural language processing tasks. Although pre-trained models have the advantage of generalization, their performance may still vary significantly across different domain tasks. This is because the data distribution in different domains varies. For example, the different parts of the sentence ‘He married Smt. Dipali Ghosh in 1947 and led a very happy married life’ may have different impact for downstream tasks. For similarity calculations, words such as ‘led’ and ‘life’ are more important. On the other hand, for sentiment analysis, the word ‘happy’ is crucial. This indicates that different downstream tasks have different levels of sensitivity to sentence components. Our starting point is to scale information of the model and data according to the specifics of downstream tasks, enhancing domain information of relevant parts for these tasks and reducing irrelevant elements for different domain tasks, called SIFTER. In the experimental part, we use the SIFTER to improve SimCSE by constructing positive sample pairs based on enhancing the sentence stem and reducing the unimportant components in the sentence, and maximize the similarity between three sentences. Similarly, SIFTER can improve the gate mechanism of the LSTM model by short-circuiting the input gate of important words so that the LSTM model remembers the important parts of the sentence. Our experiments demonstrate that SIFTER outperforms the SimCSE and LSTM baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google