Simple Techniques for Enhancing Sentence Embeddings in Generative Language Models

要約

文の埋め込みは、自然言語処理の分野における基本的なタスクとして位置づけられており、検索エンジン、エキスパート システム、および質疑応答プラットフォームで広範囲に応用されています。
LLaMA や Mistral などの大規模言語モデルの継続的な進化に伴い、文埋め込みの研究は最近、顕著な進歩を遂げています。
ただし、これらの進歩は主にシナリオの微調整に関するものであり、文章表現のための計算効率の高い直接推論方法の探求は初期段階に残されています。
この論文は、この研究ギャップを埋めることを目指しています。
私たちは、包括的な実験を通じて、事前トレーニング済み言語モデル (PLM) から文の埋め込みを導出するには明示的な 1 単語制限が必要であるという広く信じられている考えに挑戦します。
このアプローチは、直接推論シナリオ下の生成モデルには有益ですが、判別モデルや生成 PLM の微調整には必須ではないことを示します。
この発見は、今後の研究におけるマニュアルテンプレートの設計に新たな光を当てます。
この洞察に基づいて、私たちは、PLM の生の埋め込みの表現力をさらに強化できる 2 つの革新的なプロンプト エンジニアリング手法、つまり、Pretended Chain of Thought と Knowledge Enhancement を提案します。
私たちはさまざまな PLM タイプにわたってその有効性を確認し、その成功に寄与する根本的な要因を詳細に調査します。

要約(オリジナル)

Sentence Embedding stands as a fundamental task within the realm of Natural Language Processing, finding extensive application in search engines, expert systems, and question-and-answer platforms. With the continuous evolution of large language models such as LLaMA and Mistral, research on sentence embedding has recently achieved notable breakthroughs. However, these advancements mainly pertain to fine-tuning scenarios, leaving explorations into computationally efficient direct inference methods for sentence representation in a nascent stage. This paper endeavors to bridge this research gap. Through comprehensive experimentation, we challenge the widely held belief in the necessity of an Explicit One-word Limitation for deriving sentence embeddings from Pre-trained Language Models (PLMs). We demonstrate that this approach, while beneficial for generative models under direct inference scenario, is not imperative for discriminative models or the fine-tuning of generative PLMs. This discovery sheds new light on the design of manual templates in future studies. Building upon this insight, we propose two innovative prompt engineering techniques capable of further enhancing the expressive power of PLMs’ raw embeddings: Pretended Chain of Thought and Knowledge Enhancement. We confirm their effectiveness across various PLM types and provide a detailed exploration of the underlying factors contributing to their success.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google