Scaling Sentence Embeddings with Large Language Models

要約

大規模言語モデル (LLM) は、最近大きな関心を集めています。
コンテキスト内学習により、LLM はさまざまな自然言語タスクで素晴らしい結果を達成します。
ただし、LLM を文の埋め込みに適用することは、依然として研究中の領域です。
この研究では、文埋め込みのパフォーマンスを向上させることを目的とした、コンテキスト内学習ベースの方法を提案します。
私たちのアプローチには、以前のプロンプトベースの表現方法を自己回帰モデルに適応させ、LLM がコンテキスト内学習を実行できるようにするデモンストレーション セットを構築し、LLM をさまざまなモデル サイズにスケールアップすることが含まれます。
広範な実験を通じて、コンテキスト内学習により、LLM は微調整を行わずに高品質の文埋め込みを生成できるようになります。
これは、LLM が現在の対照的な学習方法に匹敵するパフォーマンスを達成するのに役立ちます。
モデル サイズをスケーリングすると、数百億を超えるパラメーターにスケーリングすると、セマンティック テキスト類似性 (STS) タスクのパフォーマンスが低下することがわかりました。
ただし、最大のモデルは他のモデルよりも優れたパフォーマンスを発揮し、転送タスクに関して新しい最先端の結果を達成します。
また、現在の対比学習アプローチを使用して LLM を微調整し、プロンプトベースの手法を組み込んだ 2.7B OPT モデルは 4.8B ST5 のパフォーマンスを上回り、STS タスクで新しい最先端の結果を達成しました。
私たちのコードは https://github.com/kongds/scaling_sentemb で入手できます。

要約(オリジナル)

Large language models (LLMs) have recently garnered significant interest. With in-context learning, LLMs achieve impressive results in various natural language tasks. However, the application of LLMs to sentence embeddings remains an area of ongoing research. In this work, we propose an in-context learning-based method aimed at improving sentence embeddings performance. Our approach involves adapting the previous prompt-based representation method for autoregressive models, constructing a demonstration set that enables LLMs to perform in-context learning, and scaling up the LLMs to different model sizes. Through extensive experiments, in-context learning enables LLMs to generate high-quality sentence embeddings without any fine-tuning. It helps LLMs achieve performance comparable to current contrastive learning methods. By scaling model size, we find scaling to more than tens of billion parameters harms the performance on semantic textual similarity (STS) tasks. However, the largest model outperforms other counterparts and achieves the new state-of-the-art result on transfer tasks. We also fine-tune LLMs with current contrastive learning approach, and the 2.7B OPT model, incorporating our prompt-based method, surpasses the performance of 4.8B ST5, achieving the new state-of-the-art results on STS tasks. Our code is available at https://github.com/kongds/scaling_sentemb.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google