Meta-Task Prompting Elicits Embeddings from Large Language Models

要約

モデルの微調整を必要とせずに大規模言語モデル (LLM) から高品質の文埋め込みを生成するための、新しい教師なしテキスト埋め込み手法である明示的な 1 単語制限付きメタタスク プロンプティング (MetaEOL) を導入します。
MetaEOL は、メタタスク プロンプトを活用して、複数の表現面に対応する慎重に設計された一連のプロンプトを通じて LLM が埋め込みを生成できるようにします。
私たちの包括的な実験では、さまざまなメタタスクから平均化されたエンベディングが、セマンティック テキスト類似性 (STS) ベンチマークで競争力のあるパフォーマンスをもたらし、下流タスクで優れており、対照的にトレーニングされたモデルを上回る多用途のエンベディングであることを示しています。
私たちの調査結果は、さまざまなシナリオにわたって生成を埋め込むための多用途でリソース効率の高いアプローチを提供する、新しいスケーリング則を示唆しています。

要約(オリジナル)

We introduce a new unsupervised text embedding method, Meta-Task Prompting with Explicit One-Word Limitation (MetaEOL), for generating high-quality sentence embeddings from Large Language Models (LLMs) without the need for model fine-tuning. Leveraging meta-task prompting, MetaEOL guides LLMs to produce embeddings through a series of carefully designed prompts that address multiple representational aspects. Our comprehensive experiments demonstrate that embeddings averaged from various meta-tasks are versatile embeddings that yield competitive performance on Semantic Textual Similarity (STS) benchmarks and excel in downstream tasks, surpassing contrastive-trained models. Our findings suggest a new scaling law, offering a versatile and resource-efficient approach for embedding generation across diverse scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google