Meta-Task Prompting Elicits Embedding from Large Language Models

要約

この研究では、モデルの微調整やタスクを必要とせずに大規模言語モデル (LLM) から高品質の文埋め込みを生成するための、新しい教師なし埋め込み手法である明示的な 1 単語制限付きメタタスク プロンプティング (MetaEOL) を導入します。
– 特定のエンジニアリング。
MetaEOL は、メタタスク プロンプトを活用して、複数の表現面に対応する慎重に設計された一連のプロンプトを通じて LLM が埋め込みを生成できるようにします。
私たちの包括的な実験では、さまざまなメタタスクから平均化されたエンベディングが、セマンティック テキスト類似性 (STS) ベンチマークで競争力のあるパフォーマンスをもたらし、下流タスクで優れており、対照的にトレーニングされたモデルを上回ることが実証されました。
私たちの調査結果は、埋め込み生成のための新しいスケーリング則を示唆しており、文中心の多様なシナリオにわたって埋め込み抽出のための多用途でリソース効率の高いアプローチを提供します。

要約(オリジナル)

In this work, we introduce a new unsupervised embedding method, Meta-Task Prompting with Explicit One-Word Limitation (MetaEOL), for generating high-quality sentence embeddings from Large Language Models (LLMs) without the need for model fine-tuning or task-specific engineering. Leveraging meta-task prompting, MetaEOL guides LLMs to produce embeddings through a series of carefully designed prompts that address multiple representational aspects. Our comprehensive experiments demonstrate that embeddings averaged from various meta-tasks yield competitive performance on Semantic Textual Similarity (STS) benchmarks and excel in downstream tasks, surpassing contrastive-trained models. Our findings suggest a new scaling law for embedding generation, offering a versatile, resource-efficient approach for embedding extraction across diverse sentence-centric scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google