One Embedder, Any Task: Instruction-Finetuned Text Embeddings

要約

INSTRUCTOR は、タスク命令が与えられたテキスト埋め込みを計算するための新しい方法です。すべてのテキスト入力は、ユースケースを説明する命令 (タスクやドメインの説明など) と一緒に埋め込まれます。
より専門化された以前の研究のエンコーダーとは異なり、INSTRUCTOR は、さらなるトレーニングなしで、さまざまなダウンストリーム タスクやドメインに合わせたテキスト エンベディングを生成できる単一のエンベッダーです。
まず、330 の多様なタスクの指示に注釈を付け、対照的な損失を伴うこのマルチタスクの混合物についてインストラクターをトレーニングします。
分類や情報検索から意味論的なテキストの類似性やテキスト生成の評価まで、70 の埋め込み評価タスク (そのうち 66 タスクはトレーニング中に表示されません) で INSTRUCTOR を評価します。
INSTRUCTOR は、以前の最良のモデルよりもパラメーターが 1 桁少ないにもかかわらず、70 の多様なデータセットにおける以前の最良の結果と比較して平均 3.4% 向上した最先端のパフォーマンスを実現します。
私たちの分析では、INSTRUCTOR が命令の変更に対して堅牢であり、命令の微調整により、多様なデータセットで単一のモデルをトレーニングするという課題が軽減されることが示唆されています。
私たちのモデル、コード、データは https://instructor-embedding.github.io で入手できます。

要約(オリジナル)

We introduce INSTRUCTOR, a new method for computing text embeddings given task instructions: every text input is embedded together with instructions explaining the use case (e.g., task and domain descriptions). Unlike encoders from prior work that are more specialized, INSTRUCTOR is a single embedder that can generate text embeddings tailored to different downstream tasks and domains, without any further training. We first annotate instructions for 330 diverse tasks and train INSTRUCTOR on this multitask mixture with a contrastive loss. We evaluate INSTRUCTOR on 70 embedding evaluation tasks (66 of which are unseen during training), ranging from classification and information retrieval to semantic textual similarity and text generation evaluation. INSTRUCTOR, while having an order of magnitude fewer parameters than the previous best model, achieves state-of-the-art performance, with an average improvement of 3.4% compared to the previous best results on the 70 diverse datasets. Our analysis suggests that INSTRUCTOR is robust to changes in instructions, and that instruction finetuning mitigates the challenge of training a single model on diverse datasets. Our model, code, and data are available at https://instructor-embedding.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google