Your Mixture-of-Experts LLM Is Secretly an Embedding Model For Free

要約

大規模言語モデル (LLM) は生成タスクでは優れていますが、デコーダのみのアーキテクチャにより、さらなる表現の微調整が適用されない場合、埋め込みモデルとしての可能性が制限されることがよくあります。
これは彼らのジェネラリストの主張と矛盾しますか？
この質問に答えるために、Mixture-of-Experts (MoE) LLM を詳しく見ていきます。
私たちの研究では、MoE LLM のエキスパート ルーターが、微調整を必要とせずに、さまざまなクラスの埋め込みに重点を置いたタスクで有望なパフォーマンスを備えた既製の埋め込みモデルとして機能できることが示されています。
さらに、私たちの広範な分析は、MoE ルーティング ウェイト（RW）が、広く使用されている埋め込みである LLM の隠れ状態（HS）を補完することを示しています。
HS と比較すると、RW はプロンプトの選択に対してより堅牢であり、高レベルのセマンティクスに焦点を当てていることがわかります。
この分析に基づいて、RW と HS を組み合わせた MoEE を提案します。これにより、どちらかを個別に使用するよりも優れたパフォーマンスが実現します。
それらの組み合わせとプロンプト戦略の調査により、RW と HS の類似度の加重合計がそれらの連結における類似度を上回るなど、いくつかの新しい洞察が得られました。
私たちの実験は、Massive Text Embedding Benchmark (MTEB) からの 20 のデータセットを使用した 6 つの埋め込みタスクで実行されました。
この結果は、MoEE によって、さらに微調整することなく LLM ベースの埋め込みに大幅な改善がもたらされたことを示しています。

要約(オリジナル)

While large language models (LLMs) excel on generation tasks, their decoder-only architecture often limits their potential as embedding models if no further representation finetuning is applied. Does this contradict their claim of generalists? To answer the question, we take a closer look at Mixture-of-Experts (MoE) LLMs. Our study shows that the expert routers in MoE LLMs can serve as an off-the-shelf embedding model with promising performance on a diverse class of embedding-focused tasks, without requiring any finetuning. Moreover, our extensive analysis shows that the MoE routing weights (RW) is complementary to the hidden state (HS) of LLMs, a widely-used embedding. Compared to HS, we find that RW is more robust to the choice of prompts and focuses on high-level semantics. Motivated by the analysis, we propose MoEE combining RW and HS, which achieves better performance than using either separately. Our exploration of their combination and prompting strategy shed several novel insights, e.g., a weighted sum of RW and HS similarities outperforms the similarity on their concatenation. Our experiments are conducted on 6 embedding tasks with 20 datasets from the Massive Text Embedding Benchmark (MTEB). The results demonstrate the significant improvement brought by MoEE to LLM-based embedding without further finetuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google