ESE: Espresso Sentence Embeddings

要約

高品質の文埋め込みは、セマンティック テキスト類似性 (STS) や検索拡張生成 (RAG) など、多くの自然言語処理 (NLP) タスクの基礎です。
それにもかかわらず、既存の方法のほとんどは、フルレイヤー言語モデルからの固定長の埋め込みを活用しており、さまざまなアプリケーションにわたって多様な利用可能なリソースに対応するためのスケーラビリティに欠けています。
このギャップを考慮して、我々は 2 つの学習プロセスを備えた新しい文埋め込みモデル $\mathrm{Espresso}$ $\mathrm{Sentence}$ $\mathrm{Embeddings}$ (ESE) を提案します。
まず、表現の学習プロセスにより、より顕著な表現が下位層にエンコードされます。
2 番目に、圧縮学習プロセスでは、主成分分析 (PCA) を使用して、重要な機能が初期次元に圧縮されます。
このように、ESE は前者のプロセスによってモデルの深さをスケールし、後者のプロセスによって埋め込みサイズをスケールできます。
STS と RAG に関する広範な実験により、ESE がより少ないモデルの深さと埋め込みサイズで高品質の埋め込みを効果的に生成でき、埋め込み推論効率が向上することが示唆されています。

要約(オリジナル)

High-quality sentence embeddings are fundamental in many natural language processing (NLP) tasks, such as semantic textual similarity (STS) and retrieval-augmented generation (RAG). Nevertheless, most existing methods leverage fixed-length embeddings from full-layer language models, which lack the scalability to accommodate the diverse available resources across various applications. Viewing this gap, we propose a novel sentence embedding model $\mathrm{Espresso}$ $\mathrm{Sentence}$ $\mathrm{Embeddings}$ (ESE) with two learning processes. First, the learn-to-express process encodes more salient representations to lower layers. Second, the learn-to-compress process compacts essential features into the initial dimensions using Principal Component Analysis (PCA). This way, ESE can scale model depth via the former process and embedding size via the latter. Extensive experiments on STS and RAG suggest that ESE can effectively produce high-quality embeddings with less model depth and embedding size, enhancing embedding inference efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google