2D Matryoshka Sentence Embeddings

要約

一般的なアプローチは、意味論的テキスト類似性 (STS) などの下流タスクの文埋め込みとして、言語モデルからの固定長埋め込みベクトルに依存します。
このような方法は、さまざまなアプリケーションにわたる未知の計算上の制約と予算のため、柔軟性が制限されています。
Matryoshka Representation Learning (MRL) (Kusupati et al., 2022) は、アドホック タスクに適応的に対応するために、より細かい粒度で、つまりより低い埋め込み次元で情報をエンコードします。
より小さい埋め込みサイズでも同様の精度を達成でき、ダウンストリーム タスクの高速化につながります。
効率が向上したにもかかわらず、MRL では埋め込みを取得する前にすべての Transformer 層を走査する必要があり、これが依然として時間とメモリ消費の主要な要因となっています。
これにより、固定数の Transformer レイヤーが表現品質に影響を与えるかどうか、また文表現に中間レイヤーを使用することが可能かどうかを検討することが求められます。
この論文では、二次元マトリョーシカ文埋め込み (2DMSE) と呼ばれる新しい文埋め込みモデルを紹介します。
埋め込みサイズとトランスフォーマー層の両方の柔軟な設定をサポートし、MRL よりも優れた柔軟性と効率を提供します。
私たちは、STS タスクとダウンストリーム アプリケーションについて広範な実験を行っています。
実験結果は、さまざまな埋め込みサイズと Transformer レイヤーを動的にサポートし、さまざまなシナリオに高度に適応できるという点で、提案したモデルの有効性を示しています。

要約(オリジナル)

Common approaches rely on fixed-length embedding vectors from language models as sentence embeddings for downstream tasks such as semantic textual similarity (STS). Such methods are limited in their flexibility due to unknown computational constraints and budgets across various applications. Matryoshka Representation Learning (MRL) (Kusupati et al., 2022) encodes information at finer granularities, i.e., with lower embedding dimensions, to adaptively accommodate ad hoc tasks. Similar accuracy can be achieved with a smaller embedding size, leading to speedups in downstream tasks. Despite its improved efficiency, MRL still requires traversing all Transformer layers before obtaining the embedding, which remains the dominant factor in time and memory consumption. This prompts consideration of whether the fixed number of Transformer layers affects representation quality and whether using intermediate layers for sentence representation is feasible. In this paper, we introduce a novel sentence embedding model called Two-dimensional Matryoshka Sentence Embedding (2DMSE). It supports elastic settings for both embedding sizes and Transformer layers, offering greater flexibility and efficiency than MRL. We conduct extensive experiments on STS tasks and downstream applications. The experimental results demonstrate the effectiveness of our proposed model in dynamically supporting different embedding sizes and Transformer layers, allowing it to be highly adaptable to various scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google