Compressing Sentence Representation with maximum Coding Rate Reduction

要約

【タイトル】最大符号化レート削減による文の表現の圧縮

【要約】
– 多くの自然言語推論問題では、意味的な検索タスクのために文の表現が必要である。
– 近年、事前に学習された大規模な言語モデルが、そのような表現を計算するために非常に効果的であることがわかった。
– これらのモデルは高次元の文埋め込みを生成するが、実際には大規模なモデルと小規模なモデルの間に明らかな性能差が存在する。
– そのため、より小規模なモデルを使用する際にも同様の結果が得られるようにする必要がある。
– この論文では、Sentence-BERT のモデルの蒸留を評価し、Maximum Coding Rate Reduction（MCR2）目的に基づいてさらに学習された射影層で事前に学習された蒸留モデルを拡張することによって、文の表現モデルの蒸留を評価する。
– 我々は、より小さなモデルの蒸留版である新しい言語モデルが、圧縮された文埋め込みサイズでも意味的検索ベンチマークで同様の結果を達成できることを示した。

要約(オリジナル)

In most natural language inference problems, sentence representation is needed for semantic retrieval tasks. In recent years, pre-trained large language models have been quite effective for computing such representations. These models produce high-dimensional sentence embeddings. An evident performance gap between large and small models exists in practice. Hence, due to space and time hardware limitations, there is a need to attain comparable results when using the smaller model, which is usually a distilled version of the large language model. In this paper, we assess the model distillation of the sentence representation model Sentence-BERT by augmenting the pre-trained distilled model with a projection layer additionally learned on the Maximum Coding Rate Reduction (MCR2)objective, a novel approach developed for general-purpose manifold clustering. We demonstrate that the new language model with reduced complexity and sentence embedding size can achieve comparable results on semantic retrieval benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI