When Dimensionality Hurts: The Role of LLM Embedding Compression for Noisy Regression Tasks

要約

大規模言語モデル(LLM)は、モデルサイズとモデルのテキスト表現の隠れた次元に見られるスケーリング法則により、言語モデリングにおいて顕著な成功を示してきた。しかし、我々はテキストの圧縮表現がLLMベースの回帰タスクにおいてより良い性能をもたらすことを実証する。本論文では、3つの異なるS/Nコンテクスト（金融収益予測、文章品質評価、レビュー採点）において、埋め込み圧縮の相対性能を比較する。その結果、オートエンコーダの隠れ表現を用いた最小限の教師ありの方法で埋め込みを圧縮することで、オーバーフィッティングを緩和し、金融収益予測のようなノイズの多いタスクの性能を向上させることができる。我々の結果は、センチメントのような解釈可能な圧縮表現の成功は、正則化効果によるものである可能性を示唆している。

要約(オリジナル)

Large language models (LLMs) have shown remarkable success in language modelling due to scaling laws found in model size and the hidden dimension of the model’s text representation. Yet, we demonstrate that compressed representations of text can yield better performance in LLM-based regression tasks. In this paper, we compare the relative performance of embedding compression in three different signal-to-noise contexts: financial return prediction, writing quality assessment and review scoring. Our results show that compressing embeddings, in a minimally supervised manner using an autoencoder’s hidden representation, can mitigate overfitting and improve performance on noisy tasks, such as financial return prediction; but that compression reduces performance on tasks that have high causal dependencies between the input and target data. Our results suggest that the success of interpretable compressed representations such as sentiment may be due to a regularising effect.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL