Better Embeddings with Coupled Adam

要約

それらの驚くべき能力にもかかわらず、LLMSは、異方性の望ましくないが理解されていない特徴を示す単語表現を学びます。
この論文では、アダムの2番目の瞬間は異方性埋め込みの原因であると主張し、問題を軽減するためにアダムと呼ばれる修正されたオプティマイザーを提案します。
私たちの実験は、結合されたアダムが埋め込みの品質を大幅に向上させ、同時に十分なデータセットで上流と下流のパフォーマンスを向上させることを示しています。

要約(オリジナル)

Despite their remarkable capabilities, LLMs learn word representations that exhibit the undesirable yet poorly understood feature of anisotropy. In this paper, we argue that the second moment in Adam is a cause of anisotropic embeddings, and suggest a modified optimizer called Coupled Adam to mitigate the problem. Our experiments demonstrate that Coupled Adam significantly improves the quality of embeddings, while also leading to better upstream and downstream performance on large enough datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google