Exploring Anisotropy and Outliers in Multilingual Language Models for Cross-Lingual Semantic Sentence Similarity

要約

これまでの研究では、コンテキスト言語モデルによって出力される表現は、静的型の埋め込みよりも異方性が高く、通常は外れ値の次元を表示することが示されています。
これは単言語モデルと多言語モデルの両方に当てはまりますが、多言語コンテキストについてはあまり研究が行われていません。
これらの異常値がなぜ発生するのか、またそれが表現にどのような影響を与えるのかについては、現在も活発に研究が行われている分野です。
私たちは、複数の事前トレーニング済み多言語モデルにおける外れ値の次元とその異方性との関係を調査します。
これらは多言語表現を評価するための自然なタスクであるため、言語間の意味的類似性タスクに焦点を当てます。
具体的には、文の表現を検討します。
並列リソース (常に利用できるわけではない) で微調整された文変換器は、このタスクでより優れたパフォーマンスを発揮し、その表現がより等方性であることを示します。
ただし、私たちは多言語表現全般を改善することを目指しています。
微調整を行わずに埋め込み空間を変換するだけで、どの程度のパフォーマンス差を埋められるかを調査し、結果として得られる空間を視覚化します。
個々の外れ値次元の削除、クラスターベースの等方性強調、ZCA ホワイトニングなど、さまざまな操作をテストします。
再現性を高めるためにコードを公開しています。

要約(オリジナル)

Previous work has shown that the representations output by contextual language models are more anisotropic than static type embeddings, and typically display outlier dimensions. This seems to be true for both monolingual and multilingual models, although much less work has been done on the multilingual context. Why these outliers occur and how they affect the representations is still an active area of research. We investigate outlier dimensions and their relationship to anisotropy in multiple pre-trained multilingual language models. We focus on cross-lingual semantic similarity tasks, as these are natural tasks for evaluating multilingual representations. Specifically, we examine sentence representations. Sentence transformers which are fine-tuned on parallel resources (that are not always available) perform better on this task, and we show that their representations are more isotropic. However, we aim to improve multilingual representations in general. We investigate how much of the performance difference can be made up by only transforming the embedding space without fine-tuning, and visualise the resulting spaces. We test different operations: Removing individual outlier dimensions, cluster-based isotropy enhancement, and ZCA whitening. We publish our code for reproducibility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google