Exploring Alignment in Shared Cross-lingual Spaces

要約

多様な言語にわたる言語のニュアンスを捉える優れた能力にもかかわらず、多言語埋め込みにおける言語間の整合性の程度については疑問が残ります。
ニューラル言語モデルの高次元表現に関する研究からインスピレーションを得て、私たちはクラスタリングを使用して多言語モデル内の潜在的な概念を明らかにします。
私たちの分析は、潜在空間内のさまざまな言語にわたるこれらの概念の \textit{位置合わせ} と \textit{重複} を定量化することに焦点を当てています。
この目的を達成するために、これらの側面を定量化することを目的とした 2 つの指標 \CA{} と \CO{} を導入し、多言語埋め込みのより深い調査を可能にします。
私たちの研究には、3 つの多言語モデル (\texttt{mT5}、\texttt{mBERT}、\texttt{XLM-R}) と 3 つの下流タスク (機械翻訳、固有表現認識、感情分析) が含まれています。
私たちの分析で得られた主な発見は次のとおりです。i) ネットワークのより深い層では、言語に依存しない概念の存在により、言語を超えた \textit{alignment} が増加していることが示されています。ii) モデルの微調整により、ネットワーク内の \textit{alignment} が強化されています。
iii) このようなタスク固有のキャリブレーションは、モデルにおけるゼロショット機能の出現を説明するのに役立ちます。\footnote{コードは \url{https://github.com/baselmousi/multilingual-latent- で入手できます。
概念}}

要約(オリジナル)

Despite their remarkable ability to capture linguistic nuances across diverse languages, questions persist regarding the degree of alignment between languages in multilingual embeddings. Drawing inspiration from research on high-dimensional representations in neural language models, we employ clustering to uncover latent concepts within multilingual models. Our analysis focuses on quantifying the \textit{alignment} and \textit{overlap} of these concepts across various languages within the latent space. To this end, we introduce two metrics \CA{} and \CO{} aimed at quantifying these aspects, enabling a deeper exploration of multilingual embeddings. Our study encompasses three multilingual models (\texttt{mT5}, \texttt{mBERT}, and \texttt{XLM-R}) and three downstream tasks (Machine Translation, Named Entity Recognition, and Sentiment Analysis). Key findings from our analysis include: i) deeper layers in the network demonstrate increased cross-lingual \textit{alignment} due to the presence of language-agnostic concepts, ii) fine-tuning of the models enhances \textit{alignment} within the latent space, and iii) such task-specific calibration helps in explaining the emergence of zero-shot capabilities in the models.\footnote{The code is available at \url{https://github.com/baselmousi/multilingual-latent-concepts}}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google