CONFLATOR: Incorporating Switching Point based Rotatory Positional Encodings for Code-Mixed Language Modeling

要約

2 つ以上の言語を混合することをコードミキシング (CM) と呼びます。
CM は多言語社会では社会規範です。
トランスフォーマーのようなニューラル言語モデル (NLM) は、多くの NLP タスクで非常に効果的です。
ただし、CM 用の NLM はまだ研究されていない領域です。
トランスフォーマーは有能で強力ですが、非反復的なため、位置/順序情報を常にエンコードできるわけではありません。
そこで、単語情報を充実させ、位置情報を組み込むために、位置エンコーディングが定義されます。
私たちは、スイッチング ポイント (SP)、つまり言語が切り替わるテキスト内のジャンクション (L1 -> L2 または L2-> L1) が CM 言語モデル (LM) にとって課題となるため、スイッチング ポイントに特に重点を置くと仮説を立てています。
モデリングの過程で。
私たちはいくつかの位置エンコーディング機構を実験し、切り替えポイント情報を伴う回転位置エンコーディングが最良の結果を生み出すことを示しました。
コード混合言語向けのニューラル言語モデリング アプローチである CONFLATOR を紹介します。
CONFLATOR は、ユニグラム レベルとバイグラム レベルの両方で、よりスマートな位置エンコーディングを使用して切り替えポイントを強調する方法を学習しようとします。
CONFLATOR は、ヒンディー語と英語 (ヒンリッシュ) を混合したコードに基づく 2 つのタスク (i) 感情分析と (ii) 機械翻訳において、最先端のタスクを上回ります。

要約(オリジナル)

The mixing of two or more languages is called Code-Mixing (CM). CM is a social norm in multilingual societies. Neural Language Models (NLMs) like transformers have been very effective on many NLP tasks. However, NLM for CM is an under-explored area. Though transformers are capable and powerful, they cannot always encode positional/sequential information since they are non-recurrent. Therefore, to enrich word information and incorporate positional information, positional encoding is defined. We hypothesize that Switching Points (SPs), i.e., junctions in the text where the language switches (L1 -> L2 or L2-> L1), pose a challenge for CM Language Models (LMs), and hence give special emphasis to switching points in the modeling process. We experiment with several positional encoding mechanisms and show that rotatory positional encodings along with switching point information yield the best results. We introduce CONFLATOR: a neural language modeling approach for code-mixed languages. CONFLATOR tries to learn to emphasize switching points using smarter positional encoding, both at unigram and bigram levels. CONFLATOR outperforms the state-of-the-art on two tasks based on code-mixed Hindi and English (Hinglish): (i) sentiment analysis and (ii) machine translation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google