Multilingual Controlled Generation And Gold-Standard-Agnostic Evaluation of Code-Mixed Sentences

要約

コードミキシング、つまり発話の中で 2 つ以上の言語を交互に使用する行為は、多言語コミュニティでは一般的な現象です。
コード混合の口語的な性質により、英語の文をコード混合文に翻訳する唯一の正しい方法はありません。
このため、BLEU スコアなどの標準的な n-gram ベースの MT 評価指標は、コード混合評価には適していません。
これを実証するために、コード混合テキスト生成のための新しい方法である制御生成を提案します。これは、コード混合度 (CMD) をパラメータ化し、与えられた英語の文から意味的に同等の複数のコード混合文を生成できるようにします。
堅牢な新しい評価指標「GAME: A Gold-Standard Agnostic Measure for Evaluation of Code-Mixed Sentences」を導入します。
GAME は言語に依存せず、ゴールドスタンダードにも依存しません。つまり、他の指標とは異なり、GAME は評価にゴールドスタンダードのコードが混在した文を必要としないため、コードが混在した評価プロセスにおいて人間のアノテーターが必要なくなります。
意味的に同等のコードが混在した文を評価するために使用すると、GAME スコアの標準偏差が BLEU スコアよりも低いことがわかります。
さらに、コード混合に関する計算による研究をさらに促進するために、英語 – {ヒンディー語、ベンガル語、フランス語、スペイン語} の 4 つの言語ペアにわたるゴールドスタンダードのコード混合文を含むデータセットを作成してリリースします。

要約(オリジナル)

Code-mixing, the practice of alternating between two or more languages in an utterance, is a common phenomenon in multilingual communities. Due to the colloquial nature of code-mixing, there is no singular correct way to translate an English sentence into a code-mixed sentence. For this reason, standard n-gram-based MT evaluation metrics such as the BLEU score are not appropriate for code-mixed evaluation. To demonstrate this, we propose a novel method for code-mixed text generation: Controlled Generation, which parameterizes the code-mixing degree (CMD) and enables the generation of multiple semantically equivalent code-mixed sentences from a given English sentence. We introduce a robust new evaluation metric: GAME: A Gold-Standard Agnostic Measure for Evaluation of Code-Mixed Sentences. GAME is both language-agnostic and gold-standard-agnostic, i.e. unlike other metrics, GAME does not require gold-standard code-mixed sentences for evaluation, thus eliminating the need for human annotators in the code-mixed evaluation process. When used to evaluate semantically equivalent code-mixed sentences, we find that GAME scores have a lower standard deviation than BLEU scores. Further, we create and release a dataset containing gold-standard code-mixed sentences across 4 language pairs: English-{Hindi, Bengali, French, Spanish} to encourage more computational research on code-mixing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google