ChatZero:Zero-shot Cross-Lingual Dialogue Generation via Pseudo-Target Language

要約

大規模言語モデル (LLM) は驚くべき機能を示しますが、LLM 用に発見されたさまざまなエキサイティングなアプリケーションの中でも、他の低リソース言語では不十分です。
さらに、既存の手法のほとんどは大規模な対話コーパスに依存しているため、ゼロショット シナリオで対話を生成するシステムを構築することは依然として大きな課題です。
この課題に対処するために、我々は、言語間コード交換法に基づいた新しいエンドツーエンドのゼロショット対話生成モデル ChatZero を提案します。
まず、プレースホルダーを使用してコード切り替え言語と擬似ターゲット言語を構築します。
次に、言語を越えた意味伝達では、高次元意味空間における相互に肯定的な例であるソース言語、コード交換言語、および擬似ターゲット言語の意味論的ギャップを最小限に抑えるために、教師なし対照学習を採用します。
多言語 DailyDialog および DSTC7-AVSD データセットの実験では、ChatZero が教師あり学習と比較してゼロショット ケースで元のパフォーマンスの 90\% 以上を達成でき、他のベースラインと比較して最先端のパフォーマンスを達成できることが実証されました。

要約(オリジナル)

Although large language models(LLMs) show amazing capabilities, among various exciting applications discovered for LLMs fall short in other low-resource languages. Besides, most existing methods depend on large-scale dialogue corpora and thus building systems for dialogue generation in a zero-shot scenario remains a considerable challenge. To address this challenge, we propose a novel end-to-end zero-shot dialogue generation model ChatZero based on cross-lingual code-switching method. First, we construct code-switching language and pseudo-target language with placeholders. Then for cross-lingual semantic transfer, we employ unsupervised contrastive learning to minimize the semantics gap of the source language, code-switching language, and pseudo-target language that are mutually positive examples in the high dimensional semantic space. Experiments on the multilingual DailyDialog and DSTC7-AVSD datasets demonstrate that ChatZero can achieve more than 90\% of the original performance under the zero-shot case compared to supervised learning, and achieve state-of-the-art performance compared with other baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google