Improving Cross-lingual Representation for Semantic Retrieval with Code-switching

要約

意味検索(SR)は、タスク指向の質問応答(QA)対話シナリオにおけるFAQシステムに不可欠な要素となっている。eコマースプラットフォームや特殊なビジネス環境において、クロスリンガルなスマートカスタマーサービスシステムに対する要求は、最近ますます高まってきている。先行研究の多くは、多言語知識検索のために事前に訓練されたモデル（PTM）を直接利用している。しかし、どのスキーマを使用するにしても、これまでの研究では、下流タスクの特徴をPTMに知らせることを無視している。このため、本研究では、コードスイッチングを利用したSRのための代替クロスリンガルPTMを提案する。我々は、クロスリンガルSRのためにコードスイッチングアプローチを利用した最初の研究者である。また、SRタスクにPTMを直接使用する代わりに、コードスイッチによる新しい継続的な事前学習を導入する。実験の結果、我々の提案するアプローチは、3つのビジネスコーパスと20以上の言語の4つのオープンデータセットを用いたSRと意味的テキスト類似性（STS）タスクにおいて、一貫して従来のSOTA手法を凌駕することが示された。

要約(オリジナル)

Semantic Retrieval (SR) has become an indispensable part of the FAQ system in the task-oriented question-answering (QA) dialogue scenario. The demands for a cross-lingual smart-customer-service system for an e-commerce platform or some particular business conditions have been increasing recently. Most previous studies exploit cross-lingual pre-trained models (PTMs) for multi-lingual knowledge retrieval directly, while some others also leverage the continual pre-training before fine-tuning PTMs on the downstream tasks. However, no matter which schema is used, the previous work ignores to inform PTMs of some features of the downstream task, i.e. train their PTMs without providing any signals related to SR. To this end, in this work, we propose an Alternative Cross-lingual PTM for SR via code-switching. We are the first to utilize the code-switching approach for cross-lingual SR. Besides, we introduce the novel code-switched continual pre-training instead of directly using the PTMs on the SR tasks. The experimental results show that our proposed approach consistently outperforms the previous SOTA methods on SR and semantic textual similarity (STS) tasks with three business corpora and four open datasets in 20+ languages.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL