Multilingual Sentence-Level Semantic Search using Meta-Distillation Learning

要約

多言語セマンティック検索は、さまざまな言語の組み合わせで表現されたクエリに関連するコンテンツを取得するタスクです。
これには、ユーザーの意図とその文脈上の意味をより深く理解する必要があります。
多言語意味検索は、このタスクに対応する多言語の並列リソースが不足しており、「言語バイアス」を回避する必要があるため、単言語または二言語の対応物に比べて研究が少なく、より困難です。
この研究では、特に低リソースのシナリオ向けの調整アプローチである MAML-Align を提案します。
私たちのアプローチは、最適化ベースのモデルに依存しないメタ学習器である MAML に基づくメタ蒸留学習を活用しています。
MAML-Align は、単言語から二言語の意味検索への転送に特化した教師メタ転送モデル T-MAML からの知識を、二言語から多言語への意味検索へのメタ転送を行う生徒モデル S-MAML に抽出します。
私たちの知る限り、私たちはメタ蒸留を多言語検索アプリケーションに拡張した最初の企業です。
私たちの経験的結果は、文変換に基づく強力なベースラインに加えて、メタ蒸留アプローチが MAML によって提供されるゲインを高め、単純な微調整方法を大幅に上回るパフォーマンスを示していることを示しています。
さらに、多言語メタ蒸留学習により、未知の言語への汎化も向上します。

要約(オリジナル)

Multilingual semantic search is the task of retrieving relevant contents to a query expressed in different language combinations. This requires a better semantic understanding of the user’s intent and its contextual meaning. Multilingual semantic search is less explored and more challenging than its monolingual or bilingual counterparts, due to the lack of multilingual parallel resources for this task and the need to circumvent ‘language bias’. In this work, we propose an alignment approach: MAML-Align, specifically for low-resource scenarios. Our approach leverages meta-distillation learning based on MAML, an optimization-based Model-Agnostic Meta-Learner. MAML-Align distills knowledge from a Teacher meta-transfer model T-MAML, specialized in transferring from monolingual to bilingual semantic search, to a Student model S-MAML, which meta-transfers from bilingual to multilingual semantic search. To the best of our knowledge, we are the first to extend meta-distillation to a multilingual search application. Our empirical results show that on top of a strong baseline based on sentence transformers, our meta-distillation approach boosts the gains provided by MAML and significantly outperforms naive fine-tuning methods. Furthermore, multilingual meta-distillation learning improves generalization even to unseen languages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google