Bridging the Language Gap: Knowledge Injected Multilingual Question Answering

要約

タイトル：言語の壁を乗り越える：知識注入多言語質問応答

要約：

– 質問応答（QA）は、人間が自然言語で投げかけた質問に自動的に回答するタスクである。
– 抽出型質問応答タスク（抽出QA）は、自然言語処理タスクの中でも人気があり、過去数年間で多くの注目を集めている。
– G-XLT（異なる言語で質問と回答文脈がある）は、クロスリンガル転送（同じ言語で質問と回答文脈がある場合）よりも独自の課題を持っている。
– 本研究では、多言語理解能力を向上させるための一般的なクロスリンガル転送フレームワークを提案する。
– 前処理として、異なる言語からトリプルを組み合わせて多言語知識を形成する。
– 異なる言語間の知識の欠如がモデルの推論能力を大きく制限するため、リンク予測技術を活用した知識注入戦略を設計する。
– 実験結果は、現実のデータセットであるMLQAにおいて、提案手法がF1/EMについて13.18％/12.00％改善され、ベースライン手法を上回ることを示している。

要約(オリジナル)

Question Answering (QA) is the task of automatically answering questions posed by humans in natural languages. There are different settings to answer a question, such as abstractive, extractive, boolean, and multiple-choice QA. As a popular topic in natural language processing tasks, extractive question answering task (extractive QA) has gained extensive attention in the past few years. With the continuous evolvement of the world, generalized cross-lingual transfer (G-XLT), where question and answer context are in different languages, poses some unique challenges over cross-lingual transfer (XLT), where question and answer context are in the same language. With the boost of corresponding development of related benchmarks, many works have been done to improve the performance of various language QA tasks. However, only a few works are dedicated to the G-XLT task. In this work, we propose a generalized cross-lingual transfer framework to enhance the model’s ability to understand different languages. Specifically, we first assemble triples from different languages to form multilingual knowledge. Since the lack of knowledge between different languages greatly limits models’ reasoning ability, we further design a knowledge injection strategy via leveraging link prediction techniques to enrich the model storage of multilingual knowledge. In this way, we can profoundly exploit rich semantic knowledge. Experiment results on real-world datasets MLQA demonstrate that the proposed method can improve the performance by a large margin, outperforming the baseline method by 13.18%/12.00% F1/EM on average.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI