A deep Natural Language Inference predictor without language-specific training data

要約

この論文では、言語固有のトレーニング データセットを使用せずに、選択したターゲット言語で文のペア間の推論関係 (NLI) の問題に取り組む NLP の手法を紹介します。
私たちは、同じ事前トレーニング済みモデルの 2 つのインスタンスとともに、手動で翻訳された汎用翻訳データセットを利用します。1 つ目はソース言語の文埋め込みを生成し、2 つ目はターゲット言語を微調整して最初のものを模倣します。
この手法は知識蒸留として知られています。
このモデルは、機械翻訳されたスタンフォード NLI テスト データセット、機械翻訳されたマルチジャンル NLI テスト データセット、および手動翻訳された RTE3-ITA テスト データセットに対して評価されています。
また、NLI タスクの一般性を経験的に示すために、さまざまなタスクにわたって提案されたアーキテクチャをテストします。
このモデルは、感情分析、アスペクトベースの感情分析、およびトピック認識のタスクに基づいて、イタリアのネイティブ ABSITA データセットに対して評価されています。
私たちは、たとえ前者がテストされたデータに基づいて直接トレーニングされていなかったとしても、機械翻訳に基づく他の方法論よりも優れた知識蒸留技術の汎用性と活用可能性を強調します。

要約(オリジナル)

In this paper we present a technique of NLP to tackle the problem of inference relation (NLI) between pairs of sentences in a target language of choice without a language-specific training dataset. We exploit a generic translation dataset, manually translated, along with two instances of the same pre-trained model – the first to generate sentence embeddings for the source language, and the second fine-tuned over the target language to mimic the first. This technique is known as Knowledge Distillation. The model has been evaluated over machine translated Stanford NLI test dataset, machine translated Multi-Genre NLI test dataset, and manually translated RTE3-ITA test dataset. We also test the proposed architecture over different tasks to empirically demonstrate the generality of the NLI task. The model has been evaluated over the native Italian ABSITA dataset, on the tasks of Sentiment Analysis, Aspect-Based Sentiment Analysis, and Topic Recognition. We emphasise the generality and exploitability of the Knowledge Distillation technique that outperforms other methodologies based on machine translation, even though the former was not directly trained on the data it was tested over.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google