A Novel Cartography-Based Curriculum Learning Method Applied on RoNLI: The First Romanian Natural Language Inference Corpus

要約

自然言語推論 (NLI) は、文のペアの含意関係を認識するタスクであり、自然言語理解の代用として積極的に研究されているトピックです。
会話エージェントの構築と、テキスト分類、機械翻訳、その他の NLP タスクの改善におけるこのタスクの関連性にもかかわらず、私たちの知る限り、ルーマニア語の公的に利用可能な NLI コーパスはありません。
この目的を達成するために、遠隔監視によって取得された 58,000 のトレーニング文のペアと、正しいラベルが手動で注釈付けされた 6,000 の検証およびテスト文のペアで構成される最初のルーマニア語 NLI コーパス (RoNLI) を導入します。
私たちは、単語埋め込みに基づく浅いモデルからトランスフォーマーベースのニューラル ネットワークに至るまで、遠隔学習に基づく複数の機械学習手法を使用して実験を実施し、一連の競争力のあるベースラインを確立します。
さらに、データ地図作成に基づいた新しいカリキュラム学習戦略を採用することで、最適なモデルを改善します。
ベースラインを再現するためのデータセットとコードは、https://github.com/Eduard6421/RONLI で入手できます。

要約(オリジナル)

Natural language inference (NLI), the task of recognizing the entailment relationship in sentence pairs, is an actively studied topic serving as a proxy for natural language understanding. Despite the relevance of the task in building conversational agents and improving text classification, machine translation and other NLP tasks, to the best of our knowledge, there is no publicly available NLI corpus for the Romanian language. To this end, we introduce the first Romanian NLI corpus (RoNLI) comprising 58K training sentence pairs, which are obtained via distant supervision, and 6K validation and test sentence pairs, which are manually annotated with the correct labels. We conduct experiments with multiple machine learning methods based on distant learning, ranging from shallow models based on word embeddings to transformer-based neural networks, to establish a set of competitive baselines. Furthermore, we improve on the best model by employing a new curriculum learning strategy based on data cartography. Our dataset and code to reproduce the baselines are available at https://github.com/Eduard6421/RONLI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google