ViANLI: Adversarial Natural Language Inference for Vietnamese

要約

自然言語処理 (NLI) データセットとモデルの開発は、アノテーション設計の革新からインスピレーションを受けています。
今日の機械学習モデルの急速な開発により、既存の機械学習モデルのパフォーマンスは、自然言語推論タスクを含む自然言語処理に関連するさまざまなタスクで急速に最先端の結果に達しています。
アノテーション プロセス中に事前トレーニングされたモデルを使用することで、機械モデルでは正しく予測できない前提と仮説の組み合わせを人間が生成することで、現在の NLI モデルに挑戦することができます。
ベトナム人にとっての自然言語推論の研究において魅力的かつ挑戦的であり続けるために、この論文では、敵対的 NLI データセットを ViANLI という名前で NLP 研究コミュニティに紹介します。
このデータセットには 10,000 を超える前提と仮説のペアが含まれており、アノテーターが生成したパターンを最大限に活用するために継続的に調整するプロセスによって構築されています。
テスト セット上の最も強力なモデルの精度が 48.4% に達したとき、ViANLI データセットは多くの現在の SOTA モデルに多くの困難をもたらしました。
さらに、実験結果は、私たちのデータセットでトレーニングされたモデルが他のベトナムの NLI データセットでの結果を大幅に改善したことを示しています。

要約(オリジナル)

The development of Natural Language Processing (NLI) datasets and models has been inspired by innovations in annotation design. With the rapid development of machine learning models today, the performance of existing machine learning models has quickly reached state-of-the-art results on a variety of tasks related to natural language processing, including natural language inference tasks. By using a pre-trained model during the annotation process, it is possible to challenge current NLI models by having humans produce premise-hypothesis combinations that the machine model cannot correctly predict. To remain attractive and challenging in the research of natural language inference for Vietnamese, in this paper, we introduce the adversarial NLI dataset to the NLP research community with the name ViANLI. This data set contains more than 10K premise-hypothesis pairs and is built by a continuously adjusting process to obtain the most out of the patterns generated by the annotators. ViANLI dataset has brought many difficulties to many current SOTA models when the accuracy of the most powerful model on the test set only reached 48.4%. Additionally, the experimental results show that the models trained on our dataset have significantly improved the results on other Vietnamese NLI datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google