Transformer-Based Contextualized Language Models Joint with Neural Networks for Natural Language Inference in Vietnamese

要約

自然言語推論 (NLI) は、さまざまな AI アプリケーションにとって価値のある自然言語処理 (NLP) 内のタスクです。
しかし、ベトナム語での自然言語推論に関する共同モデルの概念を調査した研究は限られています。
そこで、文脈化言語モデル (CLM) とニューラル ネットワークをさまざまに組み合わせて実験を行いました。
CLM を使用してコンテキストに応じた作業プレゼンテーションを作成し、分類にニューラル ネットワークを使用します。
さらに、各ジョイントモデルの長所と短所を評価し、ベトナムのコンテキストにおけるモデルの失敗点を特定しました。
この実験における最高の F1 スコアは、ベンチマーク データセット (ViNLI) で最大 82.78% でした。
さまざまなモデルで実験を行った結果、CLM の最も大きなサイズは XLM-R (355M) です。
この組み合わせは、F1 スコアの点で、PhoBERT (+6.58%)、mBERT (+19.08%)、XLM-R (+0.94%) などの微調整された強力な事前トレーニング済み言語モデルと比較して、一貫して優れたパフォーマンスを示しています。
この記事は、ベトナムの NLI のパフォーマンスを向上させる新しいアプローチまたはモデルを紹介することを目的としています。
全体として、CLM とニューラル ネットワークの共同アプローチはシンプルでありながら高品質のパフォーマンスを達成できるため、リソースの効率的な利用が必要なアプリケーションに適していることがわかりました。

要約(オリジナル)

Natural Language Inference (NLI) is a task within Natural Language Processing (NLP) that holds value for various AI applications. However, there have been limited studies on Natural Language Inference in Vietnamese that explore the concept of joint models. Therefore, we conducted experiments using various combinations of contextualized language models (CLM) and neural networks. We use CLM to create contextualized work presentations and use Neural Networks for classification. Furthermore, we have evaluated the strengths and weaknesses of each joint model and identified the model failure points in the Vietnamese context. The highest F1 score in this experiment, up to 82.78% in the benchmark dataset (ViNLI). By conducting experiments with various models, the most considerable size of the CLM is XLM-R (355M). That combination has consistently demonstrated superior performance compared to fine-tuning strong pre-trained language models like PhoBERT (+6.58%), mBERT (+19.08%), and XLM-R (+0.94%) in terms of F1-score. This article aims to introduce a novel approach or model that attains improved performance for Vietnamese NLI. Overall, we find that the joint approach of CLM and neural networks is simple yet capable of achieving high-quality performance, which makes it suitable for applications that require efficient resource utilization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google