Model-Agnostic Meta-Learning for Natural Language Understanding Tasks in Finance

要約

自然言語理解（NLU）は、アノテーションデータの不足と金融分野の特殊な言語により、困難なものとなっています。そのため、研究者たちは、事前に訓練された言語モデルやマルチタスク学習を用いて、頑健な表現を学習することを提案しています。しかし、積極的な微調整はしばしばオーバーフィッティングを引き起こし、マルチタスク学習はデータ量が著しく多いタスクに有利に働く可能性がある、などの問題がある。本稿では、これらの問題に対処するため、低リソース金融NLUタスクにおけるモデル非依存的メタ学習アルゴリズム（MAML）を検討する。我々の貢献は以下の通りである。1.複数の種類のタスクでMAML手法の性能を調査した。GLUE datasets, SNLI, Sci-Tail and Financial PhraseBank; 2. MAML法の性能を複数の単一タイプのタスクで研究した：twitterテキストデータを用いた実シナリオの株価予測問題。実験結果によると、我々のモデルは最先端の性能を達成し、我々の方法が低リソース状況にも高速かつ良好に適応できることを実証している。

要約(オリジナル)

Natural language understanding(NLU) is challenging for finance due to the lack of annotated data and the specialized language in that domain. As a result, researchers have proposed to use pre-trained language model and multi-task learning to learn robust representations. However, aggressive fine-tuning often causes over-fitting and multi-task learning may favor tasks with significantly larger amounts data, etc. To address these problems, in this paper, we investigate model-agnostic meta-learning algorithm(MAML) in low-resource financial NLU tasks. Our contribution includes: 1. we explore the performance of MAML method with multiple types of tasks: GLUE datasets, SNLI, Sci-Tail and Financial PhraseBank; 2. we study the performance of MAML method with multiple single-type tasks: a real scenario stock price prediction problem with twitter text data. Our models achieve the state-of-the-art performance according to the experimental results, which demonstrate that our method can adapt fast and well to low-resource situations.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL