Model-Agnostic Meta-Learning for Natural Language Understanding Tasks in Finance

要約

自然言語理解 (NLU) は、注釈付きデータとそのドメインの専門言語が不足しているため、財務にとって困難です。
その結果、研究者は、事前にトレーニングされた言語モデルとマルチタスク学習を使用して、堅牢な表現を学習することを提案しました。
ただし、積極的な微調整はしばしば過剰適合を引き起こし、マルチタスク学習は非常に大量のデータを含むタスクを優先する可能性があります。これらの問題に対処するために、この論文では、モデルに依存しないメタ学習アルゴリズム (MAML) を低
-リソースの財務 NLU タスク。
1. GLUE データセット、SNLI、Sci-Tail、Financial PhraseBank など、複数のタイプのタスクで MAML メソッドのパフォーマンスを調査します。
2.複数の単一タイプのタスクを使用したMAMLメソッドのパフォーマンスを研究します。Twitterのテキストデータを使用した実際のシナリオの株価予測問題です。
私たちのモデルは、実験結果に従って最先端のパフォーマンスを達成します。これは、私たちの方法がリソースの少ない状況に迅速かつ適切に適応できることを示しています。

要約(オリジナル)

Natural language understanding(NLU) is challenging for finance due to the lack of annotated data and the specialized language in that domain. As a result, researchers have proposed to use pre-trained language model and multi-task learning to learn robust representations. However, aggressive fine-tuning often causes over-fitting and multi-task learning may favor tasks with significantly larger amounts data, etc. To address these problems, in this paper, we investigate model-agnostic meta-learning algorithm(MAML) in low-resource financial NLU tasks. Our contribution includes: 1. we explore the performance of MAML method with multiple types of tasks: GLUE datasets, SNLI, Sci-Tail and Financial PhraseBank; 2. we study the performance of MAML method with multiple single-type tasks: a real scenario stock price prediction problem with twitter text data. Our models achieve the state-of-the-art performance according to the experimental results, which demonstrate that our method can adapt fast and well to low-resource situations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google