Can language models learn analogical reasoning? Investigating training objectives and comparisons to human performance

要約

類推は NLP で単語の埋め込みを評価する一般的な方法ですが、類推推論自体が学習可能なタスクであるかどうかを調査することも興味深いです。
このペーパーでは、基本的な類推推論を学習するためのいくつかの方法をテストします。特に、一般的に使用される NLP ベンチマークよりも人間の類推推論を評価するために使用される典型的な類推に焦点を当てます。
私たちの実験では、たとえ少量のデータであっても、モデルが類推推論を学習できることがわかりました。
さらに、モデルを人間のベースラインを持つデータセットと比較したところ、トレーニング後にモデルが人間のパフォーマンスに近づくことがわかりました。

要約(オリジナル)

While analogies are a common way to evaluate word embeddings in NLP, it is also of interest to investigate whether or not analogical reasoning is a task in itself that can be learned. In this paper, we test several ways to learn basic analogical reasoning, specifically focusing on analogies that are more typical of what is used to evaluate analogical reasoning in humans than those in commonly used NLP benchmarks. Our experiments find that models are able to learn analogical reasoning, even with a small amount of data. We additionally compare our models to a dataset with a human baseline, and find that after training, models approach human performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google