Exploring Graph Representations of Logical Forms for Language Modeling

要約

このようなモデルは、テキストの対応物よりもデータ効率が高いと主張して、論理形式（LFLMS）よりも言語モデルを主張します。
そのために、LFLMの概念の証明として、論理形式のグラフ表現上の前提条件のLMであるグラフベースの正式な配信セマンティクス（GFOLDS）プロトタイプを紹介します。
GFOLDSを使用して、LFLMがこのようなモデルに固有の組み込みの基本的な言語知識を活用して、より複雑なパターンをすぐに学習し始めることができるという強力な実験的証拠を提示します。
ダウンストリームタスクでは、GFOLDSがテキストを大幅に上回ることを示します。変圧器LMSは、同様の量のデータで前処理されており、LFLMSがプレーンテキストよりもモデルよりもかなり少ないデータで学習できることを示しています。
さらに、このモデルのパフォーマンスは、追加のパラメーターと前提条件データでスケーリングされる可能性が高いことを示し、実際のアプリケーションでのLFLMの実行可能性を示唆しています。

要約(オリジナル)

We make the case for language models over logical forms (LFLMs), arguing that such models are more data-efficient than their textual counterparts. To that end, we introduce the Graph-based Formal-Logical Distributional Semantics (GFoLDS) prototype, a pretrained LM over graph representations of logical forms, as a proof-of-concept of LFLMs. Using GFoLDS, we present strong experimental evidence that LFLMs can leverage the built-in, basic linguistic knowledge inherent in such models to immediately begin learning more complex patterns. On downstream tasks, we show that GFoLDS vastly outperforms textual, transformer LMs pretrained on similar amounts of data, indicating that LFLMs can learn with substantially less data than models over plain text. Furthermore, we show that the performance of this model is likely to scale with additional parameters and pretraining data, suggesting the viability of LFLMs in real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google