Compositional Generalization with Grounded Language Models

要約

グラウンデッド言語モデルは、ナレッジ グラフなどの外部情報ソースを使用して、事前トレーニングに関連する一般的な課題のいくつかに対処します。
意味解析における構成的一般化に関するこれまでの研究を拡張することにより、これらのモデルがナレッジ グラフのパターンから学習および一般化する程度の制御された評価が可能になります。
私たちは、構成性のさまざまな側面を対象とし、重み付けの中ですでに暗黙的にエンコードされている情報に言語モデルを基礎付けることをさらに回避する、ナレッジ グラフと組み合わせた自然言語の質問を生成する手順を開発します。
言語モデルとナレッジ グラフを組み合わせる既存の方法を評価したところ、目に見えない長さのシーケンスや、目に見える基本コンポーネントの新しい組み合わせへの一般化に苦労していることがわかりました。
私たちの実験結果は、これらのモデルの表現力についての洞察を提供しますが、私たちの研究と公開されたデータセットが、言語モデルと構造化された知識表現をより適切に組み合わせる方法に関する将来の研究の動機となることを願っています。

要約(オリジナル)

Grounded language models use external sources of information, such as knowledge graphs, to meet some of the general challenges associated with pre-training. By extending previous work on compositional generalization in semantic parsing, we allow for a controlled evaluation of the degree to which these models learn and generalize from patterns in knowledge graphs. We develop a procedure for generating natural language questions paired with knowledge graphs that targets different aspects of compositionality and further avoids grounding the language models in information already encoded implicitly in their weights. We evaluate existing methods for combining language models with knowledge graphs and find them to struggle with generalization to sequences of unseen lengths and to novel combinations of seen base components. While our experimental results provide some insight into the expressive power of these models, we hope our work and released datasets motivate future research on how to better combine language models with structured knowledge representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google