Entailment Semantics Can Be Extracted from an Ideal Language Model

要約

言語モデルは多くの場合、追加の基礎を持たずにテキストのみでトレーニングされます。
このような手順から自然言語の意味論をどの程度推測できるかについては議論があります。
我々は、トレーニング文がグリセエージェント、つまり語用論の言語理論に基づくコミュニケーションの基本原理に従うエージェントによって生成されると仮定して、文間の含意判断がそのターゲット分布を完全に学習した理想的な言語モデルから抽出できることを証明する。
また、このようなグリスデータでトレーニングされた言語モデルの予測から含意判断を解読できることも示します。
私たちの結果は、ラベルのない言語データにエンコードされた意味情報を理解するための経路と、言語モデルから意味論を抽出するための潜在的なフレームワークを明らかにします。

要約(オリジナル)

Language models are often trained on text alone, without additional grounding. There is debate as to how much of natural language semantics can be inferred from such a procedure. We prove that entailment judgments between sentences can be extracted from an ideal language model that has perfectly learned its target distribution, assuming the training sentences are generated by Gricean agents, i.e., agents who follow fundamental principles of communication from the linguistic theory of pragmatics. We also show entailment judgments can be decoded from the predictions of a language model trained on such Gricean data. Our results reveal a pathway for understanding the semantic information encoded in unlabeled linguistic data and a potential framework for extracting semantics from language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google