Don’t Generate, Discriminate: A Proposal for Grounding Language Models to Real-World Environments

要約

タイトル：生成しないで識別する：現実の環境に根付いた言語モデルの提案

要約：

– LMsの欠けている重要な能力は、現実世界に根付いたものである。
– LMsを直接生成プランを使って、効果を達成するために環境で実行できるようにすることが、現在の存在する方法です。
– Panguという汎用フレームワークを提案しています。
– LMsの生成能力ではなく、識別能力を利用します。
– 環境の中で進化する象徴的なエージェントとニューラルLMが協調して働きます。
– 代理人は、有効なプランを徐々に構築するために環境を探索し、LMは候補のプランの妥当性を評価して検索プロセスを誘導します。
– 知識ベースの質問応答（KBQA）の難しい問題についてのケーススタディによって、Panguの効果と柔軟性が示されます。
– BERT-base LMは、標準的なKBQAデータセットで新記録を樹立するために十分であり、より大きなLMはさらに大きな利益をもたらします。
– Panguは、Codexなどの大規模なLMによる効果的なフューショットのコンテキスト学習を初めて可能にします。

要約(オリジナル)

A key missing capacity of current language models (LMs) is grounding to real-world environments. Most existing work for grounded language understanding uses LMs to directly generate plans that can be executed in the environment to achieve the desired effects. It thereby casts the burden of ensuring grammaticality, faithfulness, and controllability all on the LMs. We propose Pangu, a generic framework for grounded language understanding that capitalizes on the discriminative ability of LMs instead of their generative ability. Pangu consists of a symbolic agent and a neural LM working in a concerted fashion: The agent explores the environment to incrementally construct valid plans, and the LM evaluates the plausibility of the candidate plans to guide the search process. A case study on the challenging problem of knowledge base question answering (KBQA), which features a massive environment, demonstrates the remarkable effectiveness and flexibility of Pangu: A BERT-base LM is sufficient for setting a new record on standard KBQA datasets, and larger LMs further bring substantial gains. Pangu also enables, for the first time, effective few-shot in-context learning for KBQA with large LMs such as Codex.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI