Knowledge-enhanced Agents for Interactive Text Games

要約

自然言語によるコミュニケーションは機械知能の重要な側面であり、さまざまなレベルの監視下で世界の概念を学習し推論するための計算モデルが必要です。
質問への回答や手順的なテキストの理解など、完全に監視された非対話型タスクでは大幅な進歩が見られました。
しかし、テキストベースのゲームのようなさまざまな逐次対話型タスクでは、一貫性、状況認識、環境から効果的に学習する能力の点で、既存のアプローチの限界が明らかになりました。
この論文では、テキストベースのゲームにおけるエージェントの機能基盤を改善するための知識注入フレームワークを提案します。
具体的には、学習ベースのエージェントに注入する 2 つの形式のドメイン知識、つまり以前の正しいアクションの記憶と環境内の関連オブジェクトのアフォーダンスを考慮します。
私たちのフレームワークは、強化学習エージェントと言語モデル エージェントという 2 つの代表的なモデル クラスをサポートしています。
さらに、ナレッジ グラフによる注入や既存の入力エンコード戦略の強化など、上記のドメイン知識タイプとエージェント アーキテクチャに対する複数の注入戦略を考案します。
ScienceWorld テキストベースのゲーム環境で 10 のタスクに対して 4 つのモデルを実験し、さまざまなモデル構成と困難なタスク設定に対する知識注入の影響を示します。
私たちの調査結果は、タスクのプロパティ、モデル アーキテクチャ、および対話型コンテキストのドメイン知識の間の相互作用についての重要な洞察を提供します。

要約(オリジナル)

Communication via natural language is a key aspect of machine intelligence, and it requires computational models to learn and reason about world concepts, with varying levels of supervision. Significant progress has been made on fully-supervised non-interactive tasks, such as question-answering and procedural text understanding. Yet, various sequential interactive tasks, as in text-based games, have revealed limitations of existing approaches in terms of coherence, contextual awareness, and their ability to learn effectively from the environment. In this paper, we propose a knowledge-injection framework for improved functional grounding of agents in text-based games. Specifically, we consider two forms of domain knowledge that we inject into learning-based agents: memory of previous correct actions and affordances of relevant objects in the environment. Our framework supports two representative model classes: reinforcement learning agents and language model agents. Furthermore, we devise multiple injection strategies for the above domain knowledge types and agent architectures, including injection via knowledge graphs and augmentation of the existing input encoding strategies. We experiment with four models on the 10 tasks in the ScienceWorld text-based game environment, to illustrate the impact of knowledge injection on various model configurations and challenging task settings. Our findings provide crucial insights into the interplay between task properties, model architectures, and domain knowledge for interactive contexts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google