Knowledge-enhanced Agents for Interactive Text Games

要約

タイトル: 対話型テキストゲームのための知識強化エージェント

要約：
– 自然言語によるコミュニケーションは知能の重要な側面であり、様々なレベルの監視を必要とする。
– 完全監視型の非対話型タスク（質問応答や手続きテキスト理解など）では多くの進歩がありますが、シーケンシャルな対話型タスクに向けた研究も増えています。
– 研究者らは、時間軸的に一連の行動を伴う半マルコフ文書ベースのゲームを利用して、既存のアプローチの制限に対処しています。
– 本論文では、テキストゲームの中でエージェントの機能的な基盤を改善するためのフレームワークを提案します。
– 学習ベースのエージェントに注入されるドメイン知識の2つの形式を考慮しています：以前の正しい行動のメモリと環境中の関連オブジェクトの適応性。
– さらに、私たちは、 `純粋な ‘強化学習（RL）エージェント、知識グラフを組み込んだRLエージェント、および言語モデルを装備したエージェントなど、3つの代表的なモデルクラスをサポートするフレームワークを提供します。
– さらに、私たちは、上記のドメイン知識タイプとエージェントアーキテクチャの複数の注入戦略を考案し、知識グラフを介した注入や、既存の入力エンコード戦略の拡張などが含まれます。
– 科学に関連する指示に従うタスクを含むScienceWorldテキストゲーム環境で実験を実施し、様々なモデル構成のパフォーマンスを明らかにしています。
– 私たちの研究結果は、対話的な文脈での効果的な自然言語処理システムの開発についての重要な示唆を提供します。

要約(オリジナル)

Communication via natural language is a crucial aspect of intelligence, and it requires computational models to learn and reason about world concepts, with varying levels of supervision. While there has been significant progress made on fully-supervised non-interactive tasks, such as question-answering and procedural text understanding, much of the community has turned to various sequential interactive tasks, as in semi-Markov text-based games, which have revealed limitations of existing approaches in terms of coherence, contextual awareness, and their ability to learn effectively from the environment. In this paper, we propose a framework for enabling improved functional grounding of agents in text-based games. Specifically, we consider two forms of domain knowledge that we inject into learning-based agents: memory of previous correct actions and affordances of relevant objects in the environment. Our framework supports three representative model classes: `pure’ reinforcement learning (RL) agents, RL agents enhanced with knowledge graphs, and agents equipped with language models. Furthermore, we devise multiple injection strategies for the above domain knowledge types and agent architectures, including injection via knowledge graphs and augmentation of the existing input encoding strategies. We perform all experiments on the ScienceWorld text-based game environment, to illustrate the performance of various model configurations in challenging science-related instruction-following tasks. Our findings provide crucial insights on the development of effective natural language processing systems for interactive contexts.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI