Overcoming Referential Ambiguity in Language-Guided Goal-Conditioned Reinforcement Learning

要約

自然言語を使用して新しいタスクを実行するようにエージェントに教えることは、解釈の曖昧さによって容易に妨げられる可能性があります。
教師が物体の特徴に言及して学習者に物体についての指示を与える場合、たとえば指示が物体の特徴を曖昧に言及している場合、学習者は教師の意図を誤解する可能性があり、これを指示の曖昧さと呼ばれる現象が発生します。
私たちは、認知科学から派生した 2 つの概念、つまり教育学 (適切な指示を選択する) とプラグマティズム (帰納的推論を使用して他のエージェントの好みを学習する) がこれらの参照の曖昧さを解決するのにどのように役立つかを研究します。
これらのアイデアを、シミュレートされたロボット タスク (ブロック スタッキング) で 2 人の人工エージェントを使用する教師/学習者のセットアップに適用します。
これらの概念により、学習者のトレーニングにおけるサンプル効率が向上することを示します。

要約(オリジナル)

Teaching an agent to perform new tasks using natural language can easily be hindered by ambiguities in interpretation. When a teacher provides an instruction to a learner about an object by referring to its features, the learner can misunderstand the teacher’s intentions, for instance if the instruction ambiguously refer to features of the object, a phenomenon called referential ambiguity. We study how two concepts derived from cognitive sciences can help resolve those referential ambiguities: pedagogy (selecting the right instructions) and pragmatism (learning the preferences of the other agents using inductive reasoning). We apply those ideas to a teacher/learner setup with two artificial agents on a simulated robotic task (block-stacking). We show that these concepts improve sample efficiency for training the learner.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google