Improving Grounded Language Understanding in a Collaborative Environment by Interacting with Agents Through Help Feedback

要約

タイトル：ヘルプフィードバックを用いたエージェントとの相互作用による共同環境でのグラウンデッド言語理解の向上

要約：
– 自然言語処理（NLP）タスクの多くは、エージェントが指示を受け取り、実行し、最終結果に基づいて評価されるシングルステップ問題として扱われることが多い。
– しかし、人間の言語は必ずしもそうではなく、人間の会話のようなやりとりのあるものである。
– このため、人間 – AI協働も相互的であるべきであり、人間がAIエージェントの作業を監視し、エージェントが理解して活用できるフィードバックを提供することが重要である。
– さらに、AIエージェントが追加の情報が必要であると認識し、積極的に助けを求めることができるようにする必要がある。
– これを実現することで、より自然で効率的で魅力的な人間 – AI協働が実現できる。
– 本研究では、IGLU競技の難しいタスクを使用し、マインクラフトのような世界での対話型グラウンデッド言語理解タスクを探索し、AIエージェントに与えられるヘルプの複数のタイプを分析し、その影響を分析して、パフォーマンスの改善を実現する。

要約(オリジナル)

Many approaches to Natural Language Processing (NLP) tasks often treat them as single-step problems, where an agent receives an instruction, executes it, and is evaluated based on the final outcome. However, human language is inherently interactive, as evidenced by the back-and-forth nature of human conversations. In light of this, we posit that human-AI collaboration should also be interactive, with humans monitoring the work of AI agents and providing feedback that the agent can understand and utilize. Further, the AI agent should be able to detect when it needs additional information and proactively ask for help. Enabling this scenario would lead to more natural, efficient, and engaging human-AI collaborations. In this work, we explore these directions using the challenging task defined by the IGLU competition, an interactive grounded language understanding task in a MineCraft-like world. We explore multiple types of help players can give to the AI to guide it and analyze the impact of this help in AI behavior, resulting in performance improvements.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI