When and What to Ask Through World States and Text Instructions: IGLU NLP Challenge Solution

要約

タイトル：ワールドステートとテキスト指示で何をいつ聞くべきか：IGLU NLP Challenge Solution

要約：

– 協調タスクでは、効果的なコミュニケーションが共同目標の達成に不可欠です。
– この研究は、共同ビルディングタスクで行われる、Minecraftのようなシミュレーション環境で欲しい構造物を構築するためのインテリジェントビルダーエージェントを開発することを目的としています。
– しかし、ビルダーは、提供された情報や指示だけで判断が難しい状況に遭遇することがあり、不明瞭さを招く可能性があります。NeurIPS 2022 Competition NLP Taskでは、2つの主要な研究課題を扱い、エージェントがどのように質問をし、どんな質問をするべきかを決定するための研究を目指しています。
– この目標に向けて、分類タスクとランキングタスクの2つのサブタスクを使用します。分類タスクでは、現在のワールドステートと対話履歴に基づいて、エージェントが質問をする必要があるかどうかを決定することを目的としています。ランキングタスクでは、候補の質問プールから関連する質問をランク付けすることを目指しています。
– 分類タスクでは、当研究がリーダーボードで3位に入ったという成果とともに、モデルがF1スコア0.757を達成しました。ランキングタスクでは、従来のランキングモデルを拡張して、平均逆順位の約0.38を達成しました。
– 最後に、ランキングタスクにおけるさまざまなニューラルアプローチと将来的な方向について議論します。

要約(オリジナル)

In collaborative tasks, effective communication is crucial for achieving joint goals. One such task is collaborative building where builders must communicate with each other to construct desired structures in a simulated environment such as Minecraft. We aim to develop an intelligent builder agent to build structures based on user input through dialogue. However, in collaborative building, builders may encounter situations that are difficult to interpret based on the available information and instructions, leading to ambiguity. In the NeurIPS 2022 Competition NLP Task, we address two key research questions, with the goal of filling this gap: when should the agent ask for clarification, and what clarification questions should it ask? We move towards this target with two sub-tasks, a classification task and a ranking task. For the classification task, the goal is to determine whether the agent should ask for clarification based on the current world state and dialogue history. For the ranking task, the goal is to rank the relevant clarification questions from a pool of candidates. In this report, we briefly introduce our methods for the classification and ranking task. For the classification task, our model achieves an F1 score of 0.757, which placed the 3rd on the leaderboard. For the ranking task, our model achieves about 0.38 for Mean Reciprocal Rank by extending the traditional ranking model. Lastly, we discuss various neural approaches for the ranking task and future direction.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI