R2H: Building Multimodal Navigation Helpers that Respond to Help Requests

要約

インテリジェントなナビゲーション ヘルパー エージェントは、環境認識と会話能力を通じて未知の領域のユーザーをナビゲートできるため、障害を持つ個人にとって潜在的なアクセシビリティ ツールとして機能するため、非常に重要です。
この作業では、既存のダイアログベースの具体化されたデータセットを利用して、ヘルプ要求に応答できるマルチモーダル ナビゲーション ヘルパーの開発を促進するために、新しいベンチマークである Respond to Help Requests (R2H) を最初に導入します。
R2H には主に 2 つのタスクが含まれます。(1) ヘルパー エージェントが特定の対話履歴に基づいて有益な応答を生成する能力を評価するダイアログ履歴への応答 (RDH)、および (2) インタラクション中の応答 (RdI)。
タスク実行者との一貫した協力における応答の効率性。
さらに、ナビゲーション ヘルパー エージェントを構築するための 2 つのアプローチを検討します。これには、SeeRee という名前の、見て応答できる新しいタスク指向のマルチモーダル応答生成モデルの微調整と、ゼロ言語モデルでのマルチモーダル大規模言語モデルの採用が含まれます。
-ショットの仕方。
タスクと方法の分析は、自動ベンチマークと人間による評価の両方に基づいて実行されました。
プロジェクトの Web サイト: https://sites.google.com/view/response2helprequests/home。

要約(オリジナル)

Intelligent navigation-helper agents are critical as they can navigate users in unknown areas through environmental awareness and conversational ability, serving as potential accessibility tools for individuals with disabilities. In this work, we first introduce a novel benchmark, Respond to Help Requests (R2H), to promote the development of multi-modal navigation helpers capable of responding to requests for help, utilizing existing dialog-based embodied datasets. R2H mainly includes two tasks: (1) Respond to Dialog History (RDH), which assesses the helper agent’s ability to generate informative responses based on a given dialog history, and (2) Respond during Interaction (RdI), which evaluates the effectiveness and efficiency of the response during consistent cooperation with a task performer. Furthermore, we explore two approaches to construct the navigation-helper agent, including fine-tuning a novel task-oriented multi-modal response generation model that can see and respond, named SeeRee, and employing a multi-modal large language model in a zero-shot manner. Analysis of the task and method was conducted based on both automatic benchmarking and human evaluations. Project website: https://sites.google.com/view/response2helprequests/home.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google