Beyond Literal Descriptions: Understanding and Locating Open-World Objects Aligned with Human Intentions

要約

ビジュアル グラウンディング (VG) は、指定された自然言語表現に一致する前景エンティティを見つけることを目的としています。
従来の VG タスクの以前のデータセットとメソッドは、主に、指定された式が文字通りターゲット オブジェクトを参照する必要があるという事前の仮定に依存しており、これが現実世界のシナリオでのエージェントの実際的な展開を大きく妨げています。
ユーザーは通常、すべての詳細を網羅するのではなく、目的のオブジェクトについて意図に基づいた表現を提供することを好むため、エージェントは意図に基づいた指示を解釈する必要があります。
したがって、この研究では、意図駆動型の視覚言語 (V-L) 理解にさらに一歩踏み込みます。
人間の意図解釈に向けて古典的な VG を促進するために、新しい意図主導型ビジュアル グラウンディング (IVG) タスクを提案し、自由形式の意図表現を備えた IntentionVG と呼ばれる大規模な IVG データセットを構築します。
実際のエージェントはグラウンディング タスクを実現するために、さまざまなシナリオの間で移動して特定のターゲットを見つける必要があることを考慮して、IVG タスクと IntentionVG データセットでは、マルチシナリオの認識と自己中心的な視点の両方の重要な特性が考慮されています。
さらに、IVG タスクを実現するためのベースラインとして、さまざまなタイプのモデルが設定されています。
当社の IntentionVG データセットとベースラインに関する広範な実験により、V-L フィールドに対する当社の手法の必要性と有効性が実証されました。
この方向での将来の研究を促進するために、新しく構築されたデータセットとベースラインは https://github.com/Rubics-Xuan/IVG で公開される予定です。

要約(オリジナル)

Visual grounding (VG) aims at locating the foreground entities that match the given natural language expressions. Previous datasets and methods for classic VG task mainly rely on the prior assumption that the given expression must literally refer to the target object, which greatly impedes the practical deployment of agents in real-world scenarios. Since users usually prefer to provide intention-based expression for the desired object instead of covering all the details, it is necessary for the agents to interpret the intention-driven instructions. Thus, in this work, we take a step further to the intention-driven visual-language (V-L) understanding. To promote classic VG towards human intention interpretation, we propose a new intention-driven visual grounding (IVG) task and build a large-scale IVG dataset termed IntentionVG with free-form intention expressions. Considering that practical agents need to move and find specific targets among various scenarios to realize the grounding task, our IVG task and IntentionVG dataset have taken the crucial properties of both multi-scenario perception and egocentric view into consideration. Besides, various types of models are set up as the baselines to realize our IVG task. Extensive experiments on our IntentionVG dataset and baselines demonstrate the necessity and efficacy of our method for the V-L field. To foster future research in this direction, our newly built dataset and baselines will be publicly available at https://github.com/Rubics-Xuan/IVG.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google