Differentiable Parsing and Visual Grounding of Natural Language Instructions for Object Placement

要約

オブジェクト配置タスクで自然言語をグラウンディングするための新しい方法、PARsing And visual GrOuNding (ParaGon) を紹介します。
自然言語は一般に、構成性と曖昧さを伴うオブジェクトと空間的関係を記述します。これらは、効果的な言語の接地に対する2つの主要な障害です。
構成性のために、ParaGon は言語命令をオブジェクト中心のグラフ表現に解析して、オブジェクトを個別に接地します。
あいまいさのために、ParaGon は新しい粒子ベースのグラフ ニューラル ネットワークを使用して、不確実性を伴うオブジェクトの配置について推論します。
基本的に、ParaGon は解析アルゴリズムを確率論的データ駆動型学習フレームワークに統合します。
複雑であいまいな言語入力に対する堅牢性のために、データから完全に微分可能であり、エンドツーエンドでトレーニングされています。

要約(オリジナル)

We present a new method, PARsing And visual GrOuNding (ParaGon), for grounding natural language in object placement tasks. Natural language generally describes objects and spatial relations with compositionality and ambiguity, two major obstacles to effective language grounding. For compositionality, ParaGon parses a language instruction into an object-centric graph representation to ground objects individually. For ambiguity, ParaGon uses a novel particle-based graph neural network to reason about object placements with uncertainty. Essentially, ParaGon integrates a parsing algorithm into a probabilistic, data-driven learning framework. It is fully differentiable and trained end-to-end from data for robustness against complex, ambiguous language input.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google