LINGO-Space: Language-Conditioned Incremental Grounding for Space

要約

我々は、空間を参照する複合命令を空間的に定位させる問題、すなわち空間グラウンディングの解決を目指す。現在のインスタンスグラウンディングと比較して、空間グラウンディングは、離散的な表現によって参照される場所を特定する非対称性と、参照する表現の構成的な曖昧性のために困難である。そこで、我々は、参照される空間の確率的分布を正確に特定し、設定可能な極性分布を活用した後続の参照表現が与えられた場合に、それを漸進的に更新する、新しい確率的空間接地手法（LINGO-Space）を提案する。我々の評価では、極性分布を用いた推定により、20$のテーブルトップ操作ベンチマークテストにおいて、ロボットが正常に位置を接地できることを示す。また、分布を更新することで、参照空間を正確に狭めることができる。最後に、シミュレーション操作と実際の四足歩行ロボットのナビゲーションタスクを用いて、空間接地の頑健性を実証する。コードとビデオはhttps://lingo-space.github.io。

要約(オリジナル)

We aim to solve the problem of spatially localizing composite instructions referring to space: space grounding. Compared to current instance grounding, space grounding is challenging due to the ill-posedness of identifying locations referred to by discrete expressions and the compositional ambiguity of referring expressions. Therefore, we propose a novel probabilistic space-grounding methodology (LINGO-Space) that accurately identifies a probabilistic distribution of space being referred to and incrementally updates it, given subsequent referring expressions leveraging configurable polar distributions. Our evaluations show that the estimation using polar distributions enables a robot to ground locations successfully through $20$ table-top manipulation benchmark tests. We also show that updating the distribution helps the grounding method accurately narrow the referring space. We finally demonstrate the robustness of the space grounding with simulated manipulation and real quadruped robot navigation tasks. Code and videos are available at https://lingo-space.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL