SEAL: Semantic Frame Execution And Localization for Perceiving Afforded Robot Actions

要約

ロボットによるモバイル操作の最近の進歩により、ロボットの操作環境は、制約のあるワークスペースから大規模な人間の環境にまで拡大しています。
これらの空間でタスクを効果的に完了するために、ロボットは単純なピックアンドプレースをはるかに超えて、さまざまなアフォーダンスを認識し、推論し、実行できなければなりません。
セマンティックフレームの概念は、アクションに焦点を当てた知覚、タスクレベルの推論、アクションレベルの実行、および言語との統合に適したロボットアクションの説得力のある表現を提供すると考えています。
言語学コミュニティの産物であるセマンティック フレームは、必要な要素、事前条件と事後条件、および動詞句によって引き起こされるアクションを正常に実行するために必要な一連の一連のロボット アクションを定義します。
この作業では、ロボット操作アクションのセマンティック フレーム表現を拡張し、セマンティック フレームの実行とローカリゼーション (SEAL) をグラフィカル モデルとして認識できるようにする問題を紹介します。
SEAL の問題については、ロボットに与えられたアクションの場所としてセマンティック フレームの有限セットに対する信念を維持するためのノンパラメトリック セマンティック フレーム マッピング (SeFM) アルゴリズムについて説明します。
GPT-3 などの言語モデルは、SEAL の定式化でカバーされる一般化されたタスクの実行に対処するには不十分であり、SeFM は、建物規模の環境で動作するときに必要な効率的な検索戦略と長期記憶をロボットに提供することを示しています。

要約(オリジナル)

Recent advances in robotic mobile manipulation have spurred the expansion of the operating environment for robots from constrained workspaces to large-scale, human environments. In order to effectively complete tasks in these spaces, robots must be able to perceive, reason, and execute over a diversity of affordances, well beyond simple pick-and-place. We posit the notion of semantic frames provides a compelling representation for robot actions that is amenable to action-focused perception, task-level reasoning, action-level execution, and integration with language. Semantic frames, a product of the linguistics community, define the necessary elements, pre- and post- conditions, and a set of sequential robot actions necessary to successfully execute an action evoked by a verb phrase. In this work, we extend the semantic frame representation for robot manipulation actions and introduce the problem of Semantic Frame Execution And Localization for Perceiving Afforded Robot Actions (SEAL) as a graphical model. For the SEAL problem, we describe our nonparametric Semantic Frame Mapping (SeFM) algorithm for maintaining belief over a finite set of semantic frames as the locations of actions afforded to the robot. We show that language models such as GPT-3 are insufficient to address generalized task execution covered by the SEAL formulation and SeFM provides robots with efficient search strategies and long term memory needed when operating in building-scale environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google