Semantically Safe Robot Manipulation: From Semantic Scene Understanding to Motion Safeguards

要約

人間中心の環境での安全な相互作用を確保するには、ロボットが人間によって認識された制約を「常識」として理解し、遵守する必要があります（たとえば、「ラップトップの上に水を動かすことは、水がこぼれる可能性があるため安全ではありません」、または「コンテンツを塗ることにつながる可能性があるため安全ではありません」）。
コンピュータービジョンと機械学習における最近の進歩により、ロボットは操作環境についての意味的な理解と理由を獲得することができました。
安全なロボットの意思決定に関する広範な文献が存在しますが、セマンティック理解がこれらの製剤に統合されることはめったにありません。
この作業では、意味的に定義された制約（例えば、安全でない空間的関係、行動、およびポーズ）および幾何学的に定義された制約（例えば、環境衝突および自己衝突の制約）に関してロボット入力を証明するセマンティック安全フィルターフレームワークを提案します。
提案されたアプローチでは、知覚入力が与えられた場合、3D環境のセマンティックマップを構築し、大規模な言語モデルのコンテキスト推論能力を活用して、意味的に安全でない条件を推測します。
これらの意味的に安全でない条件は、制御バリア認証策定を介して安全なアクションにマッピングされます。
テレロタイズ操作タスクで提案されたセマンティックセーフティフィルターを実証し、実際のセマンティック安全の制約に対処する際の有効性をさらに示す現実世界のキッチン環境に適用される学習拡散ポリシーを使用します。
一緒に、これらの実験は、セマンティクスを安全認証に統合するアプローチの能力を強調し、従来の衝突回避を超えて安全なロボット操作を可能にします。

要約(オリジナル)

Ensuring safe interactions in human-centric environments requires robots to understand and adhere to constraints recognized by humans as ‘common sense’ (e.g., ‘moving a cup of water above a laptop is unsafe as the water may spill’ or ‘rotating a cup of water is unsafe as it can lead to pouring its content’). Recent advances in computer vision and machine learning have enabled robots to acquire a semantic understanding of and reason about their operating environments. While extensive literature on safe robot decision-making exists, semantic understanding is rarely integrated into these formulations. In this work, we propose a semantic safety filter framework to certify robot inputs with respect to semantically defined constraints (e.g., unsafe spatial relationships, behaviors, and poses) and geometrically defined constraints (e.g., environment-collision and self-collision constraints). In our proposed approach, given perception inputs, we build a semantic map of the 3D environment and leverage the contextual reasoning capabilities of large language models to infer semantically unsafe conditions. These semantically unsafe conditions are then mapped to safe actions through a control barrier certification formulation. We demonstrate the proposed semantic safety filter in teleoperated manipulation tasks and with learned diffusion policies applied in a real-world kitchen environment that further showcases its effectiveness in addressing practical semantic safety constraints. Together, these experiments highlight our approach’s capability to integrate semantics into safety certification, enabling safe robot operation beyond traditional collision avoidance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google