IMPACT: Intelligent Motion Planning with Acceptable Contact Trajectories via Vision-Language Models

要約

モーション計画では、ロボット構成のシーケンスを決定して、動きと安全の制約を条件として、望ましいポーズに到達します。
従来のモーションプランニングは衝突のないパスを見つけますが、これは乱雑さでは過度に制限されており、ロボットが連絡なしでタスクを達成することは不可能です。
さらに、コンタクトは比較的良性（たとえば、柔らかい枕のブラッシング）からより危険なもの（たとえば、ガラスの花瓶を倒す）にまで及びます。
この多様性のため、どの接触が受け入れられるか、受け入れられないかを特徴付けることは困難です。
この論文では、Vision-Language Models（VLM）を使用して環境セマンティクスを推測する新しいモーション計画フレームワークであるImpactを提案し、環境のどの部分がオブジェクトのプロパティと場所に基づいて接触を最もよく許容できるかを特定します。
私たちのアプローチでは、VLMの出力を使用して、コンタクトトレランスをコードし、標準のモーションプランナーとシームレスに統合する密な3D「コストマップ」を作成します。
20のシミュレーションと10の実際のシーンを使用して実験を行い、タスクの成功率、オブジェクト変位、および人間の評価者からのフィードバックを使用して評価します。
3620を超えるシミュレーションと200の実世界の試行を超える我々の結果は、インパクトが散らかった設定で効率的な接触豊富なモーション計画を可能にしながら、代替方法とアブレーションを上回ることを示唆しています。
補足資料はhttps://impact-planning.github.io/で入手できます。

要約(オリジナル)

Motion planning involves determining a sequence of robot configurations to reach a desired pose, subject to movement and safety constraints. Traditional motion planning finds collision-free paths, but this is overly restrictive in clutter, where it may not be possible for a robot to accomplish a task without contact. In addition, contacts range from relatively benign (e.g., brushing a soft pillow) to more dangerous (e.g., toppling a glass vase). Due to this diversity, it is difficult to characterize which contacts may be acceptable or unacceptable. In this paper, we propose IMPACT, a novel motion planning framework that uses Vision-Language Models (VLMs) to infer environment semantics, identifying which parts of the environment can best tolerate contact based on object properties and locations. Our approach uses the VLM’s outputs to produce a dense 3D ‘cost map’ that encodes contact tolerances and seamlessly integrates with standard motion planners. We perform experiments using 20 simulation and 10 real-world scenes and assess using task success rate, object displacements, and feedback from human evaluators. Our results over 3620 simulation and 200 real-world trials suggest that IMPACT enables efficient contact-rich motion planning in cluttered settings while outperforming alternative methods and ablations. Supplementary material is available at https://impact-planning.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google