SayComply: Grounding Field Robotic Tasks in Operational Compliance through Retrieval-Based Language Models

要約

この論文では、現実世界の設定で操作マニュアルに準拠する必要があるロボットのタスク計画の問題を扱います。
これらの制約の下でタスクを計画することは、ドメイン固有の知識の遵守が必要なドメインでの自律的なロボット操作を可能にするために不可欠です。
ロボットの目標と計画を生成する現在の方法は、大規模な言語モデルにエンコードされた常識知識に依存しています。
ただし、これらのモデルには、ドメイン固有の知識に基づいたロボット計画の基礎が欠けており、異なるコンプライアンス ニーズを持つ複数のサイトまたは顧客間で簡単に移行することはできません。
この研究では、検索ベースの言語モデルを使用して、運用上のコンプライアンスを備えたロボット タスク計画の基礎を可能にする SayComply を紹介します。
私たちは、LLM の限られたコンテキスト長の下で関連するコンテキストを効率的に検索できるようにするために、運用、環境、およびロボットの実施形態のマニュアルと手順の階層データベースを設計します。
次に、ツリーベースの検索拡張生成 (RAG) 技術を使用してタスク プランナーを設計し、データベース内のドメイン知識に準拠しながらユーザーの指示に従うロボット タスクを生成します。
私たちは、さまざまな種類のコンテキストにわたる正確なコンテキスト取得を必要とする現実のシナリオでのシミュレーションとハードウェア実験を通じて、標準の RAG 手法を上回るパフォーマンスを発揮するアプローチの利点を実証します。
当社のアプローチは、運用プロトコルに一貫して準拠するロボット導入のギャップを埋め、多様で複雑な現実世界の環境全体でコンプライアンスを確保するためのスケーラブルでエッジ導入可能なソリューションを提供します。
プロジェクトの Web サイト:saycomply.github.io。

要約(オリジナル)

This paper addresses the problem of task planning for robots that must comply with operational manuals in real-world settings. Task planning under these constraints is essential for enabling autonomous robot operation in domains that require adherence to domain-specific knowledge. Current methods for generating robot goals and plans rely on common sense knowledge encoded in large language models. However, these models lack grounding of robot plans to domain-specific knowledge and are not easily transferable between multiple sites or customers with different compliance needs. In this work, we present SayComply, which enables grounding robotic task planning with operational compliance using retrieval-based language models. We design a hierarchical database of operational, environment, and robot embodiment manuals and procedures to enable efficient retrieval of the relevant context under the limited context length of the LLMs. We then design a task planner using a tree-based retrieval augmented generation (RAG) technique to generate robot tasks that follow user instructions while simultaneously complying with the domain knowledge in the database. We demonstrate the benefits of our approach through simulations and hardware experiments in real-world scenarios that require precise context retrieval across various types of context, outperforming the standard RAG method. Our approach bridges the gap in deploying robots that consistently adhere to operational protocols, offering a scalable and edge-deployable solution for ensuring compliance across varied and complex real-world environments. Project website: saycomply.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google