Seeing, Saying, Solving: An LLM-to-TL Framework for Cooperative Robots

要約

倉庫などのロボット展開の増加は、予期せぬ紛争を解決するために、異種のロボットチーム間のシームレスなコラボレーションの必要性を明らかにしました。
この課題に対処するために、ロボットが要求してヘルプを提供するための斬新な分散型フレームワークを提案します。
フレームワークは、Vision言語モデル（VLM）を使用して競合を検出し、ヘルプが必要かどうかを推論することから始まります。
もしそうなら、それは大規模な言語モデル（LLM）を使用して、自然言語（NL）ヘルプのリクエストを作成して放送します。
潜在的なヘルパーロボットは、リクエストに対する推論とヘルプを提供し、現在のタスクへの影響に関する情報を提供します。
ヘルパーの推論は、バックスノーフォーム（BNF）文法を使用して信号時間論理（STL）に基づいたLLMを介して実装され、構文的に有効なNL-STL翻訳を保証します。これは、混合整数線形プログラム（MILP）として解決されます。
最後に、Requester Robotは、システム全体への影響を推論することにより、ヘルパーを選択します。
ヘルパーを選択するためのさまざまな戦略を考慮した実験を介してシステムを評価し、要求者ロボットが複数のヘルプオファーと単純なヒューリスティックを考慮することにより、システムへの全体的な時間の影響を最小限に抑えることができることを発見します（たとえば、最寄りのロボットを選択するために選択します）。

要約(オリジナル)

Increased robot deployment, such as in warehousing, has revealed a need for seamless collaboration among heterogeneous robot teams to resolve unforeseen conflicts. To address this challenge, we propose a novel, decentralized framework for robots to request and provide help. The framework begins with robots detecting conflicts using a Vision Language Model (VLM), then reasoning over whether help is needed. If so, it crafts and broadcasts a natural language (NL) help request using a Large Language Model (LLM). Potential helper robots reason over the request and offer help (if able), along with information about impact to their current tasks. Helper reasoning is implemented via an LLM grounded in Signal Temporal Logic (STL) using a Backus-Naur Form (BNF) grammar to guarantee syntactically valid NL-to-STL translations, which are then solved as a Mixed Integer Linear Program (MILP). Finally, the requester robot chooses a helper by reasoning over impact on the overall system. We evaluate our system via experiments considering different strategies for choosing a helper, and find that a requester robot can minimize overall time impact on the system by considering multiple help offers versus simple heuristics (e.g., selecting the nearest robot to help).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google