‘Don’t Do That!’: Guiding Embodied Systems through Large Language Model-based Constraint Generation

要約

大規模な言語モデル（LLMS）の最近の進歩は、自然言語から計画問題への複雑な空間的、数学的、条件付き制約を組み込んだロボットナビゲーションへの関心を促しました。
このような制約は非公式でありながら非常に複雑である可能性があり、計画アルゴリズムに渡すことができる正式な説明に変換することが困難です。
このホワイトペーパーでは、LLMSを使用して制約（「何をしないか」の指示として表される）を実行可能なPython関数に変換する制約生成フレームワークであるSTPRを提案します。
STPRは、LLMの強力なコーディング機能を活用して、問題の説明を言語から構造化された透明コードにシフトし、複雑な推論を回避し、潜在的な幻覚を回避します。
これらのLLMで生成された関数は、複雑な数学的制約でさえ正確に記述し、従来の検索アルゴリズムを使用してクラウド表現をポイントに適用することを示します。
シミュレートされたガゼボ環境での実験は、STPRがいくつかの制約とシナリオにわたって完全なコンプライアンスを保証することを示しています。
また、STPRはより小さくコード固有のLLMで使用できるようにして、低推論コストで幅広いコンパクトモデルに適用できるようにすることも確認します。

要約(オリジナル)

Recent advancements in large language models (LLMs) have spurred interest in robotic navigation that incorporates complex spatial, mathematical, and conditional constraints from natural language into the planning problem. Such constraints can be informal yet highly complex, making it challenging to translate into a formal description that can be passed on to a planning algorithm. In this paper, we propose STPR, a constraint generation framework that uses LLMs to translate constraints (expressed as instructions on “what not to do”) into executable Python functions. STPR leverages the LLM’s strong coding capabilities to shift the problem description from language into structured and transparent code, thus circumventing complex reasoning and avoiding potential hallucinations. We show that these LLM-generated functions accurately describe even complex mathematical constraints, and apply them to point cloud representations with traditional search algorithms. Experiments in a simulated Gazebo environment show that STPR ensures full compliance across several constraints and scenarios, while having short runtimes. We also verify that STPR can be used with smaller, code-specific LLMs, making it applicable to a wide range of compact models at low inference cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google