Generating Executable Action Plans with Environmentally-Aware Language Models

要約

タイトル：
「環境に配慮した言語モデルを用いた実行可能なアクション計画の生成」

要約：
– 大規模なテキストデータセットで訓練されたLLMは、高いレベルのテキストクエリからロボットエージェントのアクションプランを生成することで有望性を示している。
– しかし、これらのモデルは通常ロボットの環境を考慮せず、計画されたアクションの曖昧さや環境制約により、実際に実行不可能な計画が生成されることがある。
– この論文では、環境に配慮した実行可能なアクションプランを生成する手法を提案している。
– 提案手法は、LLMアクション計画生成に環境オブジェクトとオブジェクト関係を追加の入力として統合することで、システムに周囲の状況を認識させ、シーン内に存在するオブジェクトに各生成アクションをマッピングさせることができるようにする。
– また、アクションステップを生成し、オブジェクトに関連付けるだけでなく、オブジェクトインスタンス間の曖昧さを解決し、状態を考慮するための新しいスコアリング関数を設計している。
– VirtualHomeシミュレータとActivityPrograms知識ベースを使用して提案手法を評価し、前の研究に比べて、システムから生成されたアクションプランは実行可能性が310％、正確性が147％向上したことを発見した。
– この手法の完全なコードとデモは、https://github.com/hri-ironlab/scene_aware_language_plannerで公開されている。

要約(オリジナル)

Large Language Models (LLMs) trained using massive text datasets have recently shown promise in generating action plans for robotic agents from high level text queries. However, these models typically do not consider the robot’s environment, resulting in generated plans that may not actually be executable, due to ambiguities in the planned actions or environmental constraints. In this paper, we propose an approach to generate environmentally-aware action plans that agents are better able to execute. Our approach involves integrating environmental objects and object relations as additional inputs into LLM action plan generation to provide the system with an awareness of its surroundings, resulting in plans where each generated action is mapped to objects present in the scene. We also design a novel scoring function that, along with generating the action steps and associating them with objects, helps the system disambiguate among object instances and take into account their states. We evaluated our approach using the VirtualHome simulator and the ActivityPrograms knowledge base and found that action plans generated from our system had a 310% improvement in executability and a 147% improvement in correctness over prior work. The complete code and a demo of our method is publicly available at https://github.com/hri-ironlab/scene_aware_language_planner.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI