AdaptBot: Combining LLM with Knowledge Graphs and Human Input for Generic-to-Specific Task Decomposition and Knowledge Refinement

要約

人間を支援する具現化エージェントは、新しいシナリオで新しいタスクを完了するよう求められることが多い。既知のレシピに基づいてキッチンで特定の料理を準備するエージェントは、新しい料理を準備したり、書庫で清掃作業を行うように求められるかもしれない。このような新しい状況に対してエージェントを訓練するには、時間やラベル付けされた例など、十分なリソースがないかもしれない。しかし、タスク、エージェント、またはドメイン固有の制約により、エージェントがこの行動シーケンスを実行することは不可能かもしれません。我々のフレームワークは、LLMによって提供される一般的な予測と、知識グラフ（KG）にエンコードされた事前のドメイン固有の知識を活用することによって、これらの課題に対処し、エージェントが新しいタスクやシナリオに迅速に適応することを可能にします。また、ロボットは既存の知識を改良するために、必要に応じて人間の入力を求め、利用する。シミュレーション領域における料理と掃除のタスクに関する実験的評価に基づき、我々は、LLM、KG、および人間の入力の相互作用が、LLMの出力のみを使用する場合と比較して、大幅な性能向上をもたらすことを実証する。

要約(オリジナル)

Embodied agents assisting humans are often asked to complete a new task in a new scenario. An agent preparing a particular dish in the kitchen based on a known recipe may be asked to prepare a new dish or to perform cleaning tasks in the storeroom. There may not be sufficient resources, e.g., time or labeled examples, to train the agent for these new situations. Large Language Models (LLMs) trained on considerable knowledge across many domains are able to predict a sequence of abstract actions for such new tasks and scenarios, although it may not be possible for the agent to execute this action sequence due to task-, agent-, or domain-specific constraints. Our framework addresses these challenges by leveraging the generic predictions provided by LLM and the prior domain-specific knowledge encoded in a Knowledge Graph (KG), enabling an agent to quickly adapt to new tasks and scenarios. The robot also solicits and uses human input as needed to refine its existing knowledge. Based on experimental evaluation over cooking and cleaning tasks in simulation domains, we demonstrate that the interplay between LLM, KG, and human input leads to substantial performance gains compared with just using the LLM output.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL