AdaptBot: Combining LLM with Knowledge Graphs and Human Input for Generic-to-Specific Task Decomposition and Knowledge Refinement

要約

人間を支援する具体化されたエージェントは、多くの場合、新しいタスクを完了するように求められます。これらの新しいタスクを実行するためにエージェントを訓練するのに十分な時間やラベルの付いた例がない場合があります。
多くのドメインにわたってかなりの知識で訓練された大規模な言語モデル（LLM）を使用して、そのようなタスクを完了するための一連の抽象的なアクションを予測できますが、エージェントはタスク、エージェント、またはドメイン固有の制約のためにこのシーケンスを実行できない場合があります。
私たちのフレームワークは、LLMが提供する一般的な予測と知識グラフ（kg）にエンコードされた以前のドメイン知識を活用して、エージェントが新しいタスクに迅速に適応できるようにすることにより、これらの課題に対処します。
また、ロボットは、必要に応じて人間の入力を求めて使用して、既存の知識を改良します。
シミュレーションドメインでの調理およびクリーニングタスクのコンテキストでの実験的評価に基づいて、LLM、KG、およびヒトの入力間の相互作用がLLMを使用するだけで大​​幅なパフォーマンスの向上につながることを示します。
プロジェクトWebサイト{\ s}：https：//sssshivvvv.github.io/adaptbot/

要約(オリジナル)

An embodied agent assisting humans is often asked to complete new tasks, and there may not be sufficient time or labeled examples to train the agent to perform these new tasks. Large Language Models (LLMs) trained on considerable knowledge across many domains can be used to predict a sequence of abstract actions for completing such tasks, although the agent may not be able to execute this sequence due to task-, agent-, or domain-specific constraints. Our framework addresses these challenges by leveraging the generic predictions provided by LLM and the prior domain knowledge encoded in a Knowledge Graph (KG), enabling an agent to quickly adapt to new tasks. The robot also solicits and uses human input as needed to refine its existing knowledge. Based on experimental evaluation in the context of cooking and cleaning tasks in simulation domains, we demonstrate that the interplay between LLM, KG, and human input leads to substantial performance gains compared with just using the LLM. Project website{\S}: https://sssshivvvv.github.io/adaptbot/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google