Goal Inference from Open-Ended Dialog

要約

私たちは、身体化されたエージェントが学習し、さまざまなユーザーの目標を達成するためのオンライン方法を提供します。
RLHF のようなオフライン手法はさまざまな目標を実現できますが、大規模なデータセットが必要ですが、私たちのアプローチはオンライン効率で同様の柔軟性を実現します。
大規模言語モデル (LLM) との会話から自然言語の目標表現を抽出します。
LLM に、さまざまな目標を持つ人間としてロールプレイするよう促し、対応する尤度を使用して、潜在的な目標に対してベイズ推論を実行します。
その結果、私たちの方法は、無制限の対話に基づいて複雑な目標に対する不確実性を表現できます。
私たちは、テキストベースのインターフェイスと AI2Thor シミュレーションをそれぞれ使用して、食料品の買い物と家庭用ロボット支援の領域での手法を評価しました。
結果は、私たちの方法が、明示的な目標表現または確率的推論のいずれかを欠いているアブレーションベースラインよりも優れていることを示しています。

要約(オリジナル)

We present an online method for embodied agents to learn and accomplish diverse user goals. While offline methods like RLHF can represent various goals but require large datasets, our approach achieves similar flexibility with online efficiency. We extract natural language goal representations from conversations with Large Language Models (LLMs). We prompt an LLM to role play as a human with different goals and use the corresponding likelihoods to run Bayesian inference over potential goals. As a result, our method can represent uncertainty over complex goals based on unrestricted dialog. We evaluate our method in grocery shopping and home robot assistance domains using a text-based interface and AI2Thor simulation respectively. Results show our method outperforms ablation baselines that lack either explicit goal representation or probabilistic inference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google