Episodic Memory Verbalization using Hierarchical Representations of Life-Long Robot Experience

要約

ロボットの経験の言語化、つまりロボットの過去の要約や質問への回答は、人間とロボットのインタラクションを改善するために重要な能力です。
これまでの研究では、ルールベースのシステムまたは微調整された深層モデルを適用して、エピソード データの短い (数分の長さの) ストリームを言語化していたため、一般化と転送可能性が制限されていました。
私たちの仕事では、大規模な事前トレーニング済みモデルを適用して、ゼロまたは少数の例でこのタスクに取り組み、特に生涯にわたる経験を言語化することに重点を置いています。
このために、エピソード記憶 (EM) からツリー状のデータ構造を導き出します。下位レベルは生の知覚および固有受容データを表し、上位レベルはイベントを自然言語概念に抽象化します。
エクスペリエンス ストリームから構築されたこのような階層表現を考慮して、大規模な言語モデルをエージェントとして適用し、ユーザーのクエリに応じて EM を対話的に検索し、ツリー ノードを動的に展開して (最初は折りたたまれていました)、関連情報を見つけます。
このアプローチにより、数か月分のロボット経験データに拡張する場合でも、計算コストが低く抑えられます。
私たちは、シミュレートされた家庭用ロボットのデータ、人間の自己中心的なビデオ、現実世界のロボットの記録に基づいてこの方法を評価し、その柔軟性と拡張性を実証します。

要約(オリジナル)

Verbalization of robot experience, i.e., summarization of and question answering about a robot’s past, is a crucial ability for improving human-robot interaction. Previous works applied rule-based systems or fine-tuned deep models to verbalize short (several-minute-long) streams of episodic data, limiting generalization and transferability. In our work, we apply large pretrained models to tackle this task with zero or few examples, and specifically focus on verbalizing life-long experiences. For this, we derive a tree-like data structure from episodic memory (EM), with lower levels representing raw perception and proprioception data, and higher levels abstracting events to natural language concepts. Given such a hierarchical representation built from the experience stream, we apply a large language model as an agent to interactively search the EM given a user’s query, dynamically expanding (initially collapsed) tree nodes to find the relevant information. The approach keeps computational costs low even when scaling to months of robot experience data. We evaluate our method on simulated household robot data, human egocentric videos, and real-world robot recordings, demonstrating its flexibility and scalability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google