Combining Ontological Knowledge and Large Language Model for User-Friendly Service Robots

要約

ロボットによる生活支援はますます有望な分野であり、床掃除、テーブルのセッティングや片づけ、物の取り込みなどの家事をロボットが引き受けたり支援したりすることが期待されています。
AI、特に大規模言語モデル (LLM) やビジュアル言語モデル (VLM) などの基盤モデルの成長により、この分野が大きく形成されています。
LLM は、自然な対話を促進し、膨大な一般知識を提供することにより、ロボット タスクにとって非常に貴重であることが証明されています。
この論文は、多くの場合、曖昧な指示に基づいて、ロボットがユーザーのために特定のアイテムを取り出す「持参」タスクにおける LLM の利点に焦点を当てています。
私たちの以前の取り組みでは、このような曖昧さを解読するために環境データを処理するために拡張されたオントロジーを利用していましたが、解決できない曖昧さを明確にするためにユーザーの介入が必要な場合に限界に直面しました。
ここでは、LLM を統合して追加の常識知識を提供し、それをオントロジー データと組み合わせて幻覚の問題を軽減し、ユーザーのクエリの必要性を減らし、システムの使いやすさを向上させることでアプローチを強化します。
よりシームレスで効率的なロボット支援エクスペリエンスを提供することを目的として、これらの知識ベースを統合し、「持ち込み」タスクでの有効性を評価するシステムを紹介します。

要約(オリジナル)

Lifestyle support through robotics is an increasingly promising field, with expectations for robots to take over or assist with chores like floor cleaning, table setting and clearing, and fetching items. The growth of AI, particularly foundation models, such as large language models (LLMs) and visual language models (VLMs), is significantly shaping this sector. LLMs, by facilitating natural interactions and providing vast general knowledge, are proving invaluable for robotic tasks. This paper zeroes in on the benefits of LLMs for ‘bring-me’ tasks, where robots fetch specific items for users, often based on vague instructions. Our previous efforts utilized an ontology extended to handle environmental data to decipher such vagueness, but faced limitations when unresolvable ambiguities required user intervention for clarity. Here, we enhance our approach by integrating LLMs for providing additional commonsense knowledge, pairing it with ontological data to mitigate the issue of hallucinations and reduce the need for user queries, thus improving system usability. We present a system that merges these knowledge bases and assess its efficacy on ‘bring-me’ tasks, aiming to provide a more seamless and efficient robotic assistance experience.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google