Proposition of Affordance-Driven Environment Recognition Framework Using Symbol Networks in Large Language Models

要約

ロボットが人間と共存できるようにする探求において、動的な状況を理解し、常識とアフォーダンスに基づいて適切なアクションを選択することが不可欠です。
従来のAIシステムは、常識に由来する暗黙の知識を表すため、アフォーダンスを適用する際の課題に直面しています。
ただし、大規模な言語モデル（LLM）は、広範な人間の知識を処理する能力のために、新しい機会を提供します。
この研究では、LLM出力を活用することにより、自動アフォーダンス獲得の方法を提案しています。
このプロセスには、LLMを使用してテキストを生成し、形態学的および依存関係分析を使用して出力をシンボルネットワークに再構築し、ネットワーク距離に基づいてアフォーダンスを計算することが含まれます。
例として「Apple」を使用した実験では、説明可能性が高い状態でコンテキスト依存性のアフォーダンスを抽出する方法の能力が示されました。
結果は、LLM出力から再構築された提案されたシンボルネットワークにより、ロボットがアフォーダンスを効果的に解釈し、象徴されたデータと人間のような状況理解の間のギャップを埋めることができることを示唆しています。

要約(オリジナル)

In the quest to enable robots to coexist with humans, understanding dynamic situations and selecting appropriate actions based on common sense and affordances are essential. Conventional AI systems face challenges in applying affordance, as it represents implicit knowledge derived from common sense. However, large language models (LLMs) offer new opportunities due to their ability to process extensive human knowledge. This study proposes a method for automatic affordance acquisition by leveraging LLM outputs. The process involves generating text using LLMs, reconstructing the output into a symbol network using morphological and dependency analysis, and calculating affordances based on network distances. Experiments using “apple” as an example demonstrated the method’s ability to extract context-dependent affordances with high explainability. The results suggest that the proposed symbol network, reconstructed from LLM outputs, enables robots to interpret affordances effectively, bridging the gap between symbolized data and human-like situational understanding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google