Vision Beyond Boundaries: An Initial Design Space of Domain-specific Large Vision Models in Human-robot Interaction

要約

近年の大規模言語モデル (LLM) の隆盛に続いて、大規模ビジョン モデル (LVM) が出現します。
しかし、人間とロボット間のインタラクションを強化する視覚モデルの有効性を裏付ける広範な証拠があるにもかかわらず、LVM をヒューマン ロボット インタラクション (HRI) に適用する構造化研究には顕著なギャップがあります。
期待される膨大な可能性を認識し、通常のモデルよりも優れたパフォーマンスを発揮するために選択されたドメイン固有の LVM を組み込んだ初期設計空間を導入します。
私たちは、HRI コンテキスト、ビジョンベースのタスク、特定のドメインという 3 つの主要な側面を詳しく掘り下げます。
実証的評価は 6 つの評価指標にわたって 15 人の専門家の間で実施され、関連する意思決定シナリオにおける主な有効性が示されました。
私たちは、この設計空間を将来の HRI システム設計の基礎的なガイドラインとして想定し、正確なドメインの調整とモデルの選択を強調しながら、アイデアのプロセスと潜在的なアプリケーション シナリオを調査します。

要約(オリジナル)

The emergence of large vision models (LVMs) is following in the footsteps of the recent prosperity of Large Language Models (LLMs) in following years. However, there’s a noticeable gap in structured research applying LVMs to human-robot interaction (HRI), despite extensive evidence supporting the efficacy of vision models in enhancing interactions between humans and robots. Recognizing the vast and anticipated potential, we introduce an initial design space that incorporates domain-specific LVMs, chosen for their superior performance over normal models. We delve into three primary dimensions: HRI contexts, vision-based tasks, and specific domains. The empirical evaluation was implemented among 15 experts across six evaluated metrics, showcasing the primary efficacy in relevant decision-making scenarios. We explore the process of ideation and potential application scenarios, envisioning this design space as a foundational guideline for future HRI system design, emphasizing accurate domain alignment and model selection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google