Challenges and Trends in Egocentric Vision: A Survey

要約

人工知能技術とウェアラブルデバイスの急速な発展に伴い、自己中心的なビジョンの理解は、新しい挑戦的な研究方向として浮上し、学界と産業の両方から徐々に注目を集めています。
エゴセントリックビジョンは、人体に着用されたカメラまたはセンサーを介して視覚データとマルチモーダルデータをキャプチャし、人間の視覚体験をシミュレートするユニークな視点を提供します。
このホワイトペーパーでは、エゴセントリックビジョン理解に関する研究に関する包括的な調査を提供し、エゴセントリックシーンのコンポーネントを体系的に分析し、タスクを4つの主要な分野に分類することを提供します：対象の理解、オブジェクト理解、環境理解、ハイブリッド理解。
各カテゴリ内のサブタスクを詳細に調査します。
また、現在この分野に存在する主な課題と傾向を要約します。
さらに、このペーパーでは、高品質のエゴセントリックビジョンデータセットの概要を示し、将来の研究に貴重なリソースを提供します。
最新の進歩を要約することにより、拡張現実、仮想現実、具体化された知性などの分野におけるエゴセントリックビジョン技術の幅広いアプリケーションを予想し、分野の最新の開発に基づいて将来の研究の方向性を提案します。

要約(オリジナル)

With the rapid development of artificial intelligence technologies and wearable devices, egocentric vision understanding has emerged as a new and challenging research direction, gradually attracting widespread attention from both academia and industry. Egocentric vision captures visual and multimodal data through cameras or sensors worn on the human body, offering a unique perspective that simulates human visual experiences. This paper provides a comprehensive survey of the research on egocentric vision understanding, systematically analyzing the components of egocentric scenes and categorizing the tasks into four main areas: subject understanding, object understanding, environment understanding, and hybrid understanding. We explore in detail the sub-tasks within each category. We also summarize the main challenges and trends currently existing in the field. Furthermore, this paper presents an overview of high-quality egocentric vision datasets, offering valuable resources for future research. By summarizing the latest advancements, we anticipate the broad applications of egocentric vision technologies in fields such as augmented reality, virtual reality, and embodied intelligence, and propose future research directions based on the latest developments in the field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google