Human-Centric Foundation Models: Perception, Generation and Agentic Modeling

要約

人間の理解と生成は、デジタル人間とヒューマノイドの実施形態をモデル化するために重要です。
最近、大規模な言語モデルやビジョンモデルなどのジェネラリストモデルの成功に触発された人間中心の基礎モデル（HCFMS）が、多様な人間中心のタスクを単一のフレームワークに統一し、従来のタスク固有のアプローチを上回るために登場しました。
この調査では、現在のアプローチを4つのグループに分類する分類法を提案することにより、HCFMSの包括的な概要を紹介します。（1）マルチモーダル2Dおよび3D理解のための細粒の特徴をキャプチャする人間中心の知覚基盤モデル。
（2）高忠実で多様な人間関連のコンテンツを生成する人間中心のAIGC基礎モデル。
（3）これらの能力を統合して人間の理解と統合の両方を強化する統合された認識と生成モデル。
（4）知覚と生成を超えて人間のような知性とヒューマノイド具体化されたタスクのインタラクティブな行動を学ぶ人間中心のエージェント基礎モデル。
最先端のテクニックをレビューし、新たな課題と将来の研究の方向性について説明します。
この調査の目的は、より堅牢で汎用性があり、インテリジェントなデジタル人間および実施形態のモデリングに向けて取り組む研究者と実践者のロードマップとして機能することを目的としています。

要約(オリジナル)

Human understanding and generation are critical for modeling digital humans and humanoid embodiments. Recently, Human-centric Foundation Models (HcFMs) inspired by the success of generalist models, such as large language and vision models, have emerged to unify diverse human-centric tasks into a single framework, surpassing traditional task-specific approaches. In this survey, we present a comprehensive overview of HcFMs by proposing a taxonomy that categorizes current approaches into four groups: (1) Human-centric Perception Foundation Models that capture fine-grained features for multi-modal 2D and 3D understanding. (2) Human-centric AIGC Foundation Models that generate high-fidelity, diverse human-related content. (3) Unified Perception and Generation Models that integrate these capabilities to enhance both human understanding and synthesis. (4) Human-centric Agentic Foundation Models that extend beyond perception and generation to learn human-like intelligence and interactive behaviors for humanoid embodied tasks. We review state-of-the-art techniques, discuss emerging challenges and future research directions. This survey aims to serve as a roadmap for researchers and practitioners working towards more robust, versatile, and intelligent digital human and embodiments modeling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google