要約
この作品では、デジタル ライフ プロジェクトを紹介します。デジタル ライフ プロジェクトは、言語を普遍的な媒体として利用して自律的な 3D キャラクターを構築するフレームワークです。自律的な 3D キャラクターは、社会的な相互作用に参加し、関節のある体の動きで表現することができ、それによってデジタル環境での生活をシミュレートします。
私たちのフレームワークは 2 つの主要なコンポーネントで構成されています。 1) SocioMind: 体系的な少数のサンプルで人格をモデル化し、心理学の原則に基づいた内省プロセスを組み込み、対話トピックを開始することで自律性をエミュレートする、細心の注意を払って作成されたデジタル脳。
2) MoMat-MoGen: キャラクターのデジタルボディを制御するためのテキスト駆動のモーション合成パラダイム。
これは、モーションの品質を保証する実績のある業界技術であるモーション マッチングと、多様性を実現するモーション生成の最先端の進歩を統合します。
広範な実験により、各モジュールがそれぞれのドメインで最先端のパフォーマンスを達成していることが実証されています。
これらを総合すると、仮想キャラクターが社会心理学的状態を進化させながら、自律的に対話を開始および維持できるようになります。
同時に、これらのキャラクターは状況に応じて適切な身体動作を実行できます。
さらに、モーション キャプション モジュールにより、仮想キャラクターが人間のプレイヤーのアクションを認識し、適切に応答できるようになります。
ホームページ：https://digital-life-project.com/
要約(オリジナル)
In this work, we present Digital Life Project, a framework utilizing language as the universal medium to build autonomous 3D characters, who are capable of engaging in social interactions and expressing with articulated body motions, thereby simulating life in a digital environment. Our framework comprises two primary components: 1) SocioMind: a meticulously crafted digital brain that models personalities with systematic few-shot exemplars, incorporates a reflection process based on psychology principles, and emulates autonomy by initiating dialogue topics; 2) MoMat-MoGen: a text-driven motion synthesis paradigm for controlling the character’s digital body. It integrates motion matching, a proven industry technique to ensure motion quality, with cutting-edge advancements in motion generation for diversity. Extensive experiments demonstrate that each module achieves state-of-the-art performance in its respective domain. Collectively, they enable virtual characters to initiate and sustain dialogues autonomously, while evolving their socio-psychological states. Concurrently, these characters can perform contextually relevant bodily movements. Additionally, a motion captioning module further allows the virtual character to recognize and appropriately respond to human players’ actions. Homepage: https://digital-life-project.com/
arxiv情報
| 著者 | Zhongang Cai,Jianping Jiang,Zhongfei Qing,Xinying Guo,Mingyuan Zhang,Zhengyu Lin,Haiyi Mei,Chen Wei,Ruisi Wang,Wanqi Yin,Xiangyu Fan,Han Du,Liang Pan,Peng Gao,Zhitao Yang,Yang Gao,Jiaqi Li,Tianxiang Ren,Yukun Wei,Xiaogang Wang,Chen Change Loy,Lei Yang,Ziwei Liu |
| 発行日 | 2023-12-07 18:58:59+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google