ChatPose: Chatting about 3D Human Pose

要約

ChatPose は、画像やテキストの説明から 3D 人間のポーズを理解し推論するために大規模言語モデル (LLM) を採用したフレームワークです。
私たちの仕事は、単一の画像や簡単な説明から姿勢を直観的に理解する人間の能力、画像の解釈、世界の知識、ボディーランゲージの理解が絡み合ったプロセスによって動機づけられています。
従来の人間のポーズの推定および生成方法は、多くの場合単独で動作し、意味の理解や推論能力が不足しています。
ChatPose は、SMPL ポーズをマルチモーダル LLM 内に個別の信号トークンとして埋め込むことでこれらの制限に対処し、テキスト入力とビジュアル入力の両方から 3D ボディ ポーズを直接生成できるようにします。
ChatPose は、マルチモーダル LLM の強力な機能を活用して、ユーザー インタラクションを提供しながら、従来の 3D 人間のポーズと生成タスクを統合します。
さらに、ChatPose は、LLM が人間のポーズに関する推論に広範な世界の知識を適用できるようにし、推測的なポーズの生成とポーズ推定に関する推論という 2 つの高度なタスクにつながります。
これらのタスクには、人間が画像を伴う微妙なテキスト クエリから 3D ポーズを生成する推論が含まれます。
私たちは、従来の 3D ポーズ生成および推定方法を超えて、これらのタスクのベンチマークを確立します。
私たちの結果は、これらの新しく提案されたタスクにおいて、ChatPose が既存のマルチモーダル LLM やタスク固有の手法よりも優れたパフォーマンスを発揮することを示しています。
さらに、複雑な推論に基づいて 3D 人間のポーズを理解して生成する ChatPose の機能は、人間のポーズ分析に新しい方向性を開きます。

要約(オリジナル)

We introduce ChatPose, a framework employing Large Language Models (LLMs) to understand and reason about 3D human poses from images or textual descriptions. Our work is motivated by the human ability to intuitively understand postures from a single image or a brief description, a process that intertwines image interpretation, world knowledge, and an understanding of body language. Traditional human pose estimation and generation methods often operate in isolation, lacking semantic understanding and reasoning abilities. ChatPose addresses these limitations by embedding SMPL poses as distinct signal tokens within a multimodal LLM, enabling the direct generation of 3D body poses from both textual and visual inputs. Leveraging the powerful capabilities of multimodal LLMs, ChatPose unifies classical 3D human pose and generation tasks while offering user interactions. Additionally, ChatPose empowers LLMs to apply their extensive world knowledge in reasoning about human poses, leading to two advanced tasks: speculative pose generation and reasoning about pose estimation. These tasks involve reasoning about humans to generate 3D poses from subtle text queries, possibly accompanied by images. We establish benchmarks for these tasks, moving beyond traditional 3D pose generation and estimation methods. Our results show that ChatPose outperforms existing multimodal LLMs and task-specific methods on these newly proposed tasks. Furthermore, ChatPose’s ability to understand and generate 3D human poses based on complex reasoning opens new directions in human pose analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google