Persistent-Transient Duality: A Multi-mechanism Approach for Modeling Human-Object Interaction

要約

人間は適応力が高く、異なるモードを素早く切り替えて、異なるタスク、状況、コンテキストを段階的に処理します。
ヒューマン オブジェクト インタラクション (HOI) アクティビティでは、これらのモードは 2 つのメカニズムに起因すると考えられます。(1) アクティビティ全体の大規模で一貫した計画、および (2) タイムラインに沿って開始および終了する小規模な子供のインタラクティブ アクション。
神経科学と認知科学は人間の行動のこのマルチメカニズムの性質を確認していますが、人間の動きに対する機械モデリングのアプローチは後れを取っています。
動的 HOI パターンをモデル化するために徐々にモーフィングする構造 (グラフ アテンション ネットワークなど) を使用する試みが試みられていますが、人間の動作の迅速かつ離散的なモード切り替えの性質が欠けています。
このギャップを埋めるために、この研究では、人間の動作を共同制御する 2 つの同時メカニズムをモデル化することを提案しています。1 つは地球規模で継続的に実行される永続プロセス、もう 1 つはオブジェクトと対話しながら人間のローカル コンテキストで断続的に動作する一時サブプロセスです。
これら 2 つのメカニズムは、アクティビティ シーケンスを相乗的に制御するインタラクティブな永続性と一時性の二重性を形成します。
この概念的な二重性を、動的メカニズム切り替え用の専用ニューラル モジュールを備えた永続チャネルと一時チャネルの親子ニューラル ネットワークによってモデル化します。
このフレームワークは HOI 運動予測に関して試行されています。
2 つの豊富なデータセットとさまざまな設定で、モデルは一貫して優れたパフォーマンスを提供し、課題への適合性を証明しています。

要約(オリジナル)

Humans are highly adaptable, swiftly switching between different modes to progressively handle different tasks, situations and contexts. In Human-object interaction (HOI) activities, these modes can be attributed to two mechanisms: (1) the large-scale consistent plan for the whole activity and (2) the small-scale children interactive actions that start and end along the timeline. While neuroscience and cognitive science have confirmed this multi-mechanism nature of human behavior, machine modeling approaches for human motion are trailing behind. While attempted to use gradually morphing structures (e.g., graph attention networks) to model the dynamic HOI patterns, they miss the expeditious and discrete mode-switching nature of the human motion. To bridge that gap, this work proposes to model two concurrent mechanisms that jointly control human motion: the Persistent process that runs continually on the global scale, and the Transient sub-processes that operate intermittently on the local context of the human while interacting with objects. These two mechanisms form an interactive Persistent-Transient Duality that synergistically governs the activity sequences. We model this conceptual duality by a parent-child neural network of Persistent and Transient channels with a dedicated neural module for dynamic mechanism switching. The framework is trialed on HOI motion forecasting. On two rich datasets and a wide variety of settings, the model consistently delivers superior performances, proving its suitability for the challenge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google