Diff-IP2D: Diffusion-Based Hand-Object Interaction Prediction on Egocentric Videos

要約

ハンドとオブジェクトの相互作用中に人間がどのように動作するかを理解することは、サービス ロボットの操作や拡張現実におけるアプリケーションにとって不可欠です。
これを達成するために、人間の自己中心的なビデオで手の軌道とオブジェクトのアフォーダンスを同時に予測するいくつかの最近の研究が提案されています。
それらは将来の手と物体の相互作用の表現とみなされ、潜在的な人間の動きと動機を示します。
しかし、既存のアプローチは主に一方向予測のための自己回帰パラダイムを採用しており、全体的な将来シーケンス内での相互制約が欠如しており、時間軸に沿って誤差が蓄積されます。
一方、これらの作品は基本的にカメラのエゴモーションが一人称視点の予測に及ぼす影響を無視しています。
これらの制限に対処するために、我々は、将来の手の軌道とオブジェクトのアフォーダンスを反復的で非自己回帰的な方法で同時に予測する、新しい拡散ベースの相互作用予測方法、すなわち Diff-IP2D を提案します。
連続した 2D 画像を潜在特徴空間に変換し、過去の相互作用特徴に基づいて将来の潜在相互作用特徴を予測するためのノイズ除去拡散モデルを設計します。
モーション機能は条件付きノイズ除去プロセスにさらに統合されており、Diff-IP2D がカメラ装着者のダイナミクスを認識して、より正確なインタラクション予測を可能にします。
実験結果は、私たちの方法が、既製の測定基準と私たちが提案した新しい評価プロトコルの両方で最先端のベースラインを大幅に上回っていることを示しています。
これは、2D 手とオブジェクトのインタラクション予測に生成パラダイムを活用することの有効性を強調しています。
Diff-IP2D のコードは https://github.com/IRMVLab/Diff-IP2D で公開されます。

要約(オリジナル)

Understanding how humans would behave during hand-object interaction is vital for applications in service robot manipulation and extended reality. To achieve this, some recent works have been proposed to simultaneously predict hand trajectories and object affordances on human egocentric videos. They are regarded as the representation of future hand-object interactions, indicating potential human motion and motivation. However, the existing approaches mostly adopt the autoregressive paradigm for unidirectional prediction, which lacks mutual constraints within the holistic future sequence, and accumulates errors along the time axis. Meanwhile, these works basically overlook the effect of camera egomotion on first-person view predictions. To address these limitations, we propose a novel diffusion-based interaction prediction method, namely Diff-IP2D, to forecast future hand trajectories and object affordances concurrently in an iterative non-autoregressive manner. We transform the sequential 2D images into latent feature space and design a denoising diffusion model to predict future latent interaction features conditioned on past ones. Motion features are further integrated into the conditional denoising process to enable Diff-IP2D aware of the camera wearer’s dynamics for more accurate interaction prediction. The experimental results show that our method significantly outperforms the state-of-the-art baselines on both the off-the-shelf metrics and our proposed new evaluation protocol. This highlights the efficacy of leveraging a generative paradigm for 2D hand-object interaction prediction. The code of Diff-IP2D will be released at https://github.com/IRMVLab/Diff-IP2D.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google