GeneOH Diffusion: Towards Generalizable Hand-Object Interaction Denoising via Denoising Diffusion

要約

この研究では、手とオブジェクトのインタラクション (HOI) のノイズを除去するという困難な問題に取り組みます。
誤ったインタラクション シーケンスが与えられた場合、その目的は、誤った手の軌道を修正してインタラクション アーティファクトを除去し、知覚的に現実的なシーケンスを実現することです。
この課題には、不自然な手のポーズや不正確な手とオブジェクトの関係などの複雑なインタラクション ノイズが含まれるとともに、新しいインタラクションや多様なノイズ パターンに対する堅牢な一般化の必要性も伴います。
私たちは、GeneOH という名前の革新的なコンタクト中心の HOI 表現と、新しいドメイン一般化可能なノイズ除去スキームという 2 つの主要な設計を組み込んだ、新しいアプローチ GeneOH Diffusion を通じてこれらの課題に取り組みます。
コンタクト中心の表現 GeneOH は、HOI プロセスを有益にパラメータ化し、さまざまな HOI シナリオにわたる一般化の強化を促進します。
新しいノイズ除去スキームは、白色化されたノイズ空間からクリーンなデータ多様体にノイズの多いデータ サンプルを投影するようにトレーニングされた標準ノイズ除去モデルと、さまざまなノイズ パターンを持つ入力軌跡を最初に拡散して位置合わせすることで処理できる「拡散によるノイズ除去」戦略で構成されます。
ホワイトニングされたノイズ空間と標準デノイザーによるクリーニング。
ドメインの大幅な変動を伴う 4 つのベンチマークに関する広範な実験により、私たちの手法の優れた有効性が実証されました。
GeneOH Diffusion は、さまざまな下流アプリケーションにも有望です。
プロジェクトの Web サイト: https://meowuu7.github.io/GeneOH-Diffusion/。

要約(オリジナル)

In this work, we tackle the challenging problem of denoising hand-object interactions (HOI). Given an erroneous interaction sequence, the objective is to refine the incorrect hand trajectory to remove interaction artifacts for a perceptually realistic sequence. This challenge involves intricate interaction noise, including unnatural hand poses and incorrect hand-object relations, alongside the necessity for robust generalization to new interactions and diverse noise patterns. We tackle those challenges through a novel approach, GeneOH Diffusion, incorporating two key designs: an innovative contact-centric HOI representation named GeneOH and a new domain-generalizable denoising scheme. The contact-centric representation GeneOH informatively parameterizes the HOI process, facilitating enhanced generalization across various HOI scenarios. The new denoising scheme consists of a canonical denoising model trained to project noisy data samples from a whitened noise space to a clean data manifold and a ‘denoising via diffusion’ strategy which can handle input trajectories with various noise patterns by first diffusing them to align with the whitened noise space and cleaning via the canonical denoiser. Extensive experiments on four benchmarks with significant domain variations demonstrate the superior effectiveness of our method. GeneOH Diffusion also shows promise for various downstream applications. Project website: https://meowuu7.github.io/GeneOH-Diffusion/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google