Zero-Shot Temporal Interaction Localization for Egocentric Videos

要約

ビデオ内のヒューマンオブジェクト相互作用（HOI）アクションを見つけることは、人間の行動分析や人間のロボットスキル移転など、複数の下流タスクの基礎として機能します。
現在の時間的アクションローカリゼーション方法は、通常、注釈付きアクションとオブジェクトの相互作用のオブジェクトカテゴリに依存して、ドメインバイアスと低い展開効率につながります。
いくつかの最近の作品では、大きな視覚言語モデル（VLMS）を使用してゼロショットの時間的アクションローカリゼーション（ZS-TAL）を達成しましたが、それらの粗粒化推定とオープンループパイプラインは、時間的相互作用の局在化のためのさらなるパフォーマンスの改善（TIL）を妨げています。
これらの問題に対処するために、エゴロックと呼ばれる新しいゼロショットのアプローチを提案して、エゴセントリックビデオの人間とオブジェクトの相互作用のアクションの把握のタイミングを見つけます。
Egolocは、VLM推論の合理的な視覚的プロンプトを生成するための自己適応サンプリング戦略を導入します。
2Dと3Dの両方の観測値を吸収することにより、3Dハンドヴェロシティに従ってHOIの接触/分離タイムスタンプの可能性を中心に高品質の初期推測を直接サンプリングし、高い推論の精度と効率につながります。
さらに、エゴロックは視覚的および動的なキューから閉ループフィードバックを生成し、ローカリゼーション結果をさらに改善します。
公開されているデータセットと新たに提案されたベンチマークでの包括的な実験は、エゴロックが最先端のベースラインと比較して、エゴセントリックビデオのより良い時間的相互作用の局在化を達成することを示しています。
https://github.com/irmvlab/egolocでオープンソースとしてコードと関連するデータをリリースします。

要約(オリジナル)

Locating human-object interaction (HOI) actions within video serves as the foundation for multiple downstream tasks, such as human behavior analysis and human-robot skill transfer. Current temporal action localization methods typically rely on annotated action and object categories of interactions for optimization, which leads to domain bias and low deployment efficiency. Although some recent works have achieved zero-shot temporal action localization (ZS-TAL) with large vision-language models (VLMs), their coarse-grained estimations and open-loop pipelines hinder further performance improvements for temporal interaction localization (TIL). To address these issues, we propose a novel zero-shot TIL approach dubbed EgoLoc to locate the timings of grasp actions for human-object interaction in egocentric videos. EgoLoc introduces a self-adaptive sampling strategy to generate reasonable visual prompts for VLM reasoning. By absorbing both 2D and 3D observations, it directly samples high-quality initial guesses around the possible contact/separation timestamps of HOI according to 3D hand velocities, leading to high inference accuracy and efficiency. In addition, EgoLoc generates closed-loop feedback from visual and dynamic cues to further refine the localization results. Comprehensive experiments on the publicly available dataset and our newly proposed benchmark demonstrate that EgoLoc achieves better temporal interaction localization for egocentric videos compared to state-of-the-art baselines. We will release our code and relevant data as open-source at https://github.com/IRMVLab/EgoLoc.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google