Negative Frames Matter in Egocentric Visual Query 2D Localization

要約

最近リリースされたEgo4Dデータセットとベンチマークは、一人称視点での視覚認識データを大幅にスケールアップし、多様化させています。Ego4Dでは、Visual Queries 2D Localizationタスクは、一人称視点での記録から過去に出現したオブジェクトを検索することを目的としています。このタスクでは、与えられた物体クエリの最新の出現位置を空間的・時間的に特定する必要がある。クエリは、異なるシーンにある物体の1回の緊密な視覚的切り出しによって登録される。 我々の研究は、エピソード記憶ベンチマークで導入された3段階のベースラインに基づいている。このベースラインは、検出と追跡によって問題を解決します。すべてのフレームで類似オブジェクトを検出し、次に最も信頼性の高い検出結果から追跡を実行します。VQ2Dチャレンジでは、現在のベースラインには2つの限界があることが判明しました。(1)学習設定に冗長な計算がある。学習セットには数百万個のインスタンスがありますが、そのほとんどは繰り返し計算されており、ユニークなオブジェクトの数は14.6k個程度に過ぎません。(2)背景フレームで誤検出率が高くなる。これは、学習と評価の間の分布のずれに起因する。学習時、モデルはきれいで安定したラベル付きフレームしか見ることができないが、自心ビデオにはノイズの多いフレーム、ぼやけたフレーム、ラベルのない背景フレームも存在する。そこで、より効率的かつ効果的な解決策を開発しました。具体的には、学習ループを15日から24時間以内に短縮し、ベースラインより31%高い0.17%の空間-時間APを達成しました。私たちのソリューションは、パブリックリーダーボードで1位を獲得しました。我々のコードは、https://github.com/facebookresearch/vq2d_cvpr で公開されています。

要約(オリジナル)

The recently released Ego4D dataset and benchmark significantly scales and diversifies the first-person visual perception data. In Ego4D, the Visual Queries 2D Localization task aims to retrieve objects appeared in the past from the recording in the first-person view. This task requires a system to spatially and temporally localize the most recent appearance of a given object query, where query is registered by a single tight visual crop of the object in a different scene. Our study is based on the three-stage baseline introduced in the Episodic Memory benchmark. The baseline solves the problem by detection and tracking: detect the similar objects in all the frames, then run a tracker from the most confident detection result. In the VQ2D challenge, we identified two limitations of the current baseline. (1) The training configuration has redundant computation. Although the training set has millions of instances, most of them are repetitive and the number of unique object is only around 14.6k. The repeated gradient computation of the same object lead to an inefficient training; (2) The false positive rate is high on background frames. This is due to the distribution gap between training and evaluation. During training, the model is only able to see the clean, stable, and labeled frames, but the egocentric videos also have noisy, blurry, or unlabeled background frames. To this end, we developed a more efficient and effective solution. Concretely, we bring the training loop from ~15 days to less than 24 hours, and we achieve 0.17% spatial-temporal AP, which is 31% higher than the baseline. Our solution got the first ranking on the public leaderboard. Our code is publicly available at https://github.com/facebookresearch/vq2d_cvpr.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL