GroundNLQ @ Ego4D Natural Language Queries Challenge 2023

要約

このレポートでは、CVPR 2023 の Ego4D Natural Language Queries (NLQ) チャレンジのチャンピオン ソリューションを紹介します。 基本的に、ビデオを正確にグラウンディングするには、効果的な自己中心的な特徴抽出器と強力なグラウンディング モデルが必要です。
これを動機として、私たちは 2 段階の事前トレーニング戦略を活用して、ビデオ ナレーションで自己中心的な特徴抽出器とグラウンディング モデルをトレーニングし、注釈付きデータでモデルをさらに微調整します。
さらに、新しいグラウンディング モデル GroundNLQ を紹介します。これは、効果的なビデオとテキストの融合と、特に長いビデオのさまざまな時間間隔を実現するマルチモーダル マルチスケール グラウンディング モジュールを採用しています。
ブラインド テスト セットでは、GroundNLQ は R1@IoU=0.3 と R1@IoU=0.5 でそれぞれ 25.67 と 18.18 を達成し、他のすべてのチームを大幅に上回りました。
私たちのコードは\url{https://github.com/houzhijian/GroundNLQ}でリリースされます。

要約(オリジナル)

In this report, we present our champion solution for Ego4D Natural Language Queries (NLQ) Challenge in CVPR 2023. Essentially, to accurately ground in a video, an effective egocentric feature extractor and a powerful grounding model are required. Motivated by this, we leverage a two-stage pre-training strategy to train egocentric feature extractors and the grounding model on video narrations, and further fine-tune the model on annotated data. In addition, we introduce a novel grounding model GroundNLQ, which employs a multi-modal multi-scale grounding module for effective video and text fusion and various temporal intervals, especially for long videos. On the blind test set, GroundNLQ achieves 25.67 and 18.18 for R1@IoU=0.3 and R1@IoU=0.5, respectively, and surpasses all other teams by a noticeable margin. Our code will be released at\url{https://github.com/houzhijian/GroundNLQ}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google