Action Sensitivity Learning for the Ego4D Episodic Memory Challenge 2023

要約

このレポートは、CVPR 2023 の Ego4D エピソード記憶ベンチマークの 2 つのトラック (自然言語クエリとモーメント クエリを含む) に対する ReLER の提出を示します。
このソリューションは、フレームの不一致情報をより適切に捕捉するために、私たちが提案したアクション感度学習フレームワーク (ASL) を継承しています。
さらに、一連の強力なビデオ機能と融合戦略を組み込んでいます。
私たちの手法は平均 mAP 29.34 を達成し、Moment Queries Challenge で 1 位にランクされ、平均 R1 19.79 を獲得して Natural Language Queries Challenge で 2 位になりました。
私たちのコードが公開されます。

要約(オリジナル)

This report presents ReLER submission to two tracks in the Ego4D Episodic Memory Benchmark in CVPR 2023, including Natural Language Queries and Moment Queries. This solution inherits from our proposed Action Sensitivity Learning framework (ASL) to better capture discrepant information of frames. Further, we incorporate a series of stronger video features and fusion strategies. Our method achieves an average mAP of 29.34, ranking 1st in Moment Queries Challenge, and garners 19.79 mean R1, ranking 2nd in Natural Language Queries Challenge. Our code will be released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google