Exploiting Semantic Role Contextualized Video Features for Multi-Instance Text-Video Retrieval EPIC-KITCHENS-100 Multi-Instance Retrieval Challenge 2022

要約

このレポートでは、EPIC-KITCHENS-100マルチインスタンス検索チャレンジ2022のアプローチを紹介します。最初に、文を動詞と名詞に対応する意味役割に解析します。
次に、自己注意を利用して、複数の埋め込みスペースでのトリプレット損失を介して、テキスト機能とともにセマンティックロールのコンテキスト化されたビデオ機能を活用します。
私たちの方法は、正規化された割引累積ゲイン（nDCG）の強力なベースラインを上回ります。これは、意味的類似性にとってより価値があります。
私たちの提出物は、nDCGでは3位、mAPでは4位にランクされています。

要約(オリジナル)

In this report, we present our approach for EPIC-KITCHENS-100 Multi-Instance Retrieval Challenge 2022. We first parse sentences into semantic roles corresponding to verbs and nouns; then utilize self-attentions to exploit semantic role contextualized video features along with textual features via triplet losses in multiple embedding spaces. Our method overpasses the strong baseline in normalized Discounted Cumulative Gain (nDCG), which is more valuable for semantic similarity. Our submission is ranked 3rd for nDCG and ranked 4th for mAP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google