Multi-Modal Cross-Domain Alignment Network for Video Moment Retrieval

要約

マルチメディア情報検索でますます一般的なタスクとして、ビデオ モーメント検索 (VMR) は、特定の言語クエリに従って、トリミングされていないビデオからターゲット モーメントをローカライズすることを目的としています。
以前の方法のほとんどは、多数の手動注釈 (つまり、モーメント境界) に大きく依存しており、実際に取得するには非常に費用がかかります。
さらに、異なるデータセット間のドメイン ギャップにより、これらの事前トレーニング済みモデルを目に見えないドメインに直接適用すると、パフォーマンスが大幅に低下します。
この論文では、クロスドメイン VMR という新しいタスクに焦点を当てます。ここでは、完全に注釈が付けられたデータセットが 1 つのドメイン (「ソース ドメイン」) で利用可能ですが、関心のあるドメイン (「ターゲット ドメイン」) には次のものが含まれます。
注釈のないデータセット。
私たちが知る限り、クロスドメイン VMR に関する最初の研究を紹介します。
この新しいタスクに対処するために、ソースドメインからターゲットドメインに注釈の知識を転送するための新しいマルチモーダルクロスドメインアライメント（MMCDA）ネットワークを提案します。
ただし、ソース ドメインとターゲット ドメイン間のドメインの不一致、および動画とクエリ間のセマンティック ギャップにより、トレーニング済みのモデルをターゲット ドメインに直接適用すると、一般にパフォーマンスが低下します。
この問題を解決するために、3 つの新しいモジュールを開発します。
(ii) クロスモーダル アラインメント モジュールは、ビデオとクエリの両方の機能を共同埋め込み空間にマッピングし、ターゲット ドメイン内の異なるモダリティ間の機能分布を調整することを目的としています。
(iii) 特定のアラインメント モジュールは、特定のフレームと最適なローカリゼーションのために指定されたクエリとの間のきめ細かな類似性を取得しようとします。
これら 3 つのモジュールを共同でトレーニングすることにより、MMCDA はドメイン不変でセマンティック アラインされたクロスモーダル表現を学習できます。

要約(オリジナル)

As an increasingly popular task in multimedia information retrieval, video moment retrieval (VMR) aims to localize the target moment from an untrimmed video according to a given language query. Most previous methods depend heavily on numerous manual annotations (i.e., moment boundaries), which are extremely expensive to acquire in practice. In addition, due to the domain gap between different datasets, directly applying these pre-trained models to an unseen domain leads to a significant performance drop. In this paper, we focus on a novel task: cross-domain VMR, where fully-annotated datasets are available in one domain (“source domain”), but the domain of interest (“target domain”) only contains unannotated datasets. As far as we know, we present the first study on cross-domain VMR. To address this new task, we propose a novel Multi-Modal Cross-Domain Alignment (MMCDA) network to transfer the annotation knowledge from the source domain to the target domain. However, due to the domain discrepancy between the source and target domains and the semantic gap between videos and queries, directly applying trained models to the target domain generally leads to a performance drop. To solve this problem, we develop three novel modules: (i) a domain alignment module is designed to align the feature distributions between different domains of each modality; (ii) a cross-modal alignment module aims to map both video and query features into a joint embedding space and to align the feature distributions between different modalities in the target domain; (iii) a specific alignment module tries to obtain the fine-grained similarity between a specific frame and the given query for optimal localization. By jointly training these three modules, our MMCDA can learn domain-invariant and semantic-aligned cross-modal representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google