ContextIQ: A Multimodal Expert-Based Video Retrieval System for Contextual Advertising

要約

コンテキスト広告は、ユーザーが閲覧しているコンテンツに合わせた広告を配信します。
ソーシャル プラットフォームやストリーミング サービスでのビデオ コンテンツの急速な成長と、プライバシーへの懸念により、コンテキスト広告の必要性が高まっています。
適切な広告を適切なコンテキストに配置すると、シームレスで快適な広告視聴エクスペリエンスが生まれ、視聴者のエンゲージメントが高まり、最終的には広告の収益化が向上します。
テクノロジーの観点から見ると、効果的なコンテキスト広告には、複雑なビデオ コンテンツを非常に詳細なレベルで理解できるビデオ検索システムが必要です。
共同マルチモーダルトレーニングに基づく現在のテキストからビデオへの検索モデルは、大規模なデータセットと計算リソースを必要とするため、実用性が制限されており、広告エコシステムの統合に必要な主要な機能が不足しています。
ContextIQ は、コンテキスト広告専用に設計されたマルチモーダルな専門家ベースのビデオ検索システムです。
ContextIQ は、モダリティ固有の専門家 (ビデオ、オーディオ、トランスクリプト (キャプション)、およびオブジェクト、アクション、感情などのメタデータ) を利用して、意味論的に豊かなビデオ表現を作成します。
私たちのシステムは、共同トレーニングなしで、複数のテキストからビデオへの検索ベンチマークにおいて、最先端のモデルや商用ソリューションよりも優れた、または同等の結果を達成できることを示しています。
私たちのアブレーション研究では、視覚言語モデルを単独で使用するのではなく、複数のモダリティを活用してビデオ検索の精度を向上させる利点を強調しています。
さらに、ContextIQ などのビデオ検索システムを広告エコシステムのコンテキスト広告に使用する方法を示しながら、ブランドセーフティや不適切なコンテンツのフィルタリングに関連する懸念にも対処します。

要約(オリジナル)

Contextual advertising serves ads that are aligned to the content that the user is viewing. The rapid growth of video content on social platforms and streaming services, along with privacy concerns, has increased the need for contextual advertising. Placing the right ad in the right context creates a seamless and pleasant ad viewing experience, resulting in higher audience engagement and, ultimately, better ad monetization. From a technology standpoint, effective contextual advertising requires a video retrieval system capable of understanding complex video content at a very granular level. Current text-to-video retrieval models based on joint multimodal training demand large datasets and computational resources, limiting their practicality and lacking the key functionalities required for ad ecosystem integration. We introduce ContextIQ, a multimodal expert-based video retrieval system designed specifically for contextual advertising. ContextIQ utilizes modality-specific experts-video, audio, transcript (captions), and metadata such as objects, actions, emotion, etc.-to create semantically rich video representations. We show that our system, without joint training, achieves better or comparable results to state-of-the-art models and commercial solutions on multiple text-to-video retrieval benchmarks. Our ablation studies highlight the benefits of leveraging multiple modalities for enhanced video retrieval accuracy instead of using a vision-language model alone. Furthermore, we show how video retrieval systems such as ContextIQ can be used for contextual advertising in an ad ecosystem while also addressing concerns related to brand safety and filtering inappropriate content.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google