Smart Multi-Modal Search: Contextual Sparse and Dense Embedding Integration in Adobe Express

要約

ユーザーのコンテンツとクエリがますますマルチモーダルになるにつれて、効果的なマルチモーダル検索システムの必要性が高まっています。
従来の検索システムは、多くの場合、インデックス付き画像のテキストとメタデータの注釈に依存していますが、CLIP のようなマルチモーダル埋め込みでは、テキストと画像の埋め込みを使用した直接検索が可能です。
ただし、埋め込みベースのアプローチは、ユーザーのロケールや最新性などのコンテキスト機能を統合する際に課題に直面します。
スケーラブルなマルチモーダル検索システムを構築するには、いくつかのコンポーネントを微調整する必要があります。
このペーパーでは、Adobe Express テンプレート検索の埋め込みとマルチモーダルテクノロジーを最適化するマルチモーダル検索アーキテクチャと一連の AB テストについて説明します。
埋め込みモデルの選択、マッチングとランキングにおける埋め込みの役割、密な埋め込みと疎な埋め込みのバランスなどの考慮事項に取り組みます。
当社の反復アプローチは、スパース、デンス、およびコンテキスト機能を利用することで、短いクエリ検索と長いクエリ検索が強化され、ヌル率が大幅に低下し (70% 以上)、クリックスルー率 (CTR) が増加する様子を示しています。
私たちの調査結果は、堅牢なマルチモーダル検索システムの開発に関する洞察を提供し、それによって複雑なクエリの関連性を強化します。

要約(オリジナル)

As user content and queries become increasingly multi-modal, the need for effective multi-modal search systems has grown. Traditional search systems often rely on textual and metadata annotations for indexed images, while multi-modal embeddings like CLIP enable direct search using text and image embeddings. However, embedding-based approaches face challenges in integrating contextual features such as user locale and recency. Building a scalable multi-modal search system requires fine-tuning several components. This paper presents a multi-modal search architecture and a series of AB tests that optimize embeddings and multi-modal technologies in Adobe Express template search. We address considerations such as embedding model selection, the roles of embeddings in matching and ranking, and the balance between dense and sparse embeddings. Our iterative approach demonstrates how utilizing sparse, dense, and contextual features enhances short and long query search, significantly reduces null rates (over 70\%), and increases click-through rates (CTR). Our findings provide insights into developing robust multi-modal search systems, thereby enhancing relevance for complex queries.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google