ALADIN: Distilling Fine-grained Alignment Scores for Efficient Image-Text Matching and Retrieval

要約

画像とテキストのマッチングは、視覚と言語の共同理解を伴うタスクの中で主導的な役割を果たしています。
文献では、このタスクは、画像とテキストを共同で処理できるアーキテクチャを構築するための事前トレーニングの目的としてよく使用されます。
それにもかかわらず、それには直接的なダウンストリーム アプリケーションがあります。クロスモーダル検索は、特定のクエリ テキストに関連する画像を検索すること、またはその逆です。
このタスクを解決することは、クロスモーダル検索エンジンでは非常に重要です。
最近の多くの方法は、主に最近の大規模な視覚言語 (VL) Transformer ネットワークを使用して、画像とテキストのマッチング問題に対する効果的な解決策を提案しています。
ただし、これらのモデルは多くの場合、特に推論時に計算コストが高くなります。
これにより、結果をほぼ瞬時にユーザーに提供する必要がある大規模なクロスモーダル検索シナリオでの採用が妨げられます。
この論文では、ALign And DIstill Network (ALADIN) を提案することにより、有効性と効率性のギャップを埋めることを提案します。
ALADIN はまず、画像とテキストをきめ細かく並べることで効果の高いスコアを生成します。
次に、きめの細かいアラインメントから得られた関連性スコアを抽出することにより、共有埋め込み空間 (効率的な kNN 検索を実行できる場所) を学習します。
MS-COCO で顕著な結果が得られ、約 90 倍高速でありながら、最新の VL 変圧器と競合できることが示されました。
結果を再現するためのコードは、https://github.com/mesnico/ALADIN で入手できます。

要約(オリジナル)

Image-text matching is gaining a leading role among tasks involving the joint understanding of vision and language. In literature, this task is often used as a pre-training objective to forge architectures able to jointly deal with images and texts. Nonetheless, it has a direct downstream application: cross-modal retrieval, which consists in finding images related to a given query text or vice-versa. Solving this task is of critical importance in cross-modal search engines. Many recent methods proposed effective solutions to the image-text matching problem, mostly using recent large vision-language (VL) Transformer networks. However, these models are often computationally expensive, especially at inference time. This prevents their adoption in large-scale cross-modal retrieval scenarios, where results should be provided to the user almost instantaneously. In this paper, we propose to fill in the gap between effectiveness and efficiency by proposing an ALign And DIstill Network (ALADIN). ALADIN first produces high-effective scores by aligning at fine-grained level images and texts. Then, it learns a shared embedding space – where an efficient kNN search can be performed – by distilling the relevance scores obtained from the fine-grained alignments. We obtained remarkable results on MS-COCO, showing that our method can compete with state-of-the-art VL Transformers while being almost 90 times faster. The code for reproducing our results is available at https://github.com/mesnico/ALADIN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google