Online Backfilling with No Regret for Large-Scale Image Retrieval

要約

バックフィルは、画像検索システムでアップグレードされたモデルからすべてのギャラリー埋め込みを再抽出するプロセスです。
必然的に、非常に大量の計算コストが必要になり、サービスのダウンタイムが発生することさえあります。
下位互換性のある学習は、クエリ側の表現に取り組むことでこの課題を回避しますが、ギャラリーの埋め込みはモデルのアップグレードの恩恵を受けることができないため、原則として最適ではないソリューションにつながります。
オンラインのバックフィル アルゴリズムを導入することで、このジレンマに対処します。これにより、バックフィルの完了後に新しいモデルの最終的なパフォーマンスを犠牲にすることなく、バックフィル プロセス中に徐々にパフォーマンスを向上させることができます。
この目的のために、まず、オンライン バックフィルのための単純な距離ランク マージ手法を提案します。
次に、より効果的かつ効率的なマージのために逆変換モジュールを組み込みます。これは、メトリック互換の対照的な学習アプローチを採用することでさらに強化されます。
これらの 2 つのコンポーネントは、古いモデルと新しいモデルの距離に互換性を持たせるのに役立ち、追加の計算オーバーヘッドなしでバックフィル中に望ましいマージ結果をもたらします。
広範な実験により、さまざまな設定での 4 つの標準ベンチマークに対するフレームワークの有効性が示されています。

要約(オリジナル)

Backfilling is the process of re-extracting all gallery embeddings from upgraded models in image retrieval systems. It inevitably requires a prohibitively large amount of computational cost and even entails the downtime of the service. Although backward-compatible learning sidesteps this challenge by tackling query-side representations, this leads to suboptimal solutions in principle because gallery embeddings cannot benefit from model upgrades. We address this dilemma by introducing an online backfilling algorithm, which enables us to achieve a progressive performance improvement during the backfilling process while not sacrificing the final performance of new model after the completion of backfilling. To this end, we first propose a simple distance rank merge technique for online backfilling. Then, we incorporate a reverse transformation module for more effective and efficient merging, which is further enhanced by adopting a metric-compatible contrastive learning approach. These two components help to make the distances of old and new models compatible, resulting in desirable merge results during backfilling with no extra computational overhead. Extensive experiments show the effectiveness of our framework on four standard benchmarks in various settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google