FastFill: Efficient Compatible Model Update

要約

多くの検索システムでは、元の高次元データ (画像など) は、学習された埋め込みモデルを通じて低次元の特徴にマッピングされます。
ギャラリー セットから特定のクエリ データに最も類似したデータを取得するタスクは、フィーチャの類似性比較を通じて実行されます。
埋め込みモデルが更新されると、古いモデルで計算されたギャラリーに既にある機能と比較/互換性のない機能が生成される場合があります。
その後、ギャラリー内のすべての機能を、新しい埋め込みモデルを使用して再計算する必要があります。これは、バックフィルと呼ばれる計算コストの高いプロセスです。
最近、バックフィルを回避するために、互換性のある表現学習方法が提案されています。
それらの相対的な成功にもかかわらず、新しいモデルのパフォーマンスと古いモデルとの互換性との間には固有のトレードオフがあります。
この作業では、FastFill を紹介します。これは、機能の調整とポリシー ベースの部分的なバックフィルを使用して、検索パフォーマンスを迅速に向上させる互換性のあるモデル更新プロセスです。
以前の埋め戻し戦略はパフォーマンスの低下に悩まされていることを示し、オンライン部分埋め戻しにおけるトレーニング目標と順序付けの両方の重要性を示しています。
不確実性推定を使用して、古い埋め込みモデルと新しい埋め込みモデルの間の機能の整列のための新しいトレーニング方法を提案します。
以前の作業と比較して、ImageNet の mAP (+4.4\%)、Places-365 (+2.7\%)、VGG-Face2 (+1.3\%) など、さまざまなデータセットでバックフィルの結果が大幅に改善されています。
さらに、偏ったモデルを FastFill で更新すると、少数のサブグループの精度のギャップが部分的な埋め戻しのわずかな割合ですぐに消えることを示します。

要約(オリジナル)

In many retrieval systems the original high dimensional data (e.g., images) is mapped to a lower dimensional feature through a learned embedding model. The task of retrieving the most similar data from a gallery set to a given query data is performed through a similarity comparison on features. When the embedding model is updated, it might produce features that are not comparable/compatible with features already in the gallery computed with the old model. Subsequently, all features in the gallery need to be re-computed using the new embedding model — a computationally expensive process called backfilling. Recently, compatible representation learning methods have been proposed to avoid backfilling. Despite their relative success, there is an inherent trade-off between the new model performance and its compatibility with the old model. In this work, we introduce FastFill: a compatible model update process using feature alignment and policy based partial backfilling to promptly elevate retrieval performance. We show that previous backfilling strategies suffer from decreased performance and demonstrate the importance of both the training objective and the ordering in online partial backfilling. We propose a new training method for feature alignment between old and new embedding models using uncertainty estimation. Compared to previous works, we obtain significantly improved backfilling results on a variety of datasets: mAP on ImageNet (+4.4\%), Places-365 (+2.7\%), and VGG-Face2 (+1.3\%). Further, we demonstrate that when updating a biased model with FastFill, the minority subgroup accuracy gap promptly vanishes with a small fraction of partial backfilling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google