Darwinian Model Upgrades: Model Evolving with Selective Compatibility

要約

検索のための従来のモデル アップグレード パラダイムでは、新しいモデルを展開する前にすべてのギャラリー エンベディングを再計算する必要があり (「バックフィル」と呼ばれます)、産業用アプリケーションの数十億のインスタンスを考慮すると、これは非常に高価で時間がかかります。
BCT は、バックフィルをなくすための下位互換性のあるモデル アップグレードに向けた最初のステップです。
これは実行可能ですが、未分化の互換性制約により、新機能の識別性と新旧の互換性との間のジレンマに新しいモデルが残されます。
この作業では、ダーウィン モデル アップグレード (DMU) を提案します。これは、それぞれ選択的な後方互換性と前方適応で進化するモデルの継承とバリエーションを解きほぐします。
古いものから新しいものへの継承可能な知識は、古い機能の識別性によって測定され、ギャラリーの機能、特に品質の低い機能は、新しい潜在空間でより適応するように軽量な方法で進化します。
大規模なランドマーク検索と顔認識ベンチマークに関する包括的な実験を通じて、DMU の優位性を実証します。
DMU は、新しいものから新しいものへの劣化を効果的に軽減し、新しいものから古いものへの互換性を向上させ、大規模な検索システムでパラダイムをアップグレードするより適切なモデルをレンダリングします。

要約(オリジナル)

The traditional model upgrading paradigm for retrieval requires recomputing all gallery embeddings before deploying the new model (dubbed as ‘backfilling’), which is quite expensive and time-consuming considering billions of instances in industrial applications. BCT presents the first step towards backward-compatible model upgrades to get rid of backfilling. It is workable but leaves the new model in a dilemma between new feature discriminativeness and new-to-old compatibility due to the undifferentiated compatibility constraints. In this work, we propose Darwinian Model Upgrades (DMU), which disentangle the inheritance and variation in the model evolving with selective backward compatibility and forward adaptation, respectively. The old-to-new heritable knowledge is measured by old feature discriminativeness, and the gallery features, especially those of poor quality, are evolved in a lightweight manner to become more adaptive in the new latent space. We demonstrate the superiority of DMU through comprehensive experiments on large-scale landmark retrieval and face recognition benchmarks. DMU effectively alleviates the new-to-new degradation and improves new-to-old compatibility, rendering a more proper model upgrading paradigm in large-scale retrieval systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google