Backward-Compatible Aligned Representations via an Orthogonal Transformation Layer

要約

視覚検索システムは、改善された表現でモデルを更新するときに、古い表現と新しい表現の間の不整合により、重大な課題に直面します。
コストとリソースを大量に消費するバックフィル プロセスには、新しいモデルが導入されるたびにギャラリー セット内の画像の特徴ベクトルを再計算することが含まれます。
これに対処するために、以前の研究では、バックフィルを行わずに新しい表現と古い表現を直接比較できる下位互換性のあるトレーニング方法が検討されてきました。
これらの進歩にもかかわらず、下位互換性と独立してトレーニングされたモデルのパフォーマンスの間のバランスを達成することは未解決の問題のままです。
この論文では、追加の次元で表現空間を拡張し、古いモデルとの互換性を達成すると同時に新しい情報を統合する直交変換を学習することでこの問題に対処します。
この変換により、元の特徴空間のジオメトリが保存され、新しいデータを学習しながらモデルが以前のバージョンと確実に一致するようになります。
当社の Orthogonal Compatibility Aligned (OCA) アプローチにより、モデル更新時の再インデックス作成の必要性がなくなり、追加のマッピング関数を使用せずに、さまざまなモデル更新間で機能を直接比較できるようになります。
CIFAR-100 および ImageNet-1k での実験結果は、私たちの方法が以前のモデルとの互換性を維持するだけでなく、いくつかの既存の方法を上回る最先端の精度を達成することを示しています。

要約(オリジナル)

Visual retrieval systems face significant challenges when updating models with improved representations due to misalignment between the old and new representations. The costly and resource-intensive backfilling process involves recalculating feature vectors for images in the gallery set whenever a new model is introduced. To address this, prior research has explored backward-compatible training methods that enable direct comparisons between new and old representations without backfilling. Despite these advancements, achieving a balance between backward compatibility and the performance of independently trained models remains an open problem. In this paper, we address it by expanding the representation space with additional dimensions and learning an orthogonal transformation to achieve compatibility with old models and, at the same time, integrate new information. This transformation preserves the original feature space’s geometry, ensuring that our model aligns with previous versions while also learning new data. Our Orthogonal Compatible Aligned (OCA) approach eliminates the need for re-indexing during model updates and ensures that features can be compared directly across different model updates without additional mapping functions. Experimental results on CIFAR-100 and ImageNet-1k demonstrate that our method not only maintains compatibility with previous models but also achieves state-of-the-art accuracy, outperforming several existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google