Switchable Representation Learning Framework with Self-compatibility

要約

実世界のビジュアル検索システムには、異なるコンピューティング リソースとストレージ リソースを備えた複数のプラットフォームへの展開が含まれます。
最小制約プラットフォームに適した統合モデルを展開すると、精度が制限されます。
リソースの制約に適応するさまざまな容量を持つモデルを展開することが期待されています。これには、これらのモデルによって抽出された機能をメトリック空間で整列させる必要があります。
特徴のアライメントを達成する方法は、「互換学習」と呼ばれます。
既存の研究は、主に 1 対 1 の互換性のあるパラダイムに焦点を当てており、複数のモデル間の互換性の学習には限界があります。
自己互換性を備えた切り替え可能な表現学習フレームワーク (SFSC) を提案します。
SFSC は、1 つのトレーニング プロセスを通じて、さまざまな容量を持つ一連の互換性のあるサブモデルを生成します。
サブモデルの最適化は勾配の競合に直面しており、大きさと方向の観点からこの問題を軽減します。
サブモデルを適切に共同最適化するために、不確実性の推定を通じてサブモデルの優先順位を動的に調整します。
また、相互干渉を避けるために、方向が矛盾する勾配が投影されます。
SFSC は、評価されたデータセットで最先端のパフォーマンスを実現します。

要約(オリジナル)

Real-world visual search systems involve deployments on multiple platforms with different computing and storage resources. Deploying a unified model that suits the minimal-constrain platforms leads to limited accuracy. It is expected to deploy models with different capacities adapting to the resource constraints, which requires features extracted by these models to be aligned in the metric space. The method to achieve feature alignments is called “compatible learning”. Existing research mainly focuses on the one-to-one compatible paradigm, which is limited in learning compatibility among multiple models. We propose a Switchable representation learning Framework with Self-Compatibility (SFSC). SFSC generates a series of compatible sub-models with different capacities through one training process. The optimization of sub-models faces gradients conflict, and we mitigate this problem from the perspective of the magnitude and direction. We adjust the priorities of sub-models dynamically through uncertainty estimation to co-optimize sub-models properly. Besides, the gradients with conflicting directions are projected to avoid mutual interference. SFSC achieves state-of-the-art performance on the evaluated datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google