EffOWT: Transfer Visual Language Models to Open-World Tracking Efficiently and Effectively

要約

Open-World Tracking（OWT）は、あらゆるカテゴリのすべてのオブジェクトを追跡することを目的としています。これにより、モデルに強力な一般化機能が必要です。
トラッカーは、視覚言語モデル（VLM）を活用することにより、一般化能力を向上させることができます。
ただし、VLMSがOWTに転送されると、微調整戦略で課題が生じます。完全な微調整により、過剰なパラメーターとメモリコストが発生し、ゼロショット戦略は最適なパフォーマンスにつながります。
問題を解決するために、EffowtはVLMをOWTに効率的に転送するために提案されています。
具体的には、VLMバックボーンの外に小さく独立した学習可能なサイドネットワークを構築します。
バックボーンを凍結し、サイドネットワークでBackPropagationのみを実行することにより、モデルの効率要件を満たすことができます。
さらに、Effowtは、OWTフィールドでのモデルのパフォーマンスを改善するために、変圧器とCNNのハイブリッド構造を提案することにより、サイドネットワークを強化します。
最後に、MLPにまばらな相互作用を実装するため、パラメーターの更新とメモリコストが大幅に削減されます。
提案された方法のおかげで、Effowtは未知のカテゴリの追跡メトリックOWTAで5.5％の絶対的なゲインを達成しますが、完全な微調整と比較してパラメーターの1.3％のみを更新し、36.4％のメモリを節約します。
他のメトリックも明らかな改善を示しています。

要約(オリジナル)

Open-World Tracking (OWT) aims to track every object of any category, which requires the model to have strong generalization capabilities. Trackers can improve their generalization ability by leveraging Visual Language Models (VLMs). However, challenges arise with the fine-tuning strategies when VLMs are transferred to OWT: full fine-tuning results in excessive parameter and memory costs, while the zero-shot strategy leads to sub-optimal performance. To solve the problem, EffOWT is proposed for efficiently transferring VLMs to OWT. Specifically, we build a small and independent learnable side network outside the VLM backbone. By freezing the backbone and only executing backpropagation on the side network, the model’s efficiency requirements can be met. In addition, EffOWT enhances the side network by proposing a hybrid structure of Transformer and CNN to improve the model’s performance in the OWT field. Finally, we implement sparse interactions on the MLP, thus reducing parameter updates and memory costs significantly. Thanks to the proposed methods, EffOWT achieves an absolute gain of 5.5% on the tracking metric OWTA for unknown categories, while only updating 1.3% of the parameters compared to full fine-tuning, with a 36.4% memory saving. Other metrics also demonstrate obvious improvement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google