UDON: Universal Dynamic Online distillatioN for generic image representations

要約

ユニバーサルな画像表現は、あらゆるドメインのオブジェクトやエンティティを大規模に識別する必要がある、実世界のきめ細かいインスタンス レベルの認識アプリケーションを実現するために重要です。
最近の進歩にも関わらず、既存の方法では、ドメイン固有の重要な知識を取得できず、また、異なるドメイン間のデータ分布の違いも無視されています。
このため、効率的な汎用ソリューションと、ドメインごとに 1 つずつ専門モデルのコレクションを利用する高価なアプローチとの間には、大きなパフォーマンスのギャップが生じます。
この研究では、UDON (Universal Dynamic Online DistillatioN) と呼ばれる新しい学習テクニックを導入することにより、このギャップを埋めるために大幅な進歩を遂げました。
UDON は、各教師が 1 つのドメインに特化するマルチ教師蒸留を採用し、ドメイン固有の詳細な知識を生徒の普遍的な埋め込みに転送します。
UDON の蒸留アプローチは、ほとんどのモデル パラメーターを生徒とすべての教師の間で共有し、すべてのモデルがオンラインで共同トレーニングされるため、効果的であるだけでなく、非常に効率的でもあります。
UDON は、学習が遅く、より頻繁な処理を必要とするドメインにバッチを動的に割り当てるようにトレーニング プロセスを適応させるサンプリング手法も備えています。
これにより、多数のクラスとロングテール分布を特徴とする複雑なドメインの学習が大幅に促進されます。
包括的な実験により、UDON の各コンポーネントを検証し、最新の UnED ベンチマークで最先端のものに対する大幅な改善を示しました。
コード: https://github.com/nikosips/UDON 。

要約(オリジナル)

Universal image representations are critical in enabling real-world fine-grained and instance-level recognition applications, where objects and entities from any domain must be identified at large scale. Despite recent advances, existing methods fail to capture important domain-specific knowledge, while also ignoring differences in data distribution across different domains. This leads to a large performance gap between efficient universal solutions and expensive approaches utilising a collection of specialist models, one for each domain. In this work, we make significant strides towards closing this gap, by introducing a new learning technique, dubbed UDON (Universal Dynamic Online DistillatioN). UDON employs multi-teacher distillation, where each teacher is specialized in one domain, to transfer detailed domain-specific knowledge into the student universal embedding. UDON’s distillation approach is not only effective, but also very efficient, by sharing most model parameters between the student and all teachers, where all models are jointly trained in an online manner. UDON also comprises a sampling technique which adapts the training process to dynamically allocate batches to domains which are learned slower and require more frequent processing. This boosts significantly the learning of complex domains which are characterised by a large number of classes and long-tail distributions. With comprehensive experiments, we validate each component of UDON, and showcase significant improvements over the state of the art in the recent UnED benchmark. Code: https://github.com/nikosips/UDON .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google