Unsqueeze [CLS] Bottleneck to Learn Rich Representations

要約

蒸留ベースの自己教師あり学習では、通常、その急進的なクラスタリング プロセスとより鮮明なターゲット分布の実装により、より圧縮された表現が得られます。
この制限を克服し、入力からより多くの情報を保存するために、非搾り蒸留ベースの自己教師あり学習 (SSL) として概念化された UDI を導入します。
UDI は、層化サンプリングによって導出されたローカル予測の統合プロファイルから蒸留されたマルチモーダル予測を促進することにより、学習された表現を強化します。
私たちの評価では、UDI がインスタンス レベルで意味的に意味のある表現を促進し、画像分類における最先端の SSL 手法よりも優れた、または競合する結果を提供するだけでなく、入力の煩わしさを効果的に保存し、高密度予測で大幅な改善をもたらすことが示されています。
オブジェクトの検出やセグメンテーションなどのタスク。
さらに、UDI はローショット画像分類において競争力を発揮し、ジョイント埋め込みパイプラインのスケーラビリティを向上させます。
UDI の背後にあるメカニズムをさらに解明するために、さまざまな視覚化とアブレーション研究が提示されています。
私たちのソースコードは https://github.com/ISL-CV/udi で入手できます。

要約(オリジナル)

Distillation-based self-supervised learning typically leads to more compressed representations due to its radical clustering process and the implementation of a sharper target distribution. To overcome this limitation and preserve more information from input, we introduce UDI, conceptualized as Unsqueezed Distillation-based self-supervised learning (SSL). UDI enriches the learned representation by encouraging multimodal prediction distilled from a consolidated profile of local predictions that are derived via stratified sampling. Our evaluations show that UDI not only promotes semantically meaningful representations at instance level, delivering superior or competitive results to state-of-the-art SSL methods in image classification, but also effectively preserves the nuisance of input, which yields significant improvement in dense prediction tasks, including object detection and segmentation. Additionally, UDI performs competitively in low-shot image classification, improving the scalability of joint-embedding pipelines. Various visualizations and ablation studies are presented to further elucidate the mechanisms behind UDI. Our source code is available at https://github.com/ISL-CV/udi.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google