TriBYOL: Triplet BYOL for Self-Supervised Representation Learning

要約

本論文では、小さなバッチサイズでより良い表現を学習するための新しい自己教師付き学習法を提案する。ある種のシャムネットワークに基づく多くの自己教師付き学習法が出現し、大きな注目を集めている。しかし、これらの手法は、良好な表現を学習するために大きなバッチサイズを用いる必要があり、重い計算資源を必要とする。我々は、小さなバッチサイズで自己教師付き表現学習の性能を向上させるために、トリプレットネットワークとトリプルビューロスを組み合わせた新しい方法を提示する。実験により，本手法はいくつかのデータセットにおいて，小バッチの場合に最新の自己教師付き学習法を劇的に上回ることができることが示された．本手法は，実世界の高解像度画像を用いた自己教師付き学習において，小バッチサイズを用いた実現可能な解決策を提供する．

要約(オリジナル)

This paper proposes a novel self-supervised learning method for learning better representations with small batch sizes. Many self-supervised learning methods based on certain forms of the siamese network have emerged and received significant attention. However, these methods need to use large batch sizes to learn good representations and require heavy computational resources. We present a new triplet network combined with a triple-view loss to improve the performance of self-supervised representation learning with small batch sizes. Experimental results show that our method can drastically outperform state-of-the-art self-supervised learning methods on several datasets in small-batch cases. Our method provides a feasible solution for self-supervised learning with real-world high-resolution images that uses small batch sizes.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL