A Cookbook of Self-Supervised Learning

要約

インテリジェンスの暗黒物質と呼ばれる自己教師あり学習は、機械学習を進歩させるための有望な道です。
しかし、料理と同じように、SSL メソッドのトレーニングは、参入障壁が高いデリケートな技術です。
多くのコンポーネントはよく知られていますが、SSL メソッドのトレーニングを成功させるには、口実タスクからハイパーパラメーターのトレーニングまで、目まぐるしい一連の選択が必要です。
私たちの目標は、クックブックのスタイルで基礎と最新の SSL レシピを構築することで、SSL 研究への参入障壁を下げることです。
私たちは、好奇心旺盛な研究者がメソッドの領域をナビゲートし、さまざまなノブの役割を理解し、SSL がいかに優れたものであるかを探求するために必要なノウハウを獲得できるようにしたいと考えています。

要約(オリジナル)

Self-supervised learning, dubbed the dark matter of intelligence, is a promising path to advance machine learning. Yet, much like cooking, training SSL methods is a delicate art with a high barrier to entry. While many components are familiar, successfully training a SSL method involves a dizzying set of choices from the pretext tasks to training hyper-parameters. Our goal is to lower the barrier to entry into SSL research by laying the foundations and latest SSL recipes in the style of a cookbook. We hope to empower the curious researcher to navigate the terrain of methods, understand the role of the various knobs, and gain the know-how required to explore how delicious SSL can be.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google