Contrastive Learning and Abstract Concepts: The Case of Natural Numbers

要約

対照学習（CL）は、ImageNetデータセットに含まれるオブジェクトのような具体的な概念に関連する分類やその他の下流タスクへの適用に成功している。この有望なスキームをより抽象的なエンティティに適用する試みは、今のところ行われていないようだ。その顕著な例が、（離散）量の概念である。CLは、深遠でどこにでもある保存原理（例えば、物体分類タスクにおける同一性の保存）に導かれた自己教師付きスキームと解釈されることが多い。この入門的な研究では、離散量を推定または予測することができる自然数という半抽象的な概念に、適切な保存原理を適用する。我々は、おもちゃの問題を用いて、対比学習が人間でも超人間でも高い精度で一目で数えられるように訓練できることを実験的に示す。この結果を、同様のアーキテクチャを持つ教師あり学習（SL）ニューラルネットワークの学習結果と比較する。訓練段階とテスト段階の分布が等しいベースライン実験において、両方式が同様の良好な性能を示すことを示す。重要なことは、訓練とテストの分布が異なるいくつかの汎化シナリオにおいて、CLがより頑健で、より優れたエラー性能を示すことである。

要約(オリジナル)

Contrastive Learning (CL) has been successfully applied to classification and other downstream tasks related to concrete concepts, such as objects contained in the ImageNet dataset. No attempts seem to have been made so far in applying this promising scheme to more abstract entities. A prominent example of these could be the concept of (discrete) Quantity. CL can be frequently interpreted as a self-supervised scheme guided by some profound and ubiquitous conservation principle (e.g. conservation of identity in object classification tasks). In this introductory work we apply a suitable conservation principle to the semi-abstract concept of natural numbers by which discrete quantities can be estimated or predicted. We experimentally show, by means of a toy problem, that contrastive learning can be trained to count at a glance with high accuracy both at human as well as at super-human ranges.. We compare this with the results of a trained-to-count at a glance supervised learning (SL) neural network scheme of similar architecture. We show that both schemes exhibit similar good performance on baseline experiments, where the distributions of the training and testing stages are equal. Importantly, we demonstrate that in some generalization scenarios, where training and testing distributions differ, CL boasts more robust and much better error performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL