Contrastive Learning and Abstract Concepts: The Case of Natural Numbers

要約

対照学習 (CL) は、ImageNet データセットに含まれるオブジェクトなどの具体的な概念に関連する分類やその他の下流タスクにうまく適用されています。
これまでのところ、この有望なスキームをより抽象的なエンティティに適用する試みは行われていないようです。
これらの顕著な例は、(離散的な) 数量の概念です。
CL は、多くの場合、何らかの深遠で遍在的な保存原則 (オブジェクト分類タスクにおける同一性の保存など) によって導かれる自己教師付きスキームとして解釈できます。
この入門的な研究では、離散量を推定または予測できる自然数の半抽象的な概念に適切な保存原理を適用します。
私たちは、おもちゃの問題を使って、人間と超人間の範囲の両方で、一目で高精度に数えられるように対照学習を訓練できることを実験的に示します。これを訓練された結果と比較します。
同様のアーキテクチャの教師あり学習 (SL) ニューラル ネットワーク スキームが一目でわかります。
トレーニング段階とテスト段階の分布が等しいベースライン実験では、両方のスキームが同様の良好なパフォーマンスを示すことを示します。
重要なのは、トレーニングとテストの分布が異なる一部の一般化シナリオでは、CL がより堅牢ではるかに優れたエラー パフォーマンスを誇ることを示していることです。

要約(オリジナル)

Contrastive Learning (CL) has been successfully applied to classification and other downstream tasks related to concrete concepts, such as objects contained in the ImageNet dataset. No attempts seem to have been made so far in applying this promising scheme to more abstract entities. A prominent example of these could be the concept of (discrete) Quantity. CL can be frequently interpreted as a self-supervised scheme guided by some profound and ubiquitous conservation principle (e.g. conservation of identity in object classification tasks). In this introductory work we apply a suitable conservation principle to the semi-abstract concept of natural numbers by which discrete quantities can be estimated or predicted. We experimentally show, by means of a toy problem, that contrastive learning can be trained to count at a glance with high accuracy both at human as well as at super-human ranges.. We compare this with the results of a trained-to-count at a glance supervised learning (SL) neural network scheme of similar architecture. We show that both schemes exhibit similar good performance on baseline experiments, where the distributions of the training and testing stages are equal. Importantly, we demonstrate that in some generalization scenarios, where training and testing distributions differ, CL boasts more robust and much better error performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google