Benchmark for Uncertainty & Robustness in Self-Supervised Learning

要約

自己教師あり学習 (SSL) は、実際のアプリケーション、特に医療や自動運転車などのデータを大量に消費する分野で重要です。
ラベル付けされたデータの欠如に加えて、これらのアプリケーションは分布の変化にも悩まされています。
したがって、SSL メソッドは、テスト データセットで堅牢な一般化と不確実性の推定を提供し、そのようなリスクの高いドメインで信頼できるモデルと見なされる必要があります。
ただし、既存のアプローチは、モデルの不確実性を評価することなく、一般化に焦点を当てることがよくあります。
したがって、これらの見積もりを改善するために SSL 技術を比較する能力は、自己監視モデルの信頼性に関する研究にとって重要です。
このホワイト ペーパーでは、ビジョン用のジグソー パズル、コンテキスト、回転、幾何学的変換予測、および言語タスク用の BERT と GPT を含む、SSL メソッドのバリエーションについて説明します。
ビジョンの補助学習と言語モデルの事前トレーニングで SSL をトレーニングし、MNIST-C、CIFAR-10-
C、CIFAR-10.1、および MNLI。
私たちの目標は、実験からの出力を使用してベンチマークを作成し、Reliable Machine Learning の新しい SSL メソッドの出発点を提供することです。
結果を再現するためのすべてのソース コードは、https://github.com/hamanhbui/reliable_ssl_baselines で入手できます。

要約(オリジナル)

Self-Supervised Learning (SSL) is crucial for real-world applications, especially in data-hungry domains such as healthcare and self-driving cars. In addition to a lack of labeled data, these applications also suffer from distributional shifts. Therefore, an SSL method should provide robust generalization and uncertainty estimation in the test dataset to be considered a reliable model in such high-stakes domains. However, existing approaches often focus on generalization, without evaluating the model’s uncertainty. The ability to compare SSL techniques for improving these estimates is therefore critical for research on the reliability of self-supervision models. In this paper, we explore variants of SSL methods, including Jigsaw Puzzles, Context, Rotation, Geometric Transformations Prediction for vision, as well as BERT and GPT for language tasks. We train SSL in auxiliary learning for vision and pre-training for language model, then evaluate the generalization (in-out classification accuracy) and uncertainty (expected calibration error) across different distribution covariate shift datasets, including MNIST-C, CIFAR-10-C, CIFAR-10.1, and MNLI. Our goal is to create a benchmark with outputs from experiments, providing a starting point for new SSL methods in Reliable Machine Learning. All source code to reproduce results is available at https://github.com/hamanhbui/reliable_ssl_baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google