A Framework and Benchmark for Deep Batch Active Learning for Regression

要約

教師あり学習用のラベルの取得には費用がかかる場合があります。
ニューラル ネットワーク回帰のサンプル効率を向上させるために、ラベル付けするラベルのないデータのバッチを適応的に選択するアクティブ ラーニング手法を研究します。
我々は、(ネットワーク依存の) 基本カーネル、カーネル変換、および選択メソッドからそのようなメソッドを構築するためのフレームワークを提示します。
私たちのフレームワークは、非ベイズ手法だけでなく、ニューラル ネットワークのガウス過程近似に基づいた多くの既存のベイズ手法を網羅しています。
さらに、一般的に使用される最終層の特徴を、スケッチされた有限幅のニューラル タンジェント カーネルに置き換え、それらを新しいクラスタリング手法と組み合わせることを提案します。
さまざまな手法を評価するために、15 個の大規模な表形式の回帰データ セットで構成されるオープンソース ベンチマークを導入します。
私たちが提案した手法は、ベンチマークで最先端の手法を上回り、大規模なデータセットに拡張でき、ネットワーク アーキテクチャやトレーニング コードを調整することなくすぐに使用できます。
すべてのカーネル、カーネル変換、選択メソッドの効率的な実装を含むオープンソース コードを提供しており、結果を再現するために使用できます。

要約(オリジナル)

The acquisition of labels for supervised learning can be expensive. To improve the sample efficiency of neural network regression, we study active learning methods that adaptively select batches of unlabeled data for labeling. We present a framework for constructing such methods out of (network-dependent) base kernels, kernel transformations, and selection methods. Our framework encompasses many existing Bayesian methods based on Gaussian process approximations of neural networks as well as non-Bayesian methods. Additionally, we propose to replace the commonly used last-layer features with sketched finite-width neural tangent kernels and to combine them with a novel clustering method. To evaluate different methods, we introduce an open-source benchmark consisting of 15 large tabular regression data sets. Our proposed method outperforms the state-of-the-art on our benchmark, scales to large data sets, and works out-of-the-box without adjusting the network architecture or training code. We provide open-source code that includes efficient implementations of all kernels, kernel transformations, and selection methods, and can be used for reproducing our results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google