Black-Box Batch Active Learning for Regression

要約

バッチ アクティブ ラーニングは、最初はラベル付けされていない大規模なデータセットで機械学習モデルを効率的にトレーニングするための一般的なアプローチであり、データ ポイントのバッチのラベル​​を繰り返し取得します。
ただし、最近の多くのバッチ アクティブ ラーニング手法は、微分可能なパラメトリック モデルに限定されたホワイト ボックス アプローチです。モデルの埋め込みまたは 1 次および 2 次導関数に基づく取得関数を使用して、ラベルのないポイントをスコアリングします。
このホワイト ペーパーでは、ホワイト ボックス アプローチの拡張として、回帰タスクのブラック ボックス バッチ アクティブ ラーニングを提案します。
このアプローチは、通常のディープ ラーニング モデルやベイジアン ディープ ラーニング モデル、ランダム フォレストなどの微分不可能なモデルなど、幅広い機械学習モデルと互換性があります。
これはベイジアンの原則に根ざしており、最近のカーネルベースのアプローチを利用しています。
重要なことは、私たちの方法はモデル予測のみに依存していることです。
これにより、既存の最先端のホワイト ボックス バッチ アクティブ ラーニング手法 (BADGE、BAIT、LCMD) を幅広くブラック ボックス モデルに拡張することができます。
回帰データセットの広範な実験的評価を通じてアプローチの有効性を実証し、ディープ ラーニング モデルのホワイト ボックス アプローチと比較して驚くほど強力なパフォーマンスを達成しました。

要約(オリジナル)

Batch active learning is a popular approach for efficiently training machine learning models on large, initially unlabelled datasets, which repeatedly acquires labels for a batch of data points. However, many recent batch active learning methods are white-box approaches limited to differentiable parametric models: they score unlabeled points using acquisition functions based on model embeddings or first- and second-order derivatives. In this paper, we propose black-box batch active learning for regression tasks as an extension of white-box approaches. This approach is compatible with a wide range of machine learning models including regular and Bayesian deep learning models and non-differentiable models such as random forests. It is rooted in Bayesian principles and utilizes recent kernel-based approaches. Importantly, our method only relies on model predictions. This allows us to extend a wide range of existing state-of-the-art white-box batch active learning methods (BADGE, BAIT, LCMD) to black-box models. We demonstrate the effectiveness of our approach through extensive experimental evaluations on regression datasets, achieving surprisingly strong performance compared to white-box approaches for deep learning models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google