Learning Objective-Specific Active Learning Strategies with Attentive Neural Processes

要約

プールベースのアクティブ ラーニング (AL) は、機械学習モデルのデータ効率を向上させるための有望なテクノロジです。
ただし、調査によると、最近の AL 手法のパフォーマンスはデータセットとトレーニング設定の選択に非常に敏感であり、一般的なアプリケーションには適していません。
この問題に取り組むために、ラーニング アクティブ ラーニング (LAL) 分野では、アクティブ ラーニング戦略自体を学習して、特定の設定に適応できるようにすることを提案しています。
この研究では、注意的条件付きニューラル プロセス モデルを使用した能動学習問題の対称性と独立性の特性を利用する、新しい LAL 分類法を提案します。
私たちのアプローチは、近視眼的な神託からの学習に基づいており、これによりモデルは、すべてのデータ ポイントの誤差に均等に重み付けされない目標など、非標準の目標に適応する能力が得られます。
これらの設定では、ニューラル プロセス モデルがさまざまなベースラインを上回るパフォーマンスを示すことを実験的に検証しています。
最後に、私たちの実験では、変化するデータセットに対するモデルの安定性が向上する傾向を示していることがわかりました。
ただし、パフォーマンスは分類器の選択に左右されるため、近視眼的なオラクルとのパフォーマンスの差を減らし、スケーラビリティを向上させるには、さらなる作業が必要です。
私たちは非標準の目標に関する LAL の概念実証として私たちの研究を紹介しており、私たちの分析とモデリングの考察が将来の LAL の研究にインスピレーションを与えることを願っています。

要約(オリジナル)

Pool-based active learning (AL) is a promising technology for increasing data-efficiency of machine learning models. However, surveys show that performance of recent AL methods is very sensitive to the choice of dataset and training setting, making them unsuitable for general application. In order to tackle this problem, the field Learning Active Learning (LAL) suggests to learn the active learning strategy itself, allowing it to adapt to the given setting. In this work, we propose a novel LAL method for classification that exploits symmetry and independence properties of the active learning problem with an Attentive Conditional Neural Process model. Our approach is based on learning from a myopic oracle, which gives our model the ability to adapt to non-standard objectives, such as those that do not equally weight the error on all data points. We experimentally verify that our Neural Process model outperforms a variety of baselines in these settings. Finally, our experiments show that our model exhibits a tendency towards improved stability to changing datasets. However, performance is sensitive to choice of classifier and more work is necessary to reduce the performance the gap with the myopic oracle and to improve scalability. We present our work as a proof-of-concept for LAL on nonstandard objectives and hope our analysis and modelling considerations inspire future LAL work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google