Deep Active Learning with Structured Neural Depth Search

要約

これまでの研究では、従来の能動学習（AL）プロセスを、データの複雑さの変化に基づくインクリメンタルニューラルネットワークアーキテクチャ探索（Active-iNAS）で最適化し、精度と学習効率を向上させる。しかし、Active-iNASは複数のモデルを学習し、各アクティブラーニングサイクル後に、最も汎化性能が高いモデルを選択して後続のサンプルに問い合わせを行う。このような独立した学習プロセスは、耐えられないほどの計算量となり、著しく非効率で、探索の柔軟性と最終的な性能を制限してしまう。この問題に対処するため、我々は構造化変分推論（SVI）または構造化ニューラル深さ探索（SNDS）と呼ばれる手法を用いて、ALプロセス中のニューラルネットワーク深さ探索で勾配降下法を使用できる新しいアクティブ戦略を提案する。同時に、平均場仮定に基づく現在のVIベースの手法は、パフォーマンスが低下する可能性があることを理論的に証明した。3つのクエリ技術と3つのデータセットを用いて本手法を適用し、本手法が現行の手法を凌駕していることを示す。

要約(オリジナル)

Previous work optimizes traditional active learning (AL) processes with incremental neural network architecture search (Active-iNAS) based on data complexity change, which improves the accuracy and learning efficiency. However, Active-iNAS trains several models and selects the model with the best generalization performance for querying the subsequent samples after each active learning cycle. The independent training processes lead to an insufferable computational budget, which is significantly inefficient and limits search flexibility and final performance. To address this issue, we propose a novel active strategy with the method called structured variational inference (SVI) or structured neural depth search (SNDS) whereby we could use the gradient descent method in neural network depth search during AL processes. At the same time, we theoretically demonstrate that the current VI-based methods based on the mean-field assumption could lead to poor performance. We apply our strategy using three querying techniques and three datasets and show that our strategy outperforms current methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL