Scalable Batch Acquisition for Deep Bayesian Active Learning

要約

ディープ アクティブ ラーニングでは、特に大規模なデータセットで効率的に作業するために、各ステップでマークアップする複数の例を選択することが特に重要です。
同時に、BatchBALD など、ベイジアン設定におけるこの問題に対する既存のソリューションでは、結合確率変数の相互情報量を計算する指数関数的な複雑さに関連して、多数の例を選択する際に大きな制限があります。
したがって、Large BatchBALD アルゴリズムを提示します。これは、計算効率を高めながら同等の品質を達成することを目的とした BatchBALD メソッドに十分な根拠のある近似を提供します。
アルゴリズムの複雑さの分析を提供し、特に大規模なバッチの場合に計算時間が短縮されることを示します。
さらに、おもちゃのデータセットと CIFAR-100 などの大規模なデータセットの両方で、画像とテキスト データに関する広範な実験結果を提示します。

要約(オリジナル)

In deep active learning, it is especially important to choose multiple examples to markup at each step to work efficiently, especially on large datasets. At the same time, existing solutions to this problem in the Bayesian setup, such as BatchBALD, have significant limitations in selecting a large number of examples, associated with the exponential complexity of computing mutual information for joint random variables. We, therefore, present the Large BatchBALD algorithm, which gives a well-grounded approximation to the BatchBALD method that aims to achieve comparable quality while being more computationally efficient. We provide a complexity analysis of the algorithm, showing a reduction in computation time, especially for large batches. Furthermore, we present an extensive set of experimental results on image and text data, both on toy datasets and larger ones such as CIFAR-100.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google