Prediction-Oriented Bayesian Active Learning

要約

タイトル：予測指向のBayesian Active Learning

要約：
-アクティブラーニングにおける情報理論的アプローチは、モデルパラメータに関する情報を最大化することに焦点を当ててきた。
-BALDスコアを最適化することによって、これを達成してきたことが多い。
-BALDは入力分布の概念を欠いているため、関連性が限定されたデータに優先順位を付ける傾向がある。
-この問題を解決するために、我々は予測的情報利得(EPIG)を提案する。
-EPIGは、パラメータではなく予測の空間における情報量を測定する獲得関数である。
-EPIGを使用することにより、様々なデータセットやモデルにおいてBALDよりも強い予測性能が得られるため、魅力的な代替手段を提供する。

要約(オリジナル)

Information-theoretic approaches to active learning have traditionally focused on maximising the information gathered about the model parameters, most commonly by optimising the BALD score. We highlight that this can be suboptimal from the perspective of predictive performance. For example, BALD lacks a notion of an input distribution and so is prone to prioritise data of limited relevance. To address this we propose the expected predictive information gain (EPIG), an acquisition function that measures information gain in the space of predictions rather than parameters. We find that using EPIG leads to stronger predictive performance compared with BALD across a range of datasets and models, and thus provides an appealing drop-in replacement.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI