Robust online active learning

要約

タイトル：堅牢なオンラインアクティブラーニング
要約：
– 産業応用において、ラベルされた観測データの収集は、しばしば人間の専門家の介入や高価なテスト装置の使用を必要とするため、容易ではない場合がある。
– そのような環境では、アクティブラーニングは、モデルに適合する際に使用する最も情報量の高いデータ点を提案することで非常に役立つ場合がある。観測数を減らすことで、トレーニングに必要な計算的負荷とラベル付けに関連する運用費用の両方が緩和される。
– 特に、ラベルの獲得に対する判断を極めて短時間で行う必要がある高容量生産プロセスでは、オンラインアクティブラーニングが有用である。
– しかしながら、最近のオンラインアクティブラーニング戦略の開発努力にもかかわらず、これらの方法が外れ値の存在下でどのように挙動するかは、十分に検討されていない。
– 本研究では、汚染されたデータストリームにおけるオンラインアクティブ線形回帰のパフォーマンスを調査している。
– 当社の研究では、現在利用可能なクエリ戦略が、最終的にモデルの予測性能を低下させるトレーニングセットの外れ値をサンプリングしやすいことが示唆されている。
– この問題に対処するため、当社は、条件付きD-最適アルゴリズムの検索領域を制限し、堅牢な推定量を使用する解決策を提案している。
– 当社のアプローチは、入力空間の未知の領域を探索することと、外れ値に対して保護することのバランスを取る。
– 数値シミュレーションにより、提案手法が外れ値の存在下でオンラインアクティブラーニングのパフォーマンスを改善する効果があることが示された。

要約(オリジナル)

In many industrial applications, obtaining labeled observations is not straightforward as it often requires the intervention of human experts or the use of expensive testing equipment. In these circumstances, active learning can be highly beneficial in suggesting the most informative data points to be used when fitting a model. Reducing the number of observations needed for model development alleviates both the computational burden required for training and the operational expenses related to labeling. Online active learning, in particular, is useful in high-volume production processes where the decision about the acquisition of the label for a data point needs to be taken within an extremely short time frame. However, despite the recent efforts to develop online active learning strategies, the behavior of these methods in the presence of outliers has not been thoroughly examined. In this work, we investigate the performance of online active linear regression in contaminated data streams. Our study shows that the currently available query strategies are prone to sample outliers, whose inclusion in the training set eventually degrades the predictive performance of the models. To address this issue, we propose a solution that bounds the search area of a conditional D-optimal algorithm and uses a robust estimator. Our approach strikes a balance between exploring unseen regions of the input space and protecting against outliers. Through numerical simulations, we show that the proposed method is effective in improving the performance of online active learning in the presence of outliers, thus expanding the potential applications of this powerful tool.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI