Local Function Complexity for Active Learning via Mixture of Gaussian Processes

要約

実世界のデータの不均一性（観測ノイズ レベルの変化やソース関数の構造の複雑さの変化など）は、統計的推論に特有の一連の課題を引き起こします。
物理リソースや計算時間が限られている場合、それらを考慮すると、予測能力が大幅に向上します。
この論文では、局所多項式平滑化 (LPS) の領域から導出された局所関数の複雑さ (LFC) の推定に関する最近の理論的結果を利用して、モデルの開発に使用される局所構造の複雑さの概念を確立します。
不可知論的なアクティブ ラーニング (AL) フレームワーク。
LPS モデル クラスは、点ごとの推定に依存しているため、現実世界の問題に通常伴う大きな入力空間次元に関して堅牢性やスケーラビリティがありません。
ここでは、LPS ベースの LFC のガウス過程回帰 (GPR) ベースのアナログを導出および推定し、それを上記のフレームワークの代替として使用して、堅牢かつスケーラブルにします。
私たちは、有機小分子の量子化学力場を再構築し、最先端の状態を実証するという困難な現実世界のタスクに取り組む前に、プロトタイプの低次元合成データセットに対する AL アプリケーションでの LFC 推定の有効性を評価します。
トレーニングの必要性を大幅に軽減しながら芸術パフォーマンスを実現します。

要約(オリジナル)

Inhomogeneities in real-world data, e.g., due to changes in the observation noise level or variations in the structural complexity of the source function, pose a unique set of challenges for statistical inference. Accounting for them can greatly improve predictive power when physical resources or computation time is limited. In this paper, we draw on recent theoretical results on the estimation of local function complexity (LFC), derived from the domain of local polynomial smoothing (LPS), to establish a notion of local structural complexity, which is used to develop a model-agnostic active learning (AL) framework. Due to its reliance on pointwise estimates, the LPS model class is not robust and scalable concerning large input space dimensions that typically come along with real-world problems. Here, we derive and estimate the Gaussian process regression (GPR)-based analog of the LPS-based LFC and use it as a substitute in the above framework to make it robust and scalable. We assess the effectiveness of our LFC estimate in an AL application on a prototypical low-dimensional synthetic dataset, before taking on the challenging real-world task of reconstructing a quantum chemical force field for a small organic molecule and demonstrating state-of-the-art performance with a significantly reduced training demand.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google