Uniform-in-Phase-Space Data Selection with Iterative Normalizing Flows

要約

計算能力と実験能力の向上により、日常的に生成される科学データの量が急速に増加しています。
メモリと計算強度によって制約されるアプリケーションでは、過度に大きなデータセットが科学的発見を妨げる可能性があり、データ削減がデータ駆動型手法の重要な要素になります。
データセットは、データ ポイントの数とその次元の 2 つの方向に成長しています。
次元削減は通常、各データ サンプルを低次元空間で記述することを目的としていますが、ここではデータ ポイントの数を減らすことに重点を置いています。
データの位相空間に均一にまたがるようにデータ ポイントを選択するための戦略が提案されています。
提案されたアルゴリズムは、データの確率マップを推定し、それを使用して受け入れ確率を構築することに依存しています。
データセットの小さなサブセットのみを使用して確率マップを構築する場合、反復法を使用してまれなデータ ポイントの確率を正確に推定します。
位相空間をビニングして確率マップを推定する代わりに、その関数形式は正規化フローで近似されます。
したがって、この方法は自然に高次元のデータセットに拡張されます。
提案されたフレームワークは、豊富なデータが利用可能な場合にデータ効率の高い機械学習を可能にする実行可能な経路として実証されています。
メソッドの実装は、コンパニオン リポジトリ (https://github.com/NREL/Phase-space-sampling) で利用できます。

要約(オリジナル)

Improvements in computational and experimental capabilities are rapidly increasing the amount of scientific data that is routinely generated. In applications that are constrained by memory and computational intensity, excessively large datasets may hinder scientific discovery, making data reduction a critical component of data-driven methods. Datasets are growing in two directions: the number of data points and their dimensionality. Whereas dimension reduction typically aims at describing each data sample on lower-dimensional space, the focus here is on reducing the number of data points. A strategy is proposed to select data points such that they uniformly span the phase-space of the data. The algorithm proposed relies on estimating the probability map of the data and using it to construct an acceptance probability. An iterative method is used to accurately estimate the probability of the rare data points when only a small subset of the dataset is used to construct the probability map. Instead of binning the phase-space to estimate the probability map, its functional form is approximated with a normalizing flow. Therefore, the method naturally extends to high-dimensional datasets. The proposed framework is demonstrated as a viable pathway to enable data-efficient machine learning when abundant data is available. An implementation of the method is available in a companion repository (https://github.com/NREL/Phase-space-sampling).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google