Deep Kernel Methods Learn Better: From Cards to Process Optimization

要約

深層学習手法が分類タスクと回帰タスクを実行できるかどうかは、高次元のデータ空間で多様体を明らかにし、それらを低次元の表現空間に投影する能力に大きく依存しています。
この研究では、古典的な変分オートエンコーダ (VAE) アプローチとディープ カーネル学習 (DKL) によって生成された多様体の構造と特性を調査します。
前者の場合、潜在空間の構造は入力データの特性のみによって決定されますが、後者の場合、データ分布とターゲット機能のバランスをとる能動学習プロセスの結果として潜在多様体が形成されます。
能動学習を備えた DKL は、VAE などの以前に報告された方法と比較して、最適化に役立つ、よりコンパクトで滑らかな潜在空間を生成できることを示します。
私たちは、単純なカード データ セットを使用してこの動作を実証し、それを物理システム内のドメイン生成軌道の最適化に拡張します。
私たちの発見は、アクティブラーニングによって構築された潜在多様体が、特に材料合成、エネルギー貯蔵、分子発見などの領域科学で一般的な、機能が豊富でターゲットが少ないシナリオにおいて、最適化問題にとってより有益な構造を持っていることを示唆しています。
完全な分析をカプセル化した jupyter ノートブックが記事に付属しています。

要約(オリジナル)

The ability of deep learning methods to perform classification and regression tasks relies heavily on their capacity to uncover manifolds in high-dimensional data spaces and project them into low-dimensional representation spaces. In this study, we investigate the structure and character of the manifolds generated by classical variational autoencoder (VAE) approaches and deep kernel learning (DKL). In the former case, the structure of the latent space is determined by the properties of the input data alone, while in the latter, the latent manifold forms as a result of an active learning process that balances the data distribution and target functionalities. We show that DKL with active learning can produce a more compact and smooth latent space which is more conducive to optimization compared to previously reported methods, such as the VAE. We demonstrate this behavior using a simple cards data set and extend it to the optimization of domain-generated trajectories in physical systems. Our findings suggest that latent manifolds constructed through active learning have a more beneficial structure for optimization problems, especially in feature-rich target-poor scenarios that are common in domain sciences, such as materials synthesis, energy storage, and molecular discovery. The jupyter notebooks that encapsulate the complete analysis accompany the article.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google