Adaptive Conditional Quantile Neural Processes

要約

ニューラル・プロセスは、確率過程をパラメータ化するニューラルネットワークの柔軟性を継承した確率モデルのファミリーである。特に回帰問題において、よく較正された予測を提供し、新しいタスクに素早く適応できるにもかかわらず、予測尤度を表現するために一般的に使用されるガウス仮定は、マルチモーダル分布のような複雑な分布を捉えることができない。この限界を克服するために、我々は、分布の形に関係なく分布をモデル化する際に、分位回帰の魅力的な特性を利用する、ニューラル・プロセス・ファミリーの新しいメンバーである、条件付き分位ニューラル・プロセス（CQNP）を提案する。このモデルは、情報量の多い分位数を推定することに重点を置いて学習する分位数回帰の拡張を導入することで、サンプリング効率と予測精度がさらに向上することを示す。実データセットと合成データセットを用いた我々の実験では、ベースラインと比較して予測性能が大幅に向上し、マルチモダリティのような異種分布の特性をより適切にモデル化できることが実証された。

要約(オリジナル)

Neural processes are a family of probabilistic models that inherit the flexibility of neural networks to parameterize stochastic processes. Despite providing well-calibrated predictions, especially in regression problems, and quick adaptation to new tasks, the Gaussian assumption that is commonly used to represent the predictive likelihood fails to capture more complicated distributions such as multimodal ones. To overcome this limitation, we propose Conditional Quantile Neural Processes (CQNPs), a new member of the neural processes family, which exploits the attractive properties of quantile regression in modeling the distributions irrespective of their form. By introducing an extension of quantile regression where the model learns to focus on estimating informative quantiles, we show that the sampling efficiency and prediction accuracy can be further enhanced. Our experiments with real and synthetic datasets demonstrate substantial improvements in predictive performance compared to the baselines, and better modeling of heterogeneous distributions’ characteristics such as multimodality.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL