Sparse Gaussian Neural Processes

要約

確率的メタ学習における最近の大幅な進歩にもかかわらず、実務家は、解釈可能性の比較のために深い学習モデルの使用を避けることが一般的です。
代わりに、多くの開業医は、解釈可能な事前にガウスプロセスなどの非メタモデルを使用し、遭遇する各タスクに対してゼロからモデルをゼロからトレーニングするという退屈な手順を実施します。
これは、限られた数のデータポイントを備えたタスクで正当化できますが、正確なガウスプロセス推論の立方計算コストは​​、各タスクに多くの観測がある場合にこれを法外にします。
これを改善するために、メタラーンのガウスプロセス推論をメタラーンするモデルのファミリーを紹介します。
これにより、まばらなガウスプロセスを備えた新しいタスクでの迅速な予測が可能になるだけでなく、モデルが神経プロセスファミリのメンバーとして明確な解釈を持っているため、初めて神経プロセスでのプライアーを手動で誘発することもできます。
観測されたタスクの数が少ない、または専門家のドメインの知識が利用できるメタ学習体制では、これは重要な利点を提供します。

要約(オリジナル)

Despite significant recent advances in probabilistic meta-learning, it is common for practitioners to avoid using deep learning models due to a comparative lack of interpretability. Instead, many practitioners simply use non-meta-models such as Gaussian processes with interpretable priors, and conduct the tedious procedure of training their model from scratch for each task they encounter. While this is justifiable for tasks with a limited number of data points, the cubic computational cost of exact Gaussian process inference renders this prohibitive when each task has many observations. To remedy this, we introduce a family of models that meta-learn sparse Gaussian process inference. Not only does this enable rapid prediction on new tasks with sparse Gaussian processes, but since our models have clear interpretations as members of the neural process family, it also allows manual elicitation of priors in a neural process for the first time. In meta-learning regimes for which the number of observed tasks is small or for which expert domain knowledge is available, this offers a crucial advantage.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google