Semi-Parametric Inducing Point Networks and Neural Processes

要約

【タイトル】半パラメトリック誘導点ネットワークとニューラルプロセス

【要約】
– 半パラメトリック誘導点ネットワーク（SPIN）は、トレーニングセットをクエリする汎用アーキテクチャであり、推論時に計算効率的に行われる。
– 半パラメトリックアーキテクチャは通常パラメトリックモデルよりもコンパクトであるが、計算の複雑さがしばしば二次関数である。それに対し、SPINは誘導点法に着想を得たデータポイント間のクロスアテンションメカニズムにより線形の複雑度を達成している。
– 大規模なトレーニングセットをクエリすることはメタ学習において特に役立ち、追加のトレーニングシグナルを解放するが、既存のモデルのスケーリング制限を超えることがしばしばある。そのため、SPINを基盤としてInducing Point Neural Processを提案し、メタ学習において大容量のコンテキストを対応し、既存のモデルでは失敗する場合でも高い精度を達成した。
– 実験では、SPINはメモリ要件を削減し、幅広いメタ学習タスクで精度を向上させ、重要な実用問題であるジェノタイプ補完の最先端のパフォーマンスを向上させた。

要約(オリジナル)

We introduce semi-parametric inducing point networks (SPIN), a general-purpose architecture that can query the training set at inference time in a compute-efficient manner. Semi-parametric architectures are typically more compact than parametric models, but their computational complexity is often quadratic. In contrast, SPIN attains linear complexity via a cross-attention mechanism between datapoints inspired by inducing point methods. Querying large training sets can be particularly useful in meta-learning, as it unlocks additional training signal, but often exceeds the scaling limits of existing models. We use SPIN as the basis of the Inducing Point Neural Process, a probabilistic model which supports large contexts in meta-learning and achieves high accuracy where existing models fail. In our experiments, SPIN reduces memory requirements, improves accuracy across a range of meta-learning tasks, and improves state-of-the-art performance on an important practical problem, genotype imputation.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI