Memory Efficient Neural Processes via Constant Memory Attention Block

要約

ニューラル プロセス (NP) は、予測の不確実性を効率的にモデル化するための一般的なメタ学習手法です。
ただし、最近の最先端の方法は高価なアテンション メカニズムを活用しており、特にリソースが少ない設定ではその用途が制限されています。
この研究では、定常記憶のみを必要とする NP のバリアントである定常記憶注意力神経プロセス (CMNP) を提案します。
そのために、まずクロス アテンションの効率的な更新操作を提案します。
更新操作を活用して、我々は、(i) 順列不変であり、(ii) 定数メモリ内でその出力を計算し、(iii) 定数計算更新を実行する新しいアテンション ブロックである Constant Memory Attendee Block (CMAB) を提案します。
最後に、CMAB に基づいて、定常記憶注意力神経プロセスについて詳しく説明します。
経験的に、CMANSP は一般的な NP ベンチマークで最先端の結果を達成しながら、従来の方法よりもメモリ効率が大幅に向上することを示しています。

要約(オリジナル)

Neural Processes (NPs) are popular meta-learning methods for efficiently modelling predictive uncertainty. Recent state-of-the-art methods, however, leverage expensive attention mechanisms, limiting their applications, particularly in low-resource settings. In this work, we propose Constant Memory Attentive Neural Processes (CMANPs), an NP variant that only requires constant memory. To do so, we first propose an efficient update operation for Cross Attention. Leveraging the update operation, we propose Constant Memory Attention Block (CMAB), a novel attention block that (i) is permutation invariant, (ii) computes its output in constant memory, and (iii) performs constant computation updates. Finally, building on CMAB, we detail Constant Memory Attentive Neural Processes. Empirically, we show CMANPs achieve state-of-the-art results on popular NP benchmarks while being significantly more memory efficient than prior methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google