Self-Attention through Kernel-Eigen Pair Sparse Variational Gaussian Processes

要約

Transformersの優れた能力は予測精度を大幅に向上させるが、過信的な予測をもたらす可能性もあり、較正された不確実性推定を必要とし、これは一般的にガウス過程（GP）によって取り組むことができる。既存の研究では、変分推論のもと対称カーネルを持つGPを注意カーネルに適用しているが、注意カーネルは本質的に非対称であるという事実を省略している。さらに、GPの後置を導出する複雑さは、大規模データに対して依然として高い。本研究では、不確実性を考慮した自己注意を構築するために、カーネル固有対スパース変分ガウス過程（KEP-SVGP）を提案する。この方法では、カーネルSVD（KSVD）により注意カーネルの非対称性に対処し、複雑さを軽減することができる。KEP-SVGPにより、i) KSVDから得られる特異ベクトルの2つの組と注意カーネルとによって誘導されるSVGPの組は、非対称性を完全に特徴付ける。ii) KSVDから得られる小さな隣接固有関数の組のみを用いて、SVGPの事後値の導出は、特異値を含む対角行列の逆行列に基づくことができ、時間の複雑さの低減に貢献する。実験により、分布内、分布シフト、分布外ベンチマークにおける我々の優れた性能と効率が検証された。

要約(オリジナル)

While the great capability of Transformers significantly boosts prediction accuracy, it could also yield overconfident predictions and require calibrated uncertainty estimation, which can be commonly tackled by Gaussian processes (GPs). Existing works apply GPs with symmetric kernels under variational inference to the attention kernel; however, omitting the fact that attention kernels are in essence asymmetric. Moreover, the complexity of deriving the GP posteriors remains high for large-scale data. In this work, we propose Kernel-Eigen Pair Sparse Variational Gaussian Processes (KEP-SVGP) for building uncertainty-aware self-attention where the asymmetry of attention kernels is tackled by Kernel SVD (KSVD) and a reduced complexity is acquired. Through KEP-SVGP, i) the SVGP pair induced by the two sets of singular vectors from KSVD w.r.t. the attention kernel fully characterizes the asymmetry; ii) using only a small set of adjoint eigenfunctions from KSVD, the derivation of SVGP posteriors can be based on the inversion of a diagonal matrix containing singular values, contributing to a reduction in time complexity; iii) an evidence lower bound is derived so that variational parameters can be optimized towards this objective. Experiments verify our excellent performances and efficiency on in-distribution, distribution-shift and out-of-distribution benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL