Neuromodulation Gated Transformer

要約

【タイトル】Neuromodulation Gated Transformer

【要約】
– Neuromodulation Gated Transformer（NGT）という新しいアーキテクチャを紹介する。
– このアーキテクチャは、乗算効果を介したトランスフォーマーにおけるニューロモジュレーションの簡単な実装である。
– ベースラインと比較して、SuperGLUEベンチマーク検証セットにおいて最高の平均パフォーマンスを示す。

要約(オリジナル)

We introduce a novel architecture, the Neuromodulation Gated Transformer (NGT), which is a simple implementation of neuromodulation in transformers via a multiplicative effect. We compare it to baselines and show that it results in the best average performance on the SuperGLUE benchmark validation sets.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI