COOL, a Context Outlooker, and its Application to Question Answering and other Natural Language Processing Tasks

要約

Vision outlookerは、局所的な注意の一種であるoutlook attentionを追加することで、自己注意メカニズムを実装したvision transformerの性能を向上させる。 自然言語処理では、コンピュータビジョンや他の領域と同様に、変換器ベースのモデルがほとんどの処理タスクの最先端を構成しています。この領域でも、多くの著者が局所的な文脈の重要性を主張・実証している。 我々は、自然言語処理のための見通し注意機構、COOLを発表する。COOLは、変換器ベースのモデルの自己注意層の上に追加され、単語の近接性と、既存のアプローチで使用される動的畳み込みよりも多くのペアワイズ制約を考慮して、局所構文コンテキストを符号化する。 COOLの実装と異なる変換器ベースのモデルの比較実証的性能評価により、質問応答を含む様々な自然言語処理タスクにおいて、元のモデルのみを用いたベースラインよりも改善する機会があることが確認された。提案アプローチは、いくつかのタスクにおいて、既存の最先端手法と競合する性能を達成した。

要約(オリジナル)

Vision outlooker improves the performance of vision transformers, which implements a self-attention mechanism by adding an outlook attention, a form of local attention. In natural language processing, as has been the case in computer vision and other domains, transformer-based models constitute the state-of-the-art for most processing tasks. In this domain, too, many authors have argued and demonstrated the importance of local context. We present an outlook attention mechanism, COOL, for natural language processing. COOL, added on top of the self-attention layers of a transformer-based model, encodes local syntactic context considering word proximity and more pair-wise constraints than dynamic convolution used by existing approaches. A comparative empirical performance evaluation of an implementation of COOL with different transformer-based models confirms the opportunity for improvement over a baseline using the original models alone for various natural language processing tasks, including question answering. The proposed approach achieves competitive performance with existing state-of-the-art methods on some tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL