Dynamic Bi-Elman Attention Networks (DBEAN): Dual-Directional Context-Aware Representation Learning for Enhanced Text Classification

要約

自然言語処理（NLP）の基本的なタスクであるテキスト分類は、テキストデータを事前定義されたラベルに分類することを目的としています。
従来の方法は、複雑な言語構造とセマンティックな依存関係に苦しんでいました。
深い学習の出現、特に再発性ニューラルネットワーク（RNNS）およびトランスベースのモデルは、微妙な特徴抽出とコンテキスト対応の予測を可能にすることにより、フィールドを大幅に進めました。
改善にもかかわらず、既存のモデルは、解釈可能性、計算効率、長距離のコンテキスト理解のバランスをとることで制限を示します。
このペーパーでは、双方向の時間モデリングを自己関節メカニズムと統合する注意ネットワーク（DBEAN）を備えた動的双方向のエルマンを提案します。
DBeanは、入力の重要なセグメントに重みを動的に割り当て、計算効率を維持しながらコンテキスト表現を改善します。

要約(オリジナル)

Text classification, a fundamental task in natural language processing (NLP), aims to categorize textual data into predefined labels. Traditional methods struggled with complex linguistic structures and semantic dependencies. The advent of deep learning, particularly recurrent neural networks (RNNs) and Transformer-based models, has significantly advanced the field by enabling nuanced feature extraction and context-aware predictions. Despite improvements, existing models exhibit limitations in balancing interpretability, computational efficiency, and long-range contextual understanding. This paper proposes the Dynamic Bidirectional Elman with Attention Network (DBEAN), which integrates bidirectional temporal modelling with self-attention mechanisms. DBEAN dynamically assigns weights to critical segments of input, improving contextual representation while maintaining computational efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google