A Dual-Directional Context-Aware Test-Time Learning for Text Classification

要約

テキスト分類は、テキストを事前定義されたカテゴリに割り当てます。
従来の方法は、複雑な構造と長距離の依存関係と闘っています。
再発性ニューラルネットワークとトランスモデルを使用した深い学習により、特徴抽出とコンテキスト認識が向上しました。
ただし、これらのモデルは、解釈可能性、効率性、コンテキスト範囲を依然としてトレードオフしています。
動的な双方向のエルマン注意ネットワーク（DBEAN）を提案します。
dbeanは、双方向の時間モデリングと自己触媒を組み合わせています。
重要な入力セグメントを動的に重み付けし、計算効率を維持します。

要約(オリジナル)

Text classification assigns text to predefined categories. Traditional methods struggle with complex structures and long-range dependencies. Deep learning with recurrent neural networks and Transformer models has improved feature extraction and context awareness. However, these models still trade off interpretability, efficiency and contextual range. We propose the Dynamic Bidirectional Elman Attention Network (DBEAN). DBEAN combines bidirectional temporal modeling and self-attention. It dynamically weights critical input segments and preserves computational efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google