Aligning Brain Activity with Advanced Transformer Models: Exploring the Role of Punctuation in Semantic Processing

要約

この研究では、神経活動と高度な変換モデルの間の一致を調査し、テキスト理解における句読点の意味論的な重要性を強調しています。
Toneva と Wehbe によって元々提案された革新的なアプローチを利用して、神経活動データに対して 4 つの高度なトランスフォーマー モデル RoBERTa、DistiliBERT、ALBERT、および ELECTRA を評価します。
私たちの調査結果は、RoBERTa が神経活動と最も近い一致を示し、精度において BERT を上回っていることを示しています。
さらに、句読点の除去がモデルのパフォーマンスとニューラルアライメントに及ぼす影響を調査し、句読点がない場合に BERT の精度が向上することを明らかにしました。
この研究は、ニューラル ネットワークが言語をどのように表現するか、および人間の脳内の意味処理に対する句読点の影響の理解に貢献します。

要約(オリジナル)

This research examines the congruence between neural activity and advanced transformer models, emphasizing the semantic significance of punctuation in text understanding. Utilizing an innovative approach originally proposed by Toneva and Wehbe, we evaluate four advanced transformer models RoBERTa, DistiliBERT, ALBERT, and ELECTRA against neural activity data. Our findings indicate that RoBERTa exhibits the closest alignment with neural activity, surpassing BERT in accuracy. Furthermore, we investigate the impact of punctuation removal on model performance and neural alignment, revealing that BERT’s accuracy enhances in the absence of punctuation. This study contributes to the comprehension of how neural networks represent language and the influence of punctuation on semantic processing within the human brain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google