Aligning Brain Activity with Advanced Transformer Models: Exploring the Role of Punctuation in Semantic Processing

要約

本研究では、テキスト理解における句読点の意味的意義を重視し、神経活動と高度な変換モデルの一致を検証する。TonevaとWehbeによって元々提案された革新的なアプローチを利用し、4つの高度な変換モデルRoBERTa、DistiliBERT、ALBERT、ELECTRAを神経活動データに対して評価する。その結果、RoBERTaが最も神経活動に近いアライメントを示し、BERTを上回る精度を示した。さらに、句読点の除去がモデルの性能と神経アライメントに与える影響を調査し、句読点がない場合にBERTの精度が向上することを明らかにした。本研究は、神経回路網がどのように言語を表現するのか、また、人間の脳内の意味処理に句読点が与える影響についての理解に貢献する。

要約(オリジナル)

This research examines the congruence between neural activity and advanced transformer models, emphasizing the semantic significance of punctuation in text understanding. Utilizing an innovative approach originally proposed by Toneva and Wehbe, we evaluate four advanced transformer models RoBERTa, DistiliBERT, ALBERT, and ELECTRA against neural activity data. Our findings indicate that RoBERTa exhibits the closest alignment with neural activity, surpassing BERT in accuracy. Furthermore, we investigate the impact of punctuation removal on model performance and neural alignment, revealing that BERT’s accuracy enhances in the absence of punctuation. This study contributes to the comprehension of how neural networks represent language and the influence of punctuation on semantic processing within the human brain.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL