Training language models to summarize narratives improves brain alignment

要約

言語をより深く理解するシステムを構築することは、自然言語処理 (NLP) の中心的な目標の 1 つです。
この目標に向けて、最近の作業では、長いコンテキスト全体を統合することによって最も重要な情報を抽出する必要がある物語のデータセットで言語モデルをトレーニングし始めています。
ただし、これらのモデルがテキストのより深い理解を学習しているのか、それともモデルがタスクを完了するためにヒューリスティックを学習しているだけなのかは、まだ未解決の問題です。
この研究では、複雑な言語を真に理解する唯一の言語処理システムである人間の脳に目を向けることにより、これをさらに調査します。
より深い物語の理解のために言語モデルをトレーニングすると、人間の脳活動との整合性が改善されたより豊かな表現が得られることを示しています。
さらに、脳のアライメントの改善は、他の談話機能よりもキャラクター名の方が大きいことがわかりました。これは、これらのモデルが重要な物語の要素を学習していることを示しています。
まとめると、これらの結果は、この種のトレーニングが実際に言語理解の深化につながることを示唆しています。
これらの発見は、脳と NLP の連携の背後にある重要な要因のいくつかを明らかにすることで認知神経科学に、また言語モデリングを超えて長期的な文脈の理解を改善できることを強調することで NLP に影響を与えます。

要約(オリジナル)

Building systems that achieve a deeper understanding of language is one of the central goals of natural language processing (NLP). Towards this goal, recent works have begun to train language models on narrative datasets which require extracting the most critical information by integrating across long contexts. However, it is still an open question whether these models are learning a deeper understanding of the text, or if the models are simply learning a heuristic to complete the task. This work investigates this further by turning to the one language processing system that truly understands complex language: the human brain. We show that training language models for deeper narrative understanding results in richer representations that have improved alignment to human brain activity. We further find that the improvements in brain alignment are larger for character names than for other discourse features, which indicates that these models are learning important narrative elements. Taken together, these results suggest that this type of training can indeed lead to deeper language understanding. These findings have consequences both for cognitive neuroscience by revealing some of the significant factors behind brain-NLP alignment, and for NLP by highlighting that understanding of long-range context can be improved beyond language modeling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google