Fine-tuned vs. Prompt-tuned Supervised Representations: Which Better Account for Brain Language Representations?

要約

人間の脳の言語表現の根底にあるアルゴリズムを解読するために、これまでの研究では、言語入力に対する脳の反応を、NLUタスクで微調整された事前訓練済み人工ニューラルネットワーク（ANN）モデルを使って調べてきた。しかし、完全なファインチューニングは一般的にパラメトリック空間全体を更新し、事前に訓練された特徴を歪めるため、脳の頑健なマルチタスク学習能力とは認知的に矛盾する。これに対してプロンプトチューニングは、事前に訓練された重みを保護し、タスクに適合するようにタスク固有の埋め込みを学習する。プロンプトチューニングは、ファインチューニングよりも脳の言語表象をよりよく説明する表象を生成できるのだろうか？もしそうだとすれば、どのようなNLUタスクが、事前に訓練されたモデルを、人間の脳で表現された情報のデコードに導くのだろうか？我々は、神経デコーディング（刺激によって誘発される脳活動から言語刺激を予測する）において、プロンプトチューニングされた表現とファインチューニングされた表現を比較することによって、これらの疑問を調査した。その結果、10個のNLUタスクのいずれにおいても、完全なファインチューニングがプロンプトチューニングを有意に上回った。さらに、きめ細かな概念の意味を扱うタスクは、他のタスク、特に構文チャンキングタスクよりも、脳の活性化パターンをよりよくデコードする表現をもたらすことが確認された。このことは、私たちの脳が言語を表現する際に、浅い構文情報よりも細かい概念情報をより多く符号化していることを示している。

要約(オリジナル)

To decipher the algorithm underlying the human brain’s language representation, previous work probed brain responses to language input with pre-trained artificial neural network (ANN) models fine-tuned on NLU tasks. However, full fine-tuning generally updates the entire parametric space and distorts pre-trained features, cognitively inconsistent with the brain’s robust multi-task learning ability. Prompt-tuning, in contrast, protects pre-trained weights and learns task-specific embeddings to fit a task. Could prompt-tuning generate representations that better account for the brain’s language representations than fine-tuning? If so, what kind of NLU task leads a pre-trained model to better decode the information represented in the human brain? We investigate these questions by comparing prompt-tuned and fine-tuned representations in neural decoding, that is predicting the linguistic stimulus from the brain activities evoked by the stimulus. We find that on none of the 10 NLU tasks, full fine-tuning significantly outperforms prompt-tuning in neural decoding, implicating that a more brain-consistent tuning method yields representations that better correlate with brain data. Moreover, we identify that tasks dealing with fine-grained concept meaning yield representations that better decode brain activation patterns than other tasks, especially the syntactic chunking task. This indicates that our brain encodes more fine-grained concept information than shallow syntactic information when representing languages.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL