Larger Probes Tell a Different Story: Extending Psycholinguistic Datasets Via In-Context Learning

要約

言語モデルのプローブは、モデルの特定の機能をテストするためによく使用されます。
ただし、調査ベンチマークが小さく、統計的検出力が不足している場合、そのような研究から得られる結論は限定される可能性があります。
この研究では、心理言語研究からインスピレーションを得た、否定 (NEG-1500-SIMP) と役割逆転 (ROLE-1500) のための新しい大規模なデータセットを導入します。
GPT3 を使用して既存の NEG-136 および ROLE-88 ベンチマークを大幅に拡張し、そのサイズを 18 センテンス ペアと 44 センテンス ペアからそれぞれ 750 センテンス ペアに増加しました。
また、テンプレートベースの生成を使用して作成された、拡張否定データセット (NEG-1500-SIMP-TEMP) の別のバージョンも作成します。
770 の文ペアで構成されます。
拡張データセットで 22 のモデルを評価したところ、元の小規模なベンチマークと比較してモデルのパフォーマンスが 20 ～ 57% 低下していることがわかりました。
BERT や ALBERT などのモデルで高いレベルの否定感度が観察され、テスト セットが小さいために以前の結果が歪んでいた可能性があることが示されています。
最後に、GPT3 は ROLE-1500 のすべての例を生成しましたが、プローブ中にそれらの 24.6% しか解決できないことがわかりました。
データセットとコードは $\href{https://github.com/text-machine-lab/extending_psycholinguistic_dataset}{Github}$ で入手できます。

要約(オリジナル)

Language model probing is often used to test specific capabilities of models. However, conclusions from such studies may be limited when the probing benchmarks are small and lack statistical power. In this work, we introduce new, larger datasets for negation (NEG-1500-SIMP) and role reversal (ROLE-1500) inspired by psycholinguistic studies. We dramatically extend existing NEG-136 and ROLE-88 benchmarks using GPT3, increasing their size from 18 and 44 sentence pairs to 750 each. We also create another version of extended negation dataset (NEG-1500-SIMP-TEMP), created using template-based generation. It consists of 770 sentence pairs. We evaluate 22 models on the extended datasets, seeing model performance dip 20-57% compared to the original smaller benchmarks. We observe high levels of negation sensitivity in models like BERT and ALBERT demonstrating that previous findings might have been skewed due to smaller test sets. Finally, we observe that while GPT3 has generated all the examples in ROLE-1500 is only able to solve 24.6% of them during probing. The datasets and code are available on $\href{https://github.com/text-machine-lab/extending_psycholinguistic_dataset}{Github}$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google