Larger Probes Tell a Different Story: Extending Psycholinguistic Datasets Via In-Context Learning

要約

言語モデルのプローブは、これらのモデルの特定の機能をテストするためによく使用されます。
ただし、調査ベンチマークが小さく、統計的検出力が不足している場合、そのような研究からの結論は限定される可能性があります。
この作業では、心理言語学の研究に触発された否定 (NEG-1500-SIMP) と役割反転 (ROLE-1500) のための新しい、より大きなデータセットを紹介します。
GPT3 を使用して既存の NEG-136 および ROLE-88 ベンチマークを大幅に拡張し、サイズを 18 および 44 文のペアからそれぞれ 750 に増やしました。
また、テンプレートベースの生成を使用して作成された拡張否定データセット (NEG-1500-SIMP-TEMP) の別のバージョンも作成します。
770 の文のペアで構成されています。
拡張されたデータセットで 22 のモデルを評価したところ、元の小規模なベンチマークと比較してモデルのパフォーマンスが 20 ～ 57% 低下しました。
BERT や ALBERT などのモデルで高レベルの否定感度が観察され、テスト セットが小さいために以前の調査結果がゆがめられた可能性があることが示されています。
最後に、GPT3 は ROLE-1500 のすべての例を生成しましたが、プローブ中にそれらの 24.6% しか解決できないことがわかりました。

要約(オリジナル)

Language model probing is often used to test specific capabilities of these models. However, conclusions from such studies may be limited when the probing benchmarks are small and lack statistical power. In this work, we introduce new, larger datasets for negation (NEG-1500-SIMP) and role reversal (ROLE-1500) inspired by psycholinguistic studies. We dramatically extend existing NEG-136 and ROLE-88 benchmarks using GPT3, increasing their size from 18 and 44 sentence pairs to 750 each. We also create another version of extended negation dataset (NEG-1500-SIMP-TEMP), created using template-based generation. It consists of 770 sentence pairs. We evaluate 22 models on the extended datasets, seeing model performance dip 20-57% compared to the original smaller benchmarks. We observe high levels of negation sensitivity in models like BERT and ALBERT demonstrating that previous findings might have been skewed due to smaller test sets. Finally, we observe that while GPT3 has generated all the examples in ROLE-1500 is only able to solve 24.6% of them during probing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google