Revisiting Acceptability Judgements

要約

この研究では、大規模な言語モデルの文脈で言語の受容性を再検討します。
非インドヨーロッパ言語に対する初の大規模受容性データセットである CoLAC – 中国語言語受容性コーパスを紹介します。
これはネイティブ スピーカーによって検証されており、言語学者ラベルと群衆ラベルという 2 つのラベル セットが付属する最初の受容性データセットです。
私たちの実験では、CoLAC では最大の InstructGPT モデルでさえ偶然レベルでしか機能しない一方、ChatGPT のパフォーマンス (48.30 MCC) も教師ありモデル (59.03 MCC) や人間 (65.11 MCC) を大きく下回っていることが示されています。
言語間の伝達実験と詳細な言語分析を通じて、モデル予測の詳細な分析を提供し、言語の受容性に関する知識が類型的に異なる言語間で伝達され、事前トレーニングまで遡ることができることを初めて実証しました。
。
私たちのデータセットは \url{https://github.com/huhailinguist/CoLAC} で公開されています。

要約(オリジナル)

In this work, we revisit linguistic acceptability in the context of large language models. We introduce CoLAC – Corpus of Linguistic Acceptability in Chinese, the first large-scale acceptability dataset for a non-Indo-European language. It is verified by native speakers and is the first acceptability dataset that comes with two sets of labels: a linguist label and a crowd label. Our experiments show that even the largest InstructGPT model performs only at chance level on CoLAC, while ChatGPT’s performance (48.30 MCC) is also much below supervised models (59.03 MCC) and human (65.11 MCC). Through cross-lingual transfer experiments and fine-grained linguistic analysis, we provide detailed analysis of the model predictions and demonstrate for the first time that knowledge of linguistic acceptability can be transferred across typologically distinct languages, as well as be traced back to pre-training. Our dataset is publicly available at \url{https://github.com/huhailinguist/CoLAC}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google