For GPT-4 as with Humans: Information Structure Predicts Acceptability of Long-Distance Dependencies

要約

どんなLMでも自然言語を理解しているか、信頼できるメタリングスティックな判断を生み出すかについては、まだ議論されています。
さらに、LMSが言語学者によって提案されている形と機能の間の微妙な関係を表現し、尊重できることは、比較的少ない作業を実証しています。
ここでは、最近の研究で確立された特定の関係に焦点を当てています。標準文の情報構造に関する英語の話者の判断は、対応する「長距離依存性」構造に関する独立して収集された受容性評価を予測します。
LMがこの関係をキャプチャするかどうかを判断するために、人間と新しい拡張機能と同じタスクでGPT-4をプローブします。
研究2では、基本文の情報構造を操作し、因果関係を確認します。コンテキスト文の構成要素の卓越性を高めると、LDD構造のその後の受容性評価が増加します。
この調査結果は、自然とGPT-4生成された英語、および情報構造と構文の間の厳しい関係を示唆しており、それがさらなる調査を請います。

要約(オリジナル)

It remains debated how well any LM understands natural language or generates reliable metalinguistic judgments. Moreover, relatively little work has demonstrated that LMs can represent and respect subtle relationships between form and function proposed by linguists. We here focus on a particular such relationship established in recent work: English speakers’ judgments about the information structure of canonical sentences predicts independently collected acceptability ratings on corresponding ‘long distance dependency’ [LDD] constructions, across a wide array of base constructions and multiple types of LDDs. To determine whether any LM captures this relationship, we probe GPT-4 on the same tasks used with humans and new extensions.Results reveal reliable metalinguistic skill on the information structure and acceptability tasks, replicating a striking interaction between the two, despite the zero-shot, explicit nature of the tasks, and little to no chance of contamination [Studies 1a, 1b]. Study 2 manipulates the information structure of base sentences and confirms a causal relationship: increasing the prominence of a constituent in a context sentence increases the subsequent acceptability ratings on an LDD construction. The findings suggest a tight relationship between natural and GPT-4 generated English, and between information structure and syntax, which begs for further exploration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google