False perspectives on human language: why statistics needs linguistics

要約

人間の言語の性質については、対立する 2 つの当事者間に鋭い緊張が存在します。統計的な表面分布、特にサプライズなどの手段を使用することで、言語処理の理解が深まると考える人々と、離散的な階層構造が言語情報を実装すると考える人々です。
構文的なものなどはより良いツールです。
この論文では、この二分法が誤りであることを示します。
構造的モデルまたは非構造的モデルのいずれかに基づいて統計的尺度を定義できるという事実に依存して、構文構造を反映する驚きのモデルのみが言語の規則性を説明できるという経験的証拠を提供します。

要約(オリジナル)

A sharp tension exists about the nature of human language between two opposite parties: those who believe that statistical surface distributions, in particular using measures like surprisal, provide a better understanding of language processing, vs. those who believe that discrete hierarchical structures implementing linguistic information such as syntactic ones are a better tool. In this paper, we show that this dichotomy is a false one. Relying on the fact that statistical measures can be defined on the basis of either structural or non-structural models, we provide empirical evidence that only models of surprisal that reflect syntactic structure are able to account for language regularities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google