Language Models Largely Exhibit Human-like Constituent Ordering Preferences

要約

英語の文章は通常、柔軟性のないものですが、\ `a-visの語順ですが、構成要素はしばしば注文においてはるかに多くのばらつきを示します。
1つの顕著な理論は、構成要素の秩序化は構成重量、つまり構成要素の長さまたは複雑さの尺度と直接相関するという概念を示しています。
NLPの最近の進歩は大規模な言語モデル（LLM）のパフォーマンスに大幅な利益をもたらしているが、これらのモデルがどのように言語を処理するか、そしてこれがどのようにこれを処理するかについては不明のままであるため、このような理論は自然言語処理（NLP）のコンテキストで興味深いものです。
人間の言語処理と比較します。
特に、LLMが構成要素の動きを持つ同じパターンを表示するかどうかという問題は、人間の言語でのシフトがいつ、どのように発生するかについての既存の理論に関する洞察を提供する可能性があります。
さまざまなLLMを多様な特性と比較して、4種類の構成要素の動きで広範なLLMパフォーマンスを評価します。
粒子の動きを予期せずに実行しているにもかかわらず、LLMは一般に、構成要素の順序に関する人間の好みと一致します。

要約(オリジナル)

Though English sentences are typically inflexible vis-\`a-vis word order, constituents often show far more variability in ordering. One prominent theory presents the notion that constituent ordering is directly correlated with constituent weight: a measure of the constituent’s length or complexity. Such theories are interesting in the context of natural language processing (NLP), because while recent advances in NLP have led to significant gains in the performance of large language models (LLMs), much remains unclear about how these models process language, and how this compares to human language processing. In particular, the question remains whether LLMs display the same patterns with constituent movement, and may provide insights into existing theories on when and how the shift occurs in human language. We compare a variety of LLMs with diverse properties to evaluate broad LLM performance on four types of constituent movement: heavy NP shift, particle movement, dative alternation, and multiple PPs. Despite performing unexpectedly around particle movement, LLMs generally align with human preferences around constituent ordering.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google