Evaluating LLMs on Chinese Topic Constructions: A Research Proposal Inspired by Tian et al. (2024)

要約

このペーパーでは、島の制約に対する感受性に焦点を当てた中国のトピック構造に関する大規模な言語モデル（LLM）を評価するためのフレームワークを提案します。
Tian et alからインスピレーションを得る。
（2024）、マンダリン構文のLLMSの文法的知識をテストするための実験設計の概要を説明します。
まだ実験は行われていませんが、この提案は、将来の研究の基盤を提供し、方法論に関するフィードバックを招待することを目的としています。

要約(オリジナル)

This paper proposes a framework for evaluating large language models (LLMs) on Chinese topic constructions, focusing on their sensitivity to island constraints. Drawing inspiration from Tian et al. (2024), we outline an experimental design for testing LLMs’ grammatical knowledge of Mandarin syntax. While no experiments have been conducted yet, this proposal aims to provide a foundation for future studies and invites feedback on the methodology.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google