Proposition from the Perspective of Chinese Language: A Chinese Proposition Classification Evaluation Benchmark

要約

既存の命題は、分類のために論理定数に依存することがよくあります。
英語などの低走性傾向にある西洋言語と比較して、中国語は日常的な表現において論理的な接続詞ではなく意味論的または論理的理解に依存することが多く、準走性の特徴を示します。
しかし、既存の研究ではこの問題にはほとんど注目されていません。
そして、これらの命題を正確に分類することは、自然言語の理解と推論にとって非常に重要です。
この論文では、明示的命題と暗黙的命題の概念を提唱し、言語学と論理に基づいた包括的なマルチレベル命題分類システムを提案します。
これに対応して、命題に関連するすべてのカテゴリをカバーする、複数のドメインから大規模な中国語命題データセット PEACE を作成します。
既存のモデルの中国語命題分類能力を評価し、その限界を探るために、ルールベースの手法、SVM、BERT、RoBERTA、ChatGPTなどのいくつかの異なる手法を使用してPEACEの評価を実施します。
結果は、命題の意味論的特徴を適切にモデル化することの重要性を示しています。
BERT は比較的優れた命題分類機能を備えていますが、クロスドメイン転送可能性に欠けています。
ChatGPT のパフォーマンスは低いですが、より多くの命題情報を提供することで分類能力を向上させることができます。
多くの問題はまだ解決には程遠く、さらなる研究が必要です。

要約(オリジナル)

Existing propositions often rely on logical constants for classification. Compared with Western languages that lean towards hypotaxis such as English, Chinese often relies on semantic or logical understanding rather than logical connectives in daily expressions, exhibiting the characteristics of parataxis. However, existing research has rarely paid attention to this issue. And accurately classifying these propositions is crucial for natural language understanding and reasoning. In this paper, we put forward the concepts of explicit and implicit propositions and propose a comprehensive multi-level proposition classification system based on linguistics and logic. Correspondingly, we create a large-scale Chinese proposition dataset PEACE from multiple domains, covering all categories related to propositions. To evaluate the Chinese proposition classification ability of existing models and explore their limitations, We conduct evaluations on PEACE using several different methods including the Rule-based method, SVM, BERT, RoBERTA, and ChatGPT. Results show the importance of properly modeling the semantic features of propositions. BERT has relatively good proposition classification capability, but lacks cross-domain transferability. ChatGPT performs poorly, but its classification ability can be improved by providing more proposition information. Many issues are still far from being resolved and require further study.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google