Analyzing Syntactic Generalization Capacity of Pre-trained Language Models on Japanese Honorific Conversion

要約

日本語の敬語を使うには、文法的なルールだけでなく、社会的な関係などの文脈的な情報も必要となるため、難しい。しかし、学習済みの大規模言語モデル（LLM）が人間のように柔軟に日本語の敬語を扱えるかは、まだ不明である。そこで、会話に登場する人物の社会的関係性を考慮した敬語変換タスクを導入する。様々な文構造の問題テンプレートから日本語の敬語データセットを構築し、このタスクに対する主要なLLMの一つであるGPT-3の構文汎化能力を、微調整と促成学習の二つの設定の下で調査する。その結果、文脈を考慮した敬語変換タスクにおいて、ファインチューニングしたGPT-3は、プロンプトベースのものよりも優れた性能を発揮することがわかった。また、GPT-3は、直接話法のデータを用いた場合を除き、複合敬語文に対する全体的な統語汎化能力を示した。

要約(オリジナル)

Using Japanese honorifics is challenging because it requires not only knowledge of the grammatical rules but also contextual information, such as social relationships. It remains unclear whether pre-trained large language models (LLMs) can flexibly handle Japanese honorifics like humans. To analyze this, we introduce an honorific conversion task that considers social relationships among people mentioned in a conversation. We construct a Japanese honorifics dataset from problem templates of various sentence structures to investigate the syntactic generalization capacity of GPT-3, one of the leading LLMs, on this task under two settings: fine-tuning and prompt learning. Our results showed that the fine-tuned GPT-3 performed better in a context-aware honorific conversion task than the prompt-based one. The fine-tuned model demonstrated overall syntactic generalizability towards compound honorific sentences, except when tested with the data involving direct speech.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL