Punctuation Restoration Improves Structure Understanding without Supervision

要約

言語モデリングやノイズ除去などの教師なし学習目標は、自然言語理解から会話タスクに至るさまざまな下流アプリケーションを実行する事前トレーニング済みモデルの作成において重要な部分を占めます。
しかし、最近の大規模言語モデルの優れた会話能力にもかかわらず、テキスト内の構文構造または意味構造を捉える能力は遅れています。
私たちは、言語パフォーマンスと機械の能力の不一致は、現在一般的な事前トレーニング目標を備えた計算システムへの言語構造の知識の伝達が不十分であることが原因であると仮説を立てています。
私たちは、句読点の復元が、固有表現認識、オープン情報抽出、チャンキング、品詞タグ付けなどの構造関連タスクにおける配布内および配布外のパフォーマンスの向上につながることを示します。
句読点の復元は、構造の理解を向上させ、より堅牢な構造を意識した自然言語表現を生み出す効果的な学習目標です。

要約(オリジナル)

Unsupervised learning objectives like language modeling and de-noising constitute a significant part in producing pre-trained models that perform various downstream applications from natural language understanding to conversational tasks. However, despite impressive conversational capabilities of recent large language model, their abilities to capture syntactic or semantic structure within text lag behind. We hypothesize that the mismatch between linguistic performance and competence in machines is attributable to insufficient transfer of linguistic structure knowledge to computational systems with currently popular pre-training objectives. We show that punctuation restoration transfers to improvements in in- and out-of-distribution performance on structure-related tasks like named entity recognition, open information extraction, chunking, and part-of-speech tagging. Punctuation restoration is an effective learning objective that can improve structure understanding and yield a more robust structure-aware representations of natural language.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google