What does BERT learn about prosody?

要約

タイトル: BERTはどのように韻律を学ぶのか？
要約:
– 言語モデルは、プロソディを含む多くの自然言語処理タスクで最先端の結果を達成することができた。
– モデルデザインはトレーニング中に事前に定義された言語的ターゲットを規定するものではなく、言語の一般的表現を学ぶことを目的としているため、モデルが暗黙的に捕捉する表現を分析および解釈することは、解釈性とモデルのパフォーマンスのギャップを埋める上で重要である。
– いくつかの研究は、モデルが捕捉した言語情報を探求しており、その表現能力に関する洞察を提供しているが、現在の研究は、モデルが学習する言語の構造情報の一部にプロソディが含まれているかどうかを探求していない。
– この研究では、BERTを用いて、異なるレイヤーで捉えられた表現を調査する一連の実験を行った。
– 結果は、韻律の顕著性に関する情報が多数のレイヤーにまたがって存在することを示しており、主に中間レイヤーに集中していることがわかり、BERTは主に構文的および意味的情報に依存していることを示唆している。

要約(オリジナル)

Language models have become nearly ubiquitous in natural language processing applications achieving state-of-the-art results in many tasks including prosody. As the model design does not define predetermined linguistic targets during training but rather aims at learning generalized representations of the language, analyzing and interpreting the representations that models implicitly capture is important in bridging the gap between interpretability and model performance. Several studies have explored the linguistic information that models capture providing some insights on their representational capacity. However, the current studies have not explored whether prosody is part of the structural information of the language that models learn. In this work, we perform a series of experiments on BERT probing the representations captured at different layers. Our results show that information about prosodic prominence spans across many layers but is mostly focused in middle layers suggesting that BERT relies mostly on syntactic and semantic information.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI