Personalised Language Modelling of Screen Characters Using Rich Metadata Annotations

要約

外部コンテキストに敏感な言語モデルは、特定の特性を持つ個人または特定の環境での発話パターンをより効果的に捕捉できます。
ただし、このような注釈を取得して活用するのは困難な場合があります。
この研究では、豊富な文字と映画の注釈を活用して、スケーラブルな方法で言語モデルをパーソナライズする方法を示します。
私たちの最良のモデルは、パラメーターが一致した言語モデルと比較して、混乱を最大 6.5% 軽減できます。
私たちのアプローチは、個々の話者の微調整データ (つまり、過去の対話) が利用可能な場合、話者固有の微調整と同等に機能します。
それに加えて、メタデータを介して表現される人口統計的特徴の組み合わせに依存して、そのようなデータがないシナリオにもよく一般化します。
私たちの調査結果は 2 つのコーパスにわたって一貫しており、そのうちの 1 つはこの論文の寄稿でもあります。 Cornell-rich には、コーネル映画ダイアログ コーパスの 863 人の話す登場人物に対する豊富な手動注釈が含まれています。これには、特徴的な引用や登場人物の説明などの機能が含まれています。
95% 以上の注目映画のメタデータ特徴が自動的に抽出されます。
最後に、どのアノテーションが複雑さを軽減するのに最も費用対効果が高いかを強調する費用対効果分析も示します。

要約(オリジナル)

Language models that are sensitive to external context can more effectively capture the speaking patterns of individuals with specific characteristics or in particular environments. However, obtaining and leveraging such annotations can be challenging. In this work, we show how to leverage rich character and film annotations to personalise language models in a scalable manner. Our best model can reduce perplexity by up to 6.5% compared to a parameter-matched language model. Our approach performs on par with speaker-specific fine-tuning when the fine-tuning data (i.e. past dialogue) for individual speakers is available. On top of that, it also generalises well to a scenario with no such data, relying on combinations of demographic characteristics expressed via metadata. Our findings are consistent across two corpora, one of which is also a contribution of this paper: Cornell-rich contains rich manual annotations for 863 speaking characters from the Cornell Movie Dialog Corpus, including features such as characteristic quotes and character descriptions, along with six automatically extracted metadata features for over 95% of the featured films. Finally, we also present a cost-benefit analysis highlighting which annotations are most cost-effective in reducing perplexity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google