Evaluating Diversity in Automatic Poetry Generation

要約

自然言語生成 (NLG)、そしてより一般的には生成 AI は、現在最も影響力のある研究分野の 1 つです。
自動詩生成などのクリエイティブ NLG は、この分野の魅力的なニッチ市場です。
これまでの研究のほとんどは、自動詩生成を評価する際のチューリング テストの形式 (人間は自動詩と人間が生成した詩を区別できるか) に焦点を当ててきましたが、私たちは、生成された詩の分布と人間の詩の分布を構造に沿って比較することで、自動生成された詩の多様性を評価しました。
、語彙的、意味論的および文体の次元、さまざまなモデル タイプ（単語対文字レベル、汎用 LLM 対詩固有のモデル）の評価（ごく最近の LLaMA3 を含む）、および微調整のタイプ（条件付き対無条件）。
現在の自動詩システムは、多面的にかなり多様性に欠けていることがわかりました。多くの場合、十分に韻を踏めず、意味的に均一すぎ、人間の詩の長さの分布にも一致しません。
しかし、私たちの実験では、スタイルコンディショニングとキャラクターレベルのモデリングが、私たちが調査するほぼすべての側面にわたって多様性を明らかに増加させることが明らかになりました。
私たちが特定した限界は、より真に多様な将来の詩生成モデルの基礎として役立つ可能性があります。

要約(オリジナル)

Natural Language Generation (NLG), and more generally generative AI, are among the currently most impactful research fields. Creative NLG, such as automatic poetry generation, is a fascinating niche in this area. While most previous research has focused on forms of the Turing test when evaluating automatic poetry generation – can humans distinguish between automatic and human generated poetry – we evaluate the diversity of automatically generated poetry, by comparing distributions of generated poetry to distributions of human poetry along structural, lexical, semantic and stylistic dimensions, assessing different model types (word vs. character-level, general purpose LLMs vs. poetry-specific models), including the very recent LLaMA3, and types of fine-tuning (conditioned vs. unconditioned). We find that current automatic poetry systems are considerably underdiverse along multiple dimensions – they often do not rhyme sufficiently, are semantically too uniform and even do not match the length distribution of human poetry. Our experiments reveal, however, that style-conditioning and character-level modeling clearly increases diversity across virtually all dimensions we explore. Our identified limitations may serve as the basis for more genuinely diverse future poetry generation models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google