Evaluating Diversity in Automatic Poetry Generation

要約

自然言語生成 (NLG)、そしてより一般的には生成 AI は、現在最も影響力のある研究分野の 1 つです。
自動詩生成などのクリエイティブ NLG は、この分野の魅力的なニッチ市場です。
これまでの研究のほとんどは、自動詩生成を評価する際のチューリング テストの形式 (人間は自動詩と人間が生成した詩を区別できるか) に焦点を当ててきましたが、私たちは、詩の分布を比較することによって、自動生成された詩 (四行詩に焦点を当てて) の多様性を評価します。
非常に最近の LLaMA3-8B などのさまざまなモデル タイプ (単語対文字レベル、汎用 LLM 対詩固有のモデル) を評価し、構造的、語彙的、意味論的、文体の次元に沿って人間の詩の分布に合わせて詩を生成しました。
微調整（条件付きと無条件）の調整。
現在の自動詩システムは、多面的にかなり多様性に欠けていることがわかりました。多くの場合、十分に韻を踏めず、意味的に均一すぎ、人間の詩の長さの分布にも一致しません。
しかし、私たちの実験では、スタイルコンディショニングとキャラクターレベルのモデリングが、私たちが調査するほぼすべての側面にわたって多様性を明らかに増加させることが明らかになりました。
私たちが特定した限界は、より真に多様な将来の詩生成モデルの基礎として役立つ可能性があります。

要約(オリジナル)

Natural Language Generation (NLG), and more generally generative AI, are among the currently most impactful research fields. Creative NLG, such as automatic poetry generation, is a fascinating niche in this area. While most previous research has focused on forms of the Turing test when evaluating automatic poetry generation — can humans distinguish between automatic and human generated poetry — we evaluate the diversity of automatically generated poetry (with a focus on quatrains), by comparing distributions of generated poetry to distributions of human poetry along structural, lexical, semantic and stylistic dimensions, assessing different model types (word vs. character-level, general purpose LLMs vs. poetry-specific models), including the very recent LLaMA3-8B, and types of fine-tuning (conditioned vs. unconditioned). We find that current automatic poetry systems are considerably underdiverse along multiple dimensions — they often do not rhyme sufficiently, are semantically too uniform and even do not match the length distribution of human poetry. Our experiments reveal, however, that style-conditioning and character-level modeling clearly increases diversity across virtually all dimensions we explore. Our identified limitations may serve as the basis for more genuinely diverse future poetry generation models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google