TPPoet: Transformer-Based Persian Poem Generation using Minimal Data and Advanced Decoding Techniques

要約

近年の言語モデル（LM）の進歩は、芸術や人文科学に関連するタスクにおいて大きな効果を発揮している。LMは幅広い自然言語処理タスクで卓越した性能を発揮しているが、小規模なデータセットでの利用や、より創造的な人間の能力を再現する能力に関連する顕著な課題がある。本研究では、変換器アーキテクチャを用いたペルシア語の古典詩生成モデルを、事前学習なしで特殊なデータセット上で学習させることで、これらの課題を解決することを目指す。さらに、生成された詩の一貫性と意味性を向上させ、多様性と品質のトレードオフを効果的に管理するための新しいデコーディング手法を提案する。さらに、我々の学習アプローチと提案する復号化手法の結果を、包括的な自動評価と人間評価によって評価し、他の復号化手法や既存のペルシア語大規模言語モデル（LLM）と比較して、首尾一貫した意味のある詩を生成する優れた能力を示した。

要約(オリジナル)

Recent advances in language models (LMs), have demonstrated significant efficacy in tasks related to the arts and humanities. While LMs have exhibited exceptional performance across a wide range of natural language processing tasks, there are notable challenges associated with their utilization on small datasets and their ability to replicate more creative human capacities. In this study, we aim to address these challenges by training a Persian classical poetry generation model using a transformer architecture on a specialized dataset with no pretraining. Additionally, we propose a novel decoding method to enhance coherence and meaningfulness in the generated poetry, effectively managing the tradeoff between diversity and quality. Furthermore, the results of our training approach and the proposed decoding method are evaluated through comprehensive set of automatic and human evaluations and showed its superior capability to generate coherent and meaningful poetry in compare to other decoding methods and an existing Persian large language model (LLM).

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL