TPPoet: Transformer-Based Persian Poem Generation using Minimal Data and Advanced Decoding Techniques

要約

言語モデル (LM) の最近の進歩は、芸術や人文科学に関連するタスクにおいて大きな有効性を示しています。
LM は、幅広い自然言語処理タスクにわたって優れたパフォーマンスを示していますが、小規模なデータセットでの利用や、より創造的な人間の能力を再現する能力に関連した顕著な課題があります。
この研究では、事前トレーニングなしで特殊なデータセット上でトランスフォーマー アーキテクチャを使用してペルシャの古典詩生成モデルをトレーニングすることで、これらの課題に対処することを目的としています。
さらに、生成された詩の一貫性と意味を強化し、多様性と品質の間のトレードオフを効果的に管理する新しい復号化方法を提案します。
さらに、私たちのトレーニングアプローチの結果と提案された復号方法は、自動評価と人間による評価の包括的なセットを通じて評価され、他の復号方法や既存のペルシア語大規模言語モデル（LLM）と比較して、一貫性のある意味のある詩を生成する優れた能力を示しました。
。

要約(オリジナル)

Recent advances in language models (LMs), have demonstrated significant efficacy in tasks related to the arts and humanities. While LMs have exhibited exceptional performance across a wide range of natural language processing tasks, there are notable challenges associated with their utilization on small datasets and their ability to replicate more creative human capacities. In this study, we aim to address these challenges by training a Persian classical poetry generation model using a transformer architecture on a specialized dataset with no pretraining. Additionally, we propose a novel decoding method to enhance coherence and meaningfulness in the generated poetry, effectively managing the tradeoff between diversity and quality. Furthermore, the results of our training approach and the proposed decoding method are evaluated through comprehensive set of automatic and human evaluations and showed its superior capability to generate coherent and meaningful poetry in compare to other decoding methods and an existing Persian large language model (LLM).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google