Can AI Write Classical Chinese Poetry like Humans? An Empirical Study Inspired by Turing Test

要約

創造性や感情といった人間の本質は決して機械には真似できないと主張する人もいます。
この論文は、AI も人間と同じように詩を作ることができるのかという重要な疑問を研究することで、この信念に疑問を投げかけています。
この質問に答えるために、AI の詩を書く能力を評価するためのチューリング テストにヒントを得た新しい評価フレームワークである ProFTAP を提案します。
これを現在の大規模言語モデル (LLM) に適用したところ、最近の LLM は実際に人間の詩とほとんど区別できない古典的な漢詩を書く能力を備えていることがわかりました。
また、さまざまなオープンソース LLM がこのタスクにおいて GPT-4 よりも優れたパフォーマンスを発揮できることも明らかにします。

要約(オリジナル)

Some argue that the essence of humanity, such as creativity and sentiment, can never be mimicked by machines. This paper casts doubt on this belief by studying a vital question: Can AI compose poetry as well as humans? To answer the question, we propose ProFTAP, a novel evaluation framework inspired by Turing test to assess AI’s poetry writing capability. We apply it on current large language models (LLMs) and find that recent LLMs do indeed possess the ability to write classical Chinese poems nearly indistinguishable from those of humans. We also reveal that various open-source LLMs can outperform GPT-4 on this task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google