要約
ビジュアルストーリーテリングは、時間的に並べられた一連の画像が与えられると、自然言語のストーリーを生成する。このタスクはモデルにとって挑戦的であるだけでなく、何がストーリーを「良い」ものにするかについてコンセンサスが得られていないため、自動的な評価基準で評価することも非常に困難である。本論文では、過去の研究で強調された3つの重要な側面、すなわち視覚的根拠、一貫性、反復性に関して、人間の類似性という観点からストーリーの質を測定する新しい方法を紹介する。そして、この方法を用いて、いくつかのモデルによって生成されたストーリーを評価し、基礎モデルであるLLaVAが最も良い結果を得るが、50倍小さいビジュアルストーリーテリングモデルであるTAPMと比較するとわずかであることを示す。TAPMの視覚と言語のコンポーネントをアップグレードすることで、比較的少ないパラメータ数で競争力のあるパフォーマンスが得られる。その結果、「良い」ストーリーには、人間並みの視覚的根拠、一貫性、繰り返しが必要であることが示唆された。
要約(オリジナル)
Visual storytelling consists in generating a natural language story given a temporally ordered sequence of images. This task is not only challenging for models, but also very difficult to evaluate with automatic metrics since there is no consensus about what makes a story ‘good’. In this paper, we introduce a novel method that measures story quality in terms of human likeness regarding three key aspects highlighted in previous work: visual grounding, coherence, and repetitiveness. We then use this method to evaluate the stories generated by several models, showing that the foundation model LLaVA obtains the best result, but only slightly so compared to TAPM, a 50-times smaller visual storytelling model. Upgrading the visual and language components of TAPM results in a model that yields competitive performance with a relatively low number of parameters. Finally, we carry out a human evaluation study, whose results suggest that a ‘good’ story may require more than a human-like level of visual grounding, coherence, and repetition.
arxiv情報
| 著者 | Aditya K Surikuchi,Raquel Fernández,Sandro Pezzelle |
| 発行日 | 2024-07-05 14:48:15+00:00 |
| arxivサイト | arxiv_id(pdf) |