Textual Aesthetics in Large Language Models

要約

画像の美しさは、画像生成の分野において重要な指標です。
しかし、テキストの美学については十分に検討されていません。
大規模言語モデル (LLM) が広く適用されるようになったことで、これまでの研究は主にコンテンツの正確さと応答の有用性に焦点を当ててきました。
それにもかかわらず、テキストの美しさを備えた応答を提供することも LLM にとって重要な要素であり、すっきりしたレイアウトを提供し、コンテンツの一貫性と一貫性を確保できます。
この作業では、美学を磨き上げるためのパイプラインを導入し、TexAes という名前のテキスト美学データセットの構築を支援します。
私たちは、コンテンツの正確さを損なうことなくテキストの美学を活用する、TAPO と呼ばれる、直接好みの最適化に基づいたテキストの美学を活用した微調整方法を提案します。
さらに、テキスト分析と画像分析に基づいて、それぞれテキストの美しさを評価する 2 つの手法を開発します。
私たちの実験では、テキストの美的データを使用し、TAPO 微調整手法を採用すると、美的スコアが向上するだけでなく、AlpacalEval や Anera-hard などの一般的な評価データセットのパフォーマンスも向上することが実証されました。

要約(オリジナル)

Image aesthetics is a crucial metric in the field of image generation. However, textual aesthetics has not been sufficiently explored. With the widespread application of large language models (LLMs), previous work has primarily focused on the correctness of content and the helpfulness of responses. Nonetheless, providing responses with textual aesthetics is also an important factor for LLMs, which can offer a cleaner layout and ensure greater consistency and coherence in content. In this work, we introduce a pipeline for aesthetics polishing and help construct a textual aesthetics dataset named TexAes. We propose a textual aesthetics-powered fine-tuning method based on direct preference optimization, termed TAPO, which leverages textual aesthetics without compromising content correctness. Additionally, we develop two evaluation methods for textual aesthetics based on text and image analysis, respectively. Our experiments demonstrate that using textual aesthetics data and employing the TAPO fine-tuning method not only improves aesthetic scores but also enhances performance on general evaluation datasets such as AlpacalEval and Anera-hard.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google