ArtGPT-4: Towards Artistic-understanding Large Vision-Language Models with Enhanced Adapter

要約

近年、大規模言語モデルの進歩は目覚ましく、ChatGPT などのモデルはさまざまな言語タスクにおいて並外れた熟練度を示しています。
数十億のパラメータを持つ大規模なモデルの事前トレーニングは、主に効果的なトレーニングに見合った規模のデータセットが不足しているために、大きな課題を引き起こします。
それにもかかわらず、MiniGPT-4 や LLaVA などのモデルで証明されているように、より少ないパラメーター セットを使用してこれらの事前トレーニング済みモデルを微調整する方法など、革新的な戦略が登場しています。
さまざまな分野での可能性があるにもかかわらず、これらのモデルは芸術的なイメージの理解において依然として限界があります。
彼らはまだ、アート画像の複雑なニュアンスを完全に把握したり、人間の知覚に似た方法でそれらが呼び起こす感情を客観的に表現したりすることはできません。
この研究では、芸術的理解における現代モデルの欠陥に対処するために調整された先駆的な大規模ビジョン言語モデルである ArtGPT-4 を紹介します。
ArtGPT-4 は、Tesla A100 デバイスを使用して画像とテキストのペアのトレーニングをわずか 2 時間で受け、データセットは約 0.52M のエントリで構成されました。
印象的なことに、このモデルは芸術的な理解を持って画像をレンダリングし、人間の解釈を反映して、画像が引き起こす感情を伝えることができます。
さらに、この研究は、視覚言語モデルの有効性を評価するために設計された独自のデータセットを提示します。
その後の評価では、ArtGPT-4 は ArtEmis および ArtEmis-v2.0 データセットで最先端のパフォーマンスを達成しただけでなく、この研究で紹介された確立されたベンチマークも上回り、プロのアーティストの記述よりもわずか 0.15 ポイント遅れていました。
6 段階評価で。
コードと事前トレーニングされたモデルは、https://huggingface.co/Tyrannosaurus/ArtGPT-4 からアクセスできます。

要約(オリジナル)

In recent years, advancements in large language models have been remarkable, with models such as ChatGPT demonstrating exceptional proficiency in diverse linguistic tasks. The pre-training of large models with billions of parameters, poses a formidable challenge, primarily due to the scarcity of datasets of a commensurate scale for effective training. Nevertheless, innovative strategies have emerged, including methods to fine-tune these pre-trained models using fewer parameters set, as evidenced by models like MiniGPT-4 and LLaVA. Despite their potential in various domains, these models remain limited in their understanding of artistic imagery. They have yet to fully grasp the intricate nuances of art images or to provide an objective articulation of the emotions they evoke, in a manner akin to human perception. This work introduces ArtGPT-4, a pioneering large vision-language model tailored to address the deficiencies of contemporary models in artistic comprehension. ArtGPT-4 underwent training on image-text pairs utilizing a Tesla A100 device in a mere 2 hours, with a dataset comprising approximately 0.52M entries. Impressively, the model can render images with an artistic-understanding and convey the emotions they inspire, mirroring human interpretation. Additionally, this work presents a unique dataset designed to evaluate the efficacy of vision-language models. In subsequent evaluations, ArtGPT-4 not only achieved state-of-the-art performance on the ArtEmis and ArtEmis-v2.0 datasets but also exceeded the established benchmarks introduced in This study, lagging behind professional artists’ descriptions by a negligible 0.15 points on a 6-point scale. The code and the pre-trained model are accessible in https://huggingface.co/Tyrannosaurus/ArtGPT-4.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google