Social Media Ready Caption Generation for Brands

要約

ソーシャルメディア広告は、魅力的なキャプションと写真やロゴで消費者を惹きつけることを目的とした、ブランドマーケティングの鍵となるものである。これまでの研究では、一般的な画像に対するキャプションの生成に焦点が当てられてきたが、ブランドのパーソナリティをソーシャルメディアのキャプションに組み込むことは未解明である。ブランドの個性は、消費者の行動や社会的相互作用に影響を与えることが示されており、マーケティング戦略の重要な側面であることが証明されている。現在のオープンソースのマルチモーダルLLMは、このタスクに直接適していない。そこで我々は、ブランドがイメージやブランドの個性に沿った魅力的なソーシャルメディアキャプションを作成するのを支援するパイプラインソリューションを提案する。私たちのアーキテクチャは2つの部分から構成されています。a最初の部分は、ブランドがオンラインに投稿したい画像を取り込み、平易な英語のキャプションを与える画像キャプションモデルを含んでいます。b2番目の部分は、生成されたキャプションをターゲットのブランドパーソナリティと共に取り込み、キャッチーなパーソナリティに沿ったソーシャルメディアキャプションを出力します。ブランドパーソナリティと共に、我々のシステムは、ユーザーがキャプションに含ませたいハッシュタグ、インスタグラムハンドル、URL、名前付きエンティティを提供する柔軟性も提供し、キャプションをソーシャルメディアハンドルとより意味的に関連させる。様々なベースラインとの比較評価により、質的にも量的にも我々のアプローチの有効性が実証されている。

要約(オリジナル)

Social media advertisements are key for brand marketing, aiming to attract consumers with captivating captions and pictures or logos. While previous research has focused on generating captions for general images, incorporating brand personalities into social media captioning remains unexplored. Brand personalities are shown to be affecting consumers’ behaviours and social interactions and thus are proven to be a key aspect of marketing strategies. Current open-source multimodal LLMs are not directly suited for this task. Hence, we propose a pipeline solution to assist brands in creating engaging social media captions that align with the image and the brand personalities. Our architecture is based on two parts: a the first part contains an image captioning model that takes in an image that the brand wants to post online and gives a plain English caption; b the second part takes in the generated caption along with the target brand personality and outputs a catchy personality-aligned social media caption. Along with brand personality, our system also gives users the flexibility to provide hashtags, Instagram handles, URLs, and named entities they want the caption to contain, making the captions more semantically related to the social media handles. Comparative evaluations against various baselines demonstrate the effectiveness of our approach, both qualitatively and quantitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL