Demystifying Visual Features of Movie Posters for Multi-Label Genre Identification

要約

映画業界では、映画ポスターは何十年にもわたって広告やマーケティングに不可欠な要素であり、オンライン、ソーシャル メディア、OTT プラットフォームを通じてデジタル ポスターの形で今日でも重要な役割を果たし続けています。
通常、映画のポスターは、潜在的な視聴者を引き付けるために不可欠な、ジャンル、ビジュアル スタイル/トーン、雰囲気、ストーリーラインの手がかり/テーマなどの映画の本質を効果的に宣伝し、伝えることができます。
映画のジャンルを特定することは、多くの場合、対象となる視聴者に映画を推奨する際に重要な実用的用途を持ちます。
映画のジャンル識別に関するこれまでの研究は、映画の公開後にほとんどアクセスできる字幕、あらすじ、映画のシーンに限定されていました。
ポスターには通常、大衆の関心を集めるために、公開前の暗黙の情報が含まれています。
この論文では、映画に関する追加のテキスト/メタデータ情報の助けを借りずに、映画のポスター画像のみからマルチラベルの自動ジャンル識別に取り組んでいます。これは、この種の試みとしては最も初期のものの 1 つです。
ここでは、ポスターのみから映画のジャンルを特定するための確率モジュールを備えたディープ トランスフォーマー ネットワークを紹介します。
実験分析のために、インターネット ムービー データベース (IMDb) から 13 ジャンルの 13,882 枚のポスターを入手しました。モデルのパフォーマンスは有望で、一部の主要な現代建築を上回るパフォーマンスさえありました。

要約(オリジナル)

In the film industry, movie posters have been an essential part of advertising and marketing for many decades, and continue to play a vital role even today in the form of digital posters through online, social media and OTT platforms. Typically, movie posters can effectively promote and communicate the essence of a film, such as its genre, visual style/ tone, vibe and storyline cue/ theme, which are essential to attract potential viewers. Identifying the genres of a movie often has significant practical applications in recommending the film to target audiences. Previous studies on movie genre identification are limited to subtitles, plot synopses, and movie scenes that are mostly accessible after the movie release. Posters usually contain pre-release implicit information to generate mass interest. In this paper, we work for automated multi-label genre identification only from movie poster images, without any aid of additional textual/meta-data information about movies, which is one of the earliest attempts of its kind. Here, we present a deep transformer network with a probabilistic module to identify the movie genres exclusively from the poster. For experimental analysis, we procured 13882 number of posters of 13 genres from the Internet Movie Database (IMDb), where our model performances were encouraging and even outperformed some major contemporary architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google