要約
映画の予告編は、視聴者にストーリーを紹介し、映画の雰囲気や芸術的スタイルを伝え、観客に映画を見るよう促すなど、複数の機能を果たします。
これらの多様な機能により、トレーラー作成はやりがいのある作業になります。
この作業では、映画の予告編の瞬間、つまり予告編に含まれる可能性のあるショットを見つけることに焦点を当てています。
このタスクを、物語構造の特定と感情予測という 2 つのサブタスクに分解します。
私たちは映画をグラフとしてモデル化します。ノードはショットであり、エッジはそれらの間の意味論的な関係を示します。
私たちは、脚本から豊富なテキスト情報 (キャラクター、アクション、状況など) を抽出する共同対比トレーニングを使用して、これらの関係を学習します。
次に、教師なしアルゴリズムがグラフを調べ、競争力のある教師ありアプローチによって選択されたものよりも人間の審査員が好む予告編の瞬間を映画から選択します。
私たちのアルゴリズムの主な利点は、解釈可能な基準を使用しているため、人間が参加してトレーラーを作成するための対話型ツールにアルゴリズムを導入できることです。
当社のツールを使用すると、ユーザーは 30 分以内にトレーラー ショットを選択できます。これは完全に自動化された方法よりも優れており、専門家による (独占的な) 手動選択に匹敵します。
要約(オリジナル)
Movie trailers perform multiple functions: they introduce viewers to the story, convey the mood and artistic style of the film, and encourage audiences to see the movie. These diverse functions make trailer creation a challenging endeavor. In this work, we focus on finding trailer moments in a movie, i.e., shots that could be potentially included in a trailer. We decompose this task into two subtasks: narrative structure identification and sentiment prediction. We model movies as graphs, where nodes are shots and edges denote semantic relations between them. We learn these relations using joint contrastive training which distills rich textual information (e.g., characters, actions, situations) from screenplays. An unsupervised algorithm then traverses the graph and selects trailer moments from the movie that human judges prefer to ones selected by competitive supervised approaches. A main advantage of our algorithm is that it uses interpretable criteria, which allows us to deploy it in an interactive tool for trailer creation with a human in the loop. Our tool allows users to select trailer shots in under 30 minutes that are superior to fully automatic methods and comparable to (exclusive) manual selection by experts.
arxiv情報
| 著者 | Pinelopi Papalampidi,Frank Keller,Mirella Lapata |
| 発行日 | 2024-12-30 13:43:54+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google