Diffusing Surrogate Dreams of Video Scenes to Predict Video Memorability

要約

MediaEval 2022 のビデオの記憶力の予測タスクの一環として、視覚的な記憶力、それを特徴付ける視覚的表現、およびその視覚的表現によって描写される基本的な概念の間の関係を探ります。
私たちは、代用の夢の画像のみでトレーニングおよびテストされたモデルを使用して、最先端の記憶力予測パフォーマンスを実現し、概念を記憶力の基礎となる機能の状態にまで高め、視覚コンテンツの本質的な記憶力が
特定の視覚的表現に関係なく、その根底にある概念または意味に蒸留されます。

要約(オリジナル)

As part of the MediaEval 2022 Predicting Video Memorability task we explore the relationship between visual memorability, the visual representation that characterises it, and the underlying concept portrayed by that visual representation. We achieve state-of-the-art memorability prediction performance with a model trained and tested exclusively on surrogate dream images, elevating concepts to the status of a cornerstone memorability feature, and finding strong evidence to suggest that the intrinsic memorability of visual content can be distilled to its underlying concept or meaning irrespective of its specific visual representational.

arxiv情報

著者 Lorin Sweeney,Graham Healy,Alan F. Smeaton
発行日 2022-12-19 09:10:23+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CV パーマリンク