Unforgettable Lessons from Forgettable Images: Intra-Class Memorability Matters in Computer Vision Tasks

要約

我々はクラス内記憶可能性を導入する。クラス内記憶可能性とは、同じクラス内のある画像は、カテゴリの特徴を共有しているにもかかわらず、他の画像よりも記憶に残りやすいというものである。どのような特徴があるオブジェクトのインスタンスを他のものよりも記憶に残りやすくするのかを調べるために、我々は人間行動実験を計画・実施する。実験では、被験者に一連の画像を1枚ずつ見せ、現在のアイテムが数ステップ前に提示されたアイテムと一致するときを識別させる。記憶可能性を定量化するために、我々はクラス内記憶可能性スコア(ICMscore)を提案する。ICMscoreは、繰り返し画像を提示する間の時間的間隔を計算に組み込んだ新しい指標である。我々の貢献は、最も記憶に残りにくい画像と最も記憶に残りやすい画像を生み出す細かな視覚的特徴を精査することで、クラス内記憶可能性を理解する新たな道を開き、認知科学とコンピュータビジョンにおける実世界応用の基礎を築くものである。

要約(オリジナル)

We introduce intra-class memorability, where certain images within the same class are more memorable than others despite shared category characteristics. To investigate what features make one object instance more memorable than others, we design and conduct human behavior experiments, where participants are shown a series of images one at a time, and they must identify when the current item matches the item presented a few steps back in the sequence. To quantify memorability, we propose the Intra-Class Memorability score (ICMscore), a novel metric that incorporates the temporal intervals between repeated image presentations into its calculation. Our contributions open new pathways in understanding intra-class memorability by scrutinizing fine-grained visual features that result in the least and most memorable images and laying the groundwork for real-world applications in cognitive science and computer vision.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL