What Images are More Memorable to Machines?

要約

この論文では、機械の知性を探求する道筋として、パターン認識機械にとって画像がどの程度記憶に残るかを測定および予測する問題を研究しています。
まず、「MachineMem 測定器」と呼ばれる自己管理型のマシン メモリ定量化パイプラインを提案して、画像のマシン記憶可能性スコアを収集します。
人間と同様に、機械も特定の種類の画像を記憶する傾向がありますが、機械と人間が記憶する画像の種類は異なります。
詳細な分析と包括的な視覚化を通じて、「複雑な」画像は通常、マシンにとってより記憶に残ることが徐々に明らかになります。
さらに、11 の異なるマシン (線形分類器から最新の ViT まで) と 9 つの事前トレーニング方法で広範な実験を行い、マシンのメモリを分析および理解します。
この作品は、機械の記憶可能性の概念を提案し、機械の記憶と視覚データの間のインターフェースで新しい研究の方向性を開きます。

要約(オリジナル)

This paper studies the problem of measuring and predicting how memorable an image is to pattern recognition machines, as a path to explore machine intelligence. Firstly, we propose a self-supervised machine memory quantification pipeline, dubbed “MachineMem measurer”, to collect machine memorability scores of images. Similar to humans, machines also tend to memorize certain kinds of images, whereas the types of images that machines and humans memorialize are different. Through in-depth analysis and comprehensive visualizations, we gradually unveil that ‘complex’ images are usually more memorable to machines. We further conduct extensive experiments across 11 different machines (from linear classifiers to modern ViTs) and 9 pre-training methods to analyze and understand machine memory. This work proposes the concept of machine memorability and opens a new research direction at the interface between machine memory and visual data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google