SniffyArt: The Dataset of Smelling Persons

要約

匂いのジェスチャーは、視覚芸術における過去の匂いの調査において重要な役割を果たしますが、その自動認識は大きな課題を引き起こします。
この論文では、441 の歴史的芸術作品に表現された 1941 人の個人で構成される SniffyArt データセットを紹介します。
各人物には、ぴったりとフィットする境界ボックス、17 のポーズ キーポイント、およびジェスチャ ラベルが付けられます。
これらのアノテーションを統合することにより、データセットは匂いジェスチャー認識のためのハイブリッド分類アプローチの開発を可能にします。
データセットの高品質な人間の姿勢推定キーポイントは、人物ごとに 5 つの個別のキーポイント アノテーション セットを結合することで実現されます。
この論文では、検出、キーポイント推定、および分類タスクの代表的なアルゴリズムのパフォーマンスを評価するベースライン分析も示し、キーポイント推定と匂いジェスチャー分類を組み合わせる可能性を示しています。
SniffyArt データセットは、将来の研究と、ポーズ キーポイントとパーソン ボックスを活用して歴史的芸術作品における人間のジェスチャーと嗅覚の次元分析を進めるマルチタスク アプローチの探求のための強固な基盤を築きます。

要約(オリジナル)

Smell gestures play a crucial role in the investigation of past smells in the visual arts yet their automated recognition poses significant challenges. This paper introduces the SniffyArt dataset, consisting of 1941 individuals represented in 441 historical artworks. Each person is annotated with a tightly fitting bounding box, 17 pose keypoints, and a gesture label. By integrating these annotations, the dataset enables the development of hybrid classification approaches for smell gesture recognition. The datasets high-quality human pose estimation keypoints are achieved through the merging of five separate sets of keypoint annotations per person. The paper also presents a baseline analysis, evaluating the performance of representative algorithms for detection, keypoint estimation, and classification tasks, showcasing the potential of combining keypoint estimation with smell gesture classification. The SniffyArt dataset lays a solid foundation for future research and the exploration of multi-task approaches leveraging pose keypoints and person boxes to advance human gesture and olfactory dimension analysis in historical artworks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google