Poses of People in Art: A Data Set for Human Pose Estimation in Digital Art History

要約

芸術の歴史を通じて、人体の表現の全体論的抽象化としてのポーズは、多くの研究で不変であることが証明されています.
しかし、これまで手作業で処理しなければならなかった膨大な量のデータのために、古代以来の芸術史的モチーフの定型的な要約に対するその重要な役割は、選択的にのみ強調することができました.
これは、現在自動化されている人間のポーズの推定にも当てはまります。計算モデルのトレーニングに必要なドメイン固有の十分に大きなデータセットが、公開されていないか、十分な粒度でインデックス化されていないためです。
Poses of People in Art データ セットでは、アートにおける人間のポーズを推定し、人間のポーズ推定器を検証するための、最初のオープン ライセンス データ セットを紹介します。
22 の美術史的描写スタイルからの 2,454 枚の画像で構成されており、19 世紀以降、身体のリアルな表現からますます背を向けてきたものも含まれています。
合計 10,749 人の人物像が、最大 17 個のキーポイントによってラベル付けされた画像ごとに最大 4 個の長方形の境界ボックスで正確に囲まれています。
これらの中には、主に肘や膝などの関節があります。
機械学習の目的で、データ セットはトレーニング、検証、およびテストの 3 つのサブセットに分割され、それぞれ確立された JSON ベースの Microsoft COCO 形式に従います。
各画像注釈は、必須フィールドに加えて、美術史オンライン百科事典 WikiArt からのメタデータを提供します。
この論文では、データ セットの取得と構成について詳しく説明し、さまざまなアプリケーション シナリオに対処し、デジタルでサポートされた美術史の展望について説明します。
このデータセットにより、芸術における身体現象の調査が可能になることを示します。これは、個々の図のレベルで微妙に捉えることができるか、図の星座全体で、位置、距離、または相互の近接性が考慮されます。

要約(オリジナル)

Throughout the history of art, the pose, as the holistic abstraction of the human body’s expression, has proven to be a constant in numerous studies. However, due to the enormous amount of data that so far had to be processed by hand, its crucial role to the formulaic recapitulation of art-historical motifs since antiquity could only be highlighted selectively. This is true even for the now automated estimation of human poses, as domain-specific, sufficiently large data sets required for training computational models are either not publicly available or not indexed at a fine enough granularity. With the Poses of People in Art data set, we introduce the first openly licensed data set for estimating human poses in art and validating human pose estimators. It consists of 2,454 images from 22 art-historical depiction styles, including those that have increasingly turned away from lifelike representations of the body since the 19th century. A total of 10,749 human figures are precisely enclosed by rectangular bounding boxes, with a maximum of four per image labeled by up to 17 keypoints; among these are mainly joints such as elbows and knees. For machine learning purposes, the data set is divided into three subsets, training, validation, and testing, that follow the established JSON-based Microsoft COCO format, respectively. Each image annotation, in addition to mandatory fields, provides metadata from the art-historical online encyclopedia WikiArt. With this paper, we elaborate on the acquisition and constitution of the data set, address various application scenarios, and discuss prospects for a digitally supported art history. We show that the data set enables the investigation of body phenomena in art, whether at the level of individual figures, which can be captured in their subtleties, or entire figure constellations, whose position, distance, or proximity to one another is considered.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google