Re-assembling the past: The RePAIR dataset and benchmark for real world 2D and 3D puzzle solving

要約

この論文では、パズル解決および再組み立てタスクのための最新の計算およびデータ駆動型手法をテストするための挑戦的なベンチマークとなる RePAIR データセットを提案します。
私たちのデータセットには、2D および 3D パズルを解くための現在のベンチマークには珍しいユニークな特性があります。
破片やひび割れは、第二次世界大戦中のポンペイ考古学公園での爆撃の際にフレスコ画が崩壊したことによって生じたもので、リアルです。
破片も侵食され、不規則な形状や異なる寸法の欠落部分があり、再組み立てアルゴリズムがさらに困難になります。
データセットはマルチモーダルで、特徴的な絵要素を含む高解像度画像、断片の詳細な 3D スキャン、考古学者によって注釈が付けられたメタデータを提供します。
真実は、各断片の発掘と洗浄を含む数年にわたる絶え間ないフィールドワークを通じて生成され、その後、考古学者が約 100 個の断片の部分集合を手作業でパズルを解く作業が行われます。
16000 個のうち 1000 個が入手可能です。
すべての断片を 3D でデジタル化した後、より単純な合成シナリオを解決することが多い現在の再構成およびパズル解決手法に対抗するベンチマークが準備されました。
テストされたベースラインは、この計算的に複雑な問題を解決するにはギャップが明らかに存在することを示しています。

要約(オリジナル)

This paper proposes the RePAIR dataset that represents a challenging benchmark to test modern computational and data driven methods for puzzle-solving and reassembly tasks. Our dataset has unique properties that are uncommon to current benchmarks for 2D and 3D puzzle solving. The fragments and fractures are realistic, caused by a collapse of a fresco during a World War II bombing at the Pompeii archaeological park. The fragments are also eroded and have missing pieces with irregular shapes and different dimensions, challenging further the reassembly algorithms. The dataset is multi-modal providing high resolution images with characteristic pictorial elements, detailed 3D scans of the fragments and meta-data annotated by the archaeologists. Ground truth has been generated through several years of unceasing fieldwork, including the excavation and cleaning of each fragment, followed by manual puzzle solving by archaeologists of a subset of approx. 1000 pieces among the 16000 available. After digitizing all the fragments in 3D, a benchmark was prepared to challenge current reassembly and puzzle-solving methods that often solve more simplistic synthetic scenarios. The tested baselines show that there clearly exists a gap to fill in solving this computationally complex problem.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google