TRansPose: Large-Scale Multispectral Dataset for Transparent Object

要約

透明な物体は私たちの日常生活で頻繁に遭遇しますが、その独特の材質特性により、RGB カメラや深度カメラではうまく認識できないため、透明な物体を認識することは従来の視覚センサーにとって課題となります。
この制限を克服するためのソリューションとして、熱赤外線カメラが登場し、透明なオブジェクトの視認性と形状情報が向上しました。
この論文では、透明物体の研究を促進するために、ステレオ RGB-D、熱赤外 (TIR) 画像、および物体の姿勢を組み合わせた初の大規模マルチスペクトル データセットである TRansPose を紹介します。
データセットには、43 個の家庭用品、27 個のリサイクル可能なゴミ、29 個の化学実験室相当物、および 12 個の不透明なオブジェクトを含む 99 個の透明なオブジェクトが含まれています。
これは、333,819 枚の画像と 4,000,056 個の注釈の膨大なコレクションで構成されており、インスタンス レベルのセグメンテーション マスク、グラウンド トゥルース ポーズ、完全な深度情報を提供します。
データは、FLIR A65 熱赤外線 (TIR) カメラ、2 台の Intel RealSense L515 RGB-D カメラ、および Franka Emika Panda ロボット マニピュレーターを使用して取得されました。
87 のシーケンスにわたる TRansPose は、水で満たされたオブジェクト、多様な照明条件、乱雑な物体、不透明または半透明の容器、ビニール袋の中のオブジェクト、複数に積み重ねられたオブジェクトなど、さまざまな困難な現実のシナリオをカバーします。
TRansPose データセットには、次のリンクからアクセスできます: https://sites.google.com/view/transpose-dataset

要約(オリジナル)

Transparent objects are encountered frequently in our daily lives, yet recognizing them poses challenges for conventional vision sensors due to their unique material properties, not being well perceived from RGB or depth cameras. Overcoming this limitation, thermal infrared cameras have emerged as a solution, offering improved visibility and shape information for transparent objects. In this paper, we present TRansPose, the first large-scale multispectral dataset that combines stereo RGB-D, thermal infrared (TIR) images, and object poses to promote transparent object research. The dataset includes 99 transparent objects, encompassing 43 household items, 27 recyclable trashes, 29 chemical laboratory equivalents, and 12 non-transparent objects. It comprises a vast collection of 333,819 images and 4,000,056 annotations, providing instance-level segmentation masks, ground-truth poses, and completed depth information. The data was acquired using a FLIR A65 thermal infrared (TIR) camera, two Intel RealSense L515 RGB-D cameras, and a Franka Emika Panda robot manipulator. Spanning 87 sequences, TRansPose covers various challenging real-life scenarios, including objects filled with water, diverse lighting conditions, heavy clutter, non-transparent or translucent containers, objects in plastic bags, and multi-stacked objects. TRansPose dataset can be accessed from the following link: https://sites.google.com/view/transpose-dataset

arxiv情報

提供元, 利用サービス

arxiv.jp, Google