Using t-distributed stochastic neighbor embedding for visualization and segmentation of 3D point clouds of plants

要約

本研究では、植物の特性評価のために、植物の3次元点群を2次元空間に埋め込むためのt-SNEの利用を提案する。t-SNEは、3次元の植物モデルを2次元空間に平坦化し、可視化するための実用的なツールとして動作することが実証された。また、t-SNEのパープレックス（perplexity）パラメータにより、様々な組織レベルの植物構造を2Dレンダリングすることが可能である。t-SNEは植物科学者のための可視化ツールとしてだけでなく、植物の3次元点群を2次元に埋め込まれた点群を使って処理するためのゲートウェイを提供する。本論文では、埋め込まれた2次元点をグループ化することにより、意味的なセグメンテーションとインスタンスセグメンテーションを行う簡単な方法を提案した。これらの手法を公開植物3次元データセットで評価した結果、t-SNEが自動3次元表現型パイプラインの様々なステップを2次元で実装できる可能性を示している。

要約(オリジナル)

In this work, the use of t-SNE is proposed to embed 3D point clouds of plants into 2D space for plant characterization. It is demonstrated that t-SNE operates as a practical tool to flatten and visualize a complete 3D plant model in 2D space. The perplexity parameter of t-SNE allows 2D rendering of plant structures at various organizational levels. Aside from the promise of serving as a visualization tool for plant scientists, t-SNE also provides a gateway for processing 3D point clouds of plants using their embedded counterparts in 2D. In this paper, simple methods were proposed to perform semantic segmentation and instance segmentation via grouping the embedded 2D points. The evaluation of these methods on a public 3D plant data set conveys the potential of t-SNE for enabling of 2D implementation of various steps involved in automatic 3D phenotyping pipelines.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL