Point-In-Context: Understanding Point Cloud via In-Context Learning

要約

多様なデータセットでトレーニングされた大規模モデルの出現により、特に自然言語処理や画像処理において、コンテキスト内学習がマルチタスクの有望なパラダイムとして浮上しています。
ただし、3D 点群タスクにおけるそのアプリケーションは、ほとんど解明されていないままです。
この研究では、コンテキスト内学習を介して 3D 点群を理解するための新しいフレームワークであるポイントインコンテキスト (PIC) を紹介します。
私たちは、ジョイント サンプリング モジュールを導入し、Point-In-Context-Generalist (PIC-G) と呼ばれる PIC の標準バージョンを提案することで、マスクされた点モデリングを 3D 点群に効果的に拡張するという技術的課題に取り組みます。
PIC-G は、座標としてモデル化された入力と出力を備えた、さまざまな 3D 点群タスクの汎用モデルとして設計されています。
このパラダイムでは、カテゴリごとに XYZ 座標を使用してラベル ポイントを割り当てることで、困難なセグメンテーション タスクが達成されます。
最終的な予測は、予測に最も近いラベル ポイントに基づいて選択されます。
新しいクラスでは一般化が不十分な固定ラベル座標割り当てによる制限を打破するために、ポイントインコンテキストという名前の PIC の拡張バージョンを形成する、インコンテキスト ラベリングとインコンテキスト強化という 2 つの新しいトレーニング戦略を提案します。
セグメンター (PIC-S)。動的なコンテキスト ラベリングとモデル トレーニングの改善を目的としています。
動的なインコンテキスト ラベルと追加のインコンテキスト ペアを利用することで、PIC-S はパーツ セグメンテーション データセット内およびパーツ セグメンテーション データセット全体でのパフォーマンスと汎化機能の向上を実現します。
PIC は、統一されたデータ形式を通じて他のタスクやデータセットを PIC にシームレスに導入できるようにするための一般的なフレームワークです。
私たちは、広範囲のタスクを処理し、複数のデータセットをセグメント化する際に、提案した方法の汎用性と適応性を検証するために広範な実験を実施します。
当社の PIC-S は、プロンプトをカスタマイズすることで、目に見えないデータセットを一般化し、新しいパーツ セグメンテーションを実行できます。

要約(オリジナル)

With the emergence of large-scale models trained on diverse datasets, in-context learning has emerged as a promising paradigm for multitasking, notably in natural language processing and image processing. However, its application in 3D point cloud tasks remains largely unexplored. In this work, we introduce Point-In-Context (PIC), a novel framework for 3D point cloud understanding via in-context learning. We address the technical challenge of effectively extending masked point modeling to 3D point clouds by introducing a Joint Sampling module and proposing a vanilla version of PIC called Point-In-Context-Generalist (PIC-G). PIC-G is designed as a generalist model for various 3D point cloud tasks, with inputs and outputs modeled as coordinates. In this paradigm, the challenging segmentation task is achieved by assigning label points with XYZ coordinates for each category; the final prediction is then chosen based on the label point closest to the predictions. To break the limitation by the fixed label-coordinate assignment, which has poor generalization upon novel classes, we propose two novel training strategies, In-Context Labeling and In-Context Enhancing, forming an extended version of PIC named Point-In-Context-Segmenter (PIC-S), targeting improving dynamic context labeling and model training. By utilizing dynamic in-context labels and extra in-context pairs, PIC-S achieves enhanced performance and generalization capability in and across part segmentation datasets. PIC is a general framework so that other tasks or datasets can be seamlessly introduced into our PIC through a unified data format. We conduct extensive experiments to validate the versatility and adaptability of our proposed methods in handling a wide range of tasks and segmenting multi-datasets. Our PIC-S is capable of generalizing unseen datasets and performing novel part segmentation by customizing prompts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google