Few-shot Multispectral Segmentation with Representations Generated by Reinforcement Learning

要約

マルチスペクトル画像セグメンテーション (それぞれが特定の波長範囲の電磁放射を捕捉する多数のチャネル/バンドによる画像のセグメンテーション) のタスクは、大量のラベル付きデータを使用したコンテキストで以前に検討されてきました。
ただし、これらのモデルは、サイズが小さいデータセットにはうまく一般化できない傾向があります。
この論文では、強化学習を使用して表現を生成し、マルチスペクトル画像の少数ショット セグメンテーションのパフォーマンスを向上させる新しいアプローチを提案します。
これらの表現はチャネル間の数式の形式で生成され、セグメント化される特定のクラスに合わせて調整されます。
私たちの方法論には、最も有益な表現を特定するようにエージェントをトレーニングし、これらの表現を使用してデータセットを更新し、更新されたデータセットを使用してセグメンテーションを実行することが含まれます。
式の長さが制限されているため、モデルはオーバーフィッティングのリスクを追加することなく有用な表現を受け取ります。
私たちは、いくつかのマルチスペクトル データセットに対するアプローチの有効性を評価し、セグメンテーション アルゴリズムのパフォーマンス向上におけるその有効性を実証します。

要約(オリジナル)

The task of multispectral image segmentation (segmentation of images with numerous channels/bands, each capturing a specific range of wavelengths of electromagnetic radiation) has been previously explored in contexts with large amounts of labeled data. However, these models tend not to generalize well to datasets of smaller size. In this paper, we propose a novel approach for improving few-shot segmentation performance on multispectral images using reinforcement learning to generate representations. These representations are generated in the form of mathematical expressions between channels and are tailored to the specific class being segmented. Our methodology involves training an agent to identify the most informative expressions, updating the dataset using these expressions, and then using the updated dataset to perform segmentation. Due to the limited length of the expressions, the model receives useful representations without any added risk of overfitting. We evaluate the effectiveness of our approach on several multispectral datasets and demonstrate its effectiveness in boosting the performance of segmentation algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google