Improving Data-Efficient Fossil Segmentation via Model Editing

要約

タイトル：モデル編集によるデータ効率のよい化石セグメンテーションの改善

要旨：

-コンピュータビジョン研究は、一般的な物体の数千の画像を含むデータセットに焦点を当てています。
-しかし、医学や地球科学などの高度に影響力のあるデータセットには、ドメイン専門家の知識が必要な細かいオブジェクトが含まれており、収集と注釈付けに時間がかかります。
-そのため、これらのデータセットにはわずかなラベル付き画像しか含まれておらず、現在の機械ビジョンモデルでは激しくトレーニングすることができません。
-大規模言語モデルを修正するために最初に導入されたモデル編集技術を使用すると、追加のトレーニングデータが必要なく、わずかな量のデータでモデルのパフォーマンスを向上させることが示されています。
-岩石サンプル画像の古代のリーフ化石をセグメンテーションするためにMask R-CNNを使用し、少数のラベル付き画像で化石セグメンテーションを改善する2つのパラダイムを提供します。
-最初に、ドメインに基づいた画像の変化を利用してモデルの弱点を特定し、次にモデルの編集を使用してこれらの欠点を緩和します。
-特に、化石の異なるクラスを区別するMask R-CNNの能力不足と、さまざまなテクスチャの化石をセグメンテーションするときの一貫性のなさを明らかにするために、ドメインに基づいた画像の変化を適用します。
-これらの欠点に対処するために、画像分類でシステマティックなミスを修正するための既存のモデル編集方法を拡張して、追加のラベル付きデータなしで画像セグメンテーションに適用し、化石の異なる種類の混乱を減らす効果を示します。
-また、私たちは、私たちの状況でのモデル編集の最適な設定を示しました。つまり、複数の画像、複数の編集、または少ないピクセルではなく、1つの画像のすべての関連するピクセルを使用して単一の編集を行います。
-化石のセグメンテーションに焦点を当てていますが、データが限られている場合には、同様の細かいセグメンテーション問題で私たちのアプローチが役立つ場合があります。

要約(オリジナル)

Most computer vision research focuses on datasets containing thousands of images of commonplace objects. However, many high-impact datasets, such as those in medicine and the geosciences, contain fine-grain objects that require domain-expert knowledge to recognize and are time-consuming to collect and annotate. As a result, these datasets contain few labeled images, and current machine vision models cannot train intensively on them. Originally introduced to correct large-language models, model-editing techniques in machine learning have been shown to improve model performance using only small amounts of data and additional training. Using a Mask R-CNN to segment ancient reef fossils in rock sample images, we present a two-part paradigm to improve fossil segmentation with few labeled images: we first identify model weaknesses using image perturbations and then mitigate those weaknesses using model editing. Specifically, we apply domain-informed image perturbations to expose the Mask R-CNN’s inability to distinguish between different classes of fossils and its inconsistency in segmenting fossils with different textures. To address these shortcomings, we extend an existing model-editing method for correcting systematic mistakes in image classification to image segmentation with no additional labeled data needed and show its effectiveness in decreasing confusion between different kinds of fossils. We also highlight the best settings for model editing in our situation: making a single edit using all relevant pixels in one image (vs. using multiple images, multiple edits, or fewer pixels). Though we focus on fossil segmentation, our approach may be useful in other similar fine-grain segmentation problems where data is limited.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI