Jewelry Recognition via Encoder-Decoder Models

要約

アクセサリーのスタイルやデザインが異なるため、ジュエリーの認識は複雑な作業です。
さまざまなアクセサリーの正確な説明は、今日ではジュエリー分野の専門家のみが達成できるものです。
この研究では、コンピューター ビジョン技術と画像キャプションを使用したジュエリー認識のアプローチを提案し、アクセサリーを分析するこの熟練した人間の行動をシミュレートしようとします。
提案された方法論は、さまざまな画像キャプション モデルを使用して画像から宝石を検出し、アクセサリーの自然言語説明を生成することから構成されています。
次に、この説明は、アクセサリをさまざまな詳細レベルで分類するためにも利用されます。
生成されたキャプションには、宝石の種類、色、素材、デザインなどの詳細が含まれます。
さまざまな種類の宝石を正確に認識する際の提案された方法の有効性を実証するために、コルドバ (スペイン) の宝石店に属するアクセサリーの画像で構成されるデータセットが作成されました。
設計されたさまざまな画像キャプション アーキテクチャをテストした後、最終モデルは 95\% のキャプション精度を達成しました。
提案された方法論は、人々の好みや社会的地位を分析するための宝飾品の電子商取引、在庫管理、宝石の自動認識などのさまざまなアプリケーションで使用される可能性があります。

要約(オリジナル)

Jewelry recognition is a complex task due to the different styles and designs of accessories. Precise descriptions of the various accessories is something that today can only be achieved by experts in the field of jewelry. In this work, we propose an approach for jewelry recognition using computer vision techniques and image captioning, trying to simulate this expert human behavior of analyzing accessories. The proposed methodology consist on using different image captioning models to detect the jewels from an image and generate a natural language description of the accessory. Then, this description is also utilized to classify the accessories at different levels of detail. The generated caption includes details such as the type of jewel, color, material, and design. To demonstrate the effectiveness of the proposed method in accurately recognizing different types of jewels, a dataset consisting of images of accessories belonging to jewelry stores in C\’ordoba (Spain) has been created. After testing the different image captioning architectures designed, the final model achieves a captioning accuracy of 95\%. The proposed methodology has the potential to be used in various applications such as jewelry e-commerce, inventory management or automatic jewels recognition to analyze people’s tastes and social status.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google