Automated Material Properties Extraction For Enhanced Beauty Product Discovery and Makeup Virtual Try-on

要約

数多くのメイクアップ製品があるため、希望する属性に合った理想的なメイクアップ製品を見つけるのは困難である。化粧品のショッピング体験をより便利で満足のいくものにするためには、商品発見のためのインテリジェントなアプローチが必要である。しかし、正確で効率的な商品発見を可能にするには、色や仕上げのタイプなどの詳細な属性を抽出する必要がある。本研究では、化粧品画像から重要な素材属性を抽出するために、複数のカスタマイズされた機械学習モデルを利用する自動化パイプラインを紹介する。我々のパイプラインは汎用性があり、様々なメイクアップ製品を扱うことができる。本パイプラインの有効性を示すために、多様な形状、色、仕上げタイプで知られる難易度の高いメイクアップ製品であるアイシャドウ製品（シングルシェードとマルチシェードの両方）を対象とした広範な実験を行う。さらに、口紅やファンデーションのような他のメイクアップカテゴリに拡張することに成功することで、我々のアプローチの適用可能性を実証し、異なる美容製品への適応性と有効性を示す。さらに、我々の機械学習パイプラインが信頼性の点で人間のラベリング手法よりも優れていることを実証するために、アブレーション実験を行う。我々の提案手法は、カテゴリーを超えた製品発見、特に指定された服装に完璧にマッチする化粧品を推薦する際に有効であることを示す。最後に、化粧品のショッピング体験をより魅力的なものにする仮想試着体験を可能にする、これらの素材属性の応用も実証する。

要約(オリジナル)

The multitude of makeup products available can make it challenging to find the ideal match for desired attributes. An intelligent approach for product discovery is required to enhance the makeup shopping experience to make it more convenient and satisfying. However, enabling accurate and efficient product discovery requires extracting detailed attributes like color and finish type. Our work introduces an automated pipeline that utilizes multiple customized machine learning models to extract essential material attributes from makeup product images. Our pipeline is versatile and capable of handling various makeup products. To showcase the efficacy of our pipeline, we conduct extensive experiments on eyeshadow products (both single and multi-shade ones), a challenging makeup product known for its diverse range of shapes, colors, and finish types. Furthermore, we demonstrate the applicability of our approach by successfully extending it to other makeup categories like lipstick and foundation, showcasing its adaptability and effectiveness across different beauty products. Additionally, we conduct ablation experiments to demonstrate the superiority of our machine learning pipeline over human labeling methods in terms of reliability. Our proposed method showcases its effectiveness in cross-category product discovery, specifically in recommending makeup products that perfectly match a specified outfit. Lastly, we also demonstrate the application of these material attributes in enabling virtual-try-on experiences which makes makeup shopping experience significantly more engaging.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL