PETS-SWINF: A regression method that considers images with metadata based Neural Network for pawpularity prediction on 2021 Kaggle Competition ‘PetFinder.my’

要約

何百万もの野良動物が路上で苦しんでいるか、世界中の避難所で毎日安楽死させられています。
野良動物をよりよく採用するためには、野良動物の足の毛（かわいさ）を採点することは非常に重要ですが、動物の足の毛を評価することは非常に労働集約的なことです。
その結果、動物の足の長さをスコアリングするアルゴリズムを開発することへの関心が急増しています。
ただし、Kaggleのデータセットには、画像だけでなく、画像を説明するメタデータも含まれています。
ほとんどの方法は、基本的に近年の最先端の画像回帰方法に焦点を当てていますが、画像のメタデータを処理するための適切な方法はありません。
上記の課題に対処するために、この論文では、画像のメタデータを考慮したPETS-SWINFと呼ばれる画像回帰モデルを提案しています。
Kaggleコンペティションのデータセット「PetFinder.my」に基づく結果は、PETS-SWINFがベースの画像モデルのみよりも優れていることを示しています。
私たちの結果は、テストデータセットで提案されたモデルのRMSE損失が17.71876であるが、メタデータがない場合は17.76449であることを示しています。
提案された方法の利点は、PETS-SWINFがメタデータの低次と高次の両方の特徴を考慮し、画像モデルとメタデータモデルの重みを適応的に調整できることです。
リードボードのスコアは、チャレンジ「PetFinder.my」での2021年のKaggleコンテストで、現在3545チーム（金メダル）のうち15位にランクされているため、パフォーマンスは有望です。

要約(オリジナル)

Millions of stray animals suffer on the streets or are euthanized in shelters every day around the world. In order to better adopt stray animals, scoring the pawpularity (cuteness) of stray animals is very important, but evaluating the pawpularity of animals is a very labor-intensive thing. Consequently, there has been an urgent surge of interest to develop an algorithm that scores pawpularity of animals. However, the dataset in Kaggle not only has images, but also metadata describing images. Most methods basically focus on the most advanced image regression methods in recent years, but there is no good method to deal with the metadata of images. To address the above challenges, the paper proposes an image regression model called PETS-SWINF that considers metadata of the images. Our results based on a dataset of Kaggle competition, ‘PetFinder.my’, show that PETS-SWINF has an advantage over only based images models. Our results shows that the RMSE loss of the proposed model on the test dataset is 17.71876 but 17.76449 without metadata. The advantage of the proposed method is that PETS-SWINF can consider both low-order and high-order features of metadata, and adaptively adjust the weights of the image model and the metadata model. The performance is promising as our leadboard score is ranked 15 out of 3545 teams (Gold medal) currently for 2021 Kaggle competition on the challenge ‘PetFinder.my’.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google