CattleFace-RGBT: RGB-T Cattle Facial Landmark Benchmark

要約

この課題に対処するために、2,300 の RGB-T 画像ペア、合計 4,600 の画像で構成される RGB-T 牛の顔のランドマーク データセットである CattleFace-RGBT を導入します。
ランドマーク データセットの作成には時間がかかりますが、AI 支援のアノテーションが役に立ちます。
ただし、熱画像に AI を適用することは、直接的な熱トレーニングからの結果が最適ではなかったり、カメラのビューが異なるため RGB 熱アライメントが実行不可能であるため、困難です。
したがって、RGB でトレーニングされたモデルを熱画像に転送し、半自動アノテーション アプローチに従って AI 支援アノテーション ツールを使用して改良することを選択しました。
RGB 画像と熱画像の両方で顔のキーポイントの位置を正確に特定することで、牛の呼吸兆候を識別できるだけでなく、温度を測定して動物の熱状態を評価することもできます。
私たちの知る限り、これは RGB-T 画像上の牛の顔のランドマークの最初のデータセットです。
私たちは、将来の調査、分析、比較のためのベースラインを確立することを目的として、さまざまなバックボーン アーキテクチャにわたって CattleFace-RGBT データセットのベンチマークを実施します。
データセットとモデルは https://github.com/UARK-AICV/CattleFace-RGBT-benchmark にあります。

要約(オリジナル)

To address this challenge, we introduce CattleFace-RGBT, a RGB-T Cattle Facial Landmark dataset consisting of 2,300 RGB-T image pairs, a total of 4,600 images. Creating a landmark dataset is time-consuming, but AI-assisted annotation can help. However, applying AI to thermal images is challenging due to suboptimal results from direct thermal training and infeasible RGB-thermal alignment due to different camera views. Therefore, we opt to transfer models trained on RGB to thermal images and refine them using our AI-assisted annotation tool following a semi-automatic annotation approach. Accurately localizing facial key points on both RGB and thermal images enables us to not only discern the cattle’s respiratory signs but also measure temperatures to assess the animal’s thermal state. To the best of our knowledge, this is the first dataset for the cattle facial landmark on RGB-T images. We conduct benchmarking of the CattleFace-RGBT dataset across various backbone architectures, with the objective of establishing baselines for future research, analysis, and comparison. The dataset and models are at https://github.com/UARK-AICV/CattleFace-RGBT-benchmark

arxiv情報

提供元, 利用サービス

arxiv.jp, Google