ChatGPT and general-purpose AI count fruits in pictures surprisingly well

要約

オブジェクトのカウントは、農業を含むさまざまな分野のディープ ラーニング アプリケーションでよく使われるタスクです。
従来の深層学習アプローチでは大量のトレーニング データが必要であり、現実世界のアプリケーションではロジスティック問題が発生することがよくあります。
この問題に対処するために、ChatGPT (GPT4V) と汎用 AI (物体カウントの基礎モデル、T-Rex) が 100 枚の画像内の子実体 (コーヒー チェリー) の数をどの程度数えられるかを検証しました。
少数ショット学習による基礎モデルは、トレーニング済みの YOLOv8 モデルよりも優れたパフォーマンスを示しました (R2 = 0.923 および 0.900)。
ChatGPT は、特に人間のフィードバックを伴う少数ショット学習が適用された場合 (それぞれ R2 = 0.360 および 0.460)、興味深い可能性を示しました。
また、現実的な問題として、実装に要する時間を検討した。
基礎モデルと ChatGPT で結果を取得するのにかかる時間は、YOLOv8 モデル (0.83 時間、1.75 時間、161 時間) よりもはるかに短くなりました。
私たちはこれらの結果を、応用ドメインの深層学習ユーザーにとって 2 つの驚きであると解釈します。つまり、少数ショットのドメイン固有学習による基礎モデルにより、従来のアプローチと比較して時間と労力を大幅に節約できること、および ChatGPT は比較的良好なパフォーマンスを明らかにできることです。
どちらのアプローチでもコーディング スキルは必要ないため、AI の教育と普及を促進できます。

要約(オリジナル)

Object counting is a popular task in deep learning applications in various domains, including agriculture. A conventional deep learning approach requires a large amount of training data, often a logistic problem in a real-world application. To address this issue, we examined how well ChatGPT (GPT4V) and a general-purpose AI (foundation model for object counting, T-Rex) can count the number of fruit bodies (coffee cherries) in 100 images. The foundation model with few-shot learning outperformed the trained YOLOv8 model (R2 = 0.923 and 0.900, respectively). ChatGPT also showed some interesting potential, especially when few-shot learning with human feedback was applied (R2 = 0.360 and 0.460, respectively). Moreover, we examined the time required for implementation as a practical question. Obtaining the results with the foundation model and ChatGPT were much shorter than the YOLOv8 model (0.83 hrs, 1.75 hrs, and 161 hrs). We interpret these results as two surprises for deep learning users in applied domains: a foundation model with few-shot domain-specific learning can drastically save time and effort compared to the conventional approach, and ChatGPT can reveal a relatively good performance. Both approaches do not need coding skills, which can foster AI education and dissemination.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google