Exploring New Frontiers in Agricultural NLP: Investigating the Potential of Large Language Models for Food Applications

要約

この論文は、トランスフォーマーベースの言語モデルの事前トレーニングに食品関連のテキストコーパスを使用する有効性を調査することにより、農業自然言語処理の新境地を探ります。
特に、食品の説明と栄養データの間のマッピングの確立を含む意味的マッチングのタスクに焦点を当てています。
これを達成するために、FoodOn オントロジーなどの外部の知識ソースを利用して、このタスクに関して事前トレーニング済みのトランスフォーマーベースの言語モデルである AgriBERT を微調整します。
農業 NLP の分野を前進させるために、私たちは 2 つの新しい探索手段を提案します。(1) GPT ベースのモデルをベースラインとして利用すること、および (2) ChatGPT を外部の知識源として活用することです。
ChatGPT は、多くの NLP タスクにおいて強力なベースラインであることが示されており、セマンティック マッチングのタスクにおいてモデルを改善し、食品関連の概念と関係性についてのモデルの理解を強化する可能性があると考えています。
さらに、食材に基づく料理予測などの他のアプリケーションを実験し、意味的マッチングを超えた他の NLP タスクを含むように研究範囲を拡大します。
全体として、この論文は、農業 NLP アプリケーションのパフォーマンス向上に潜在的な影響を与える、この分野の将来の研究に有望な道筋を提供します。

要約(オリジナル)

This paper explores new frontiers in agricultural natural language processing by investigating the effectiveness of using food-related text corpora for pretraining transformer-based language models. In particular, we focus on the task of semantic matching, which involves establishing mappings between food descriptions and nutrition data. To accomplish this, we fine-tune a pre-trained transformer-based language model, AgriBERT, on this task, utilizing an external source of knowledge, such as the FoodOn ontology. To advance the field of agricultural NLP, we propose two new avenues of exploration: (1) utilizing GPT-based models as a baseline and (2) leveraging ChatGPT as an external source of knowledge. ChatGPT has shown to be a strong baseline in many NLP tasks, and we believe it has the potential to improve our model in the task of semantic matching and enhance our model’s understanding of food-related concepts and relationships. Additionally, we experiment with other applications, such as cuisine prediction based on food ingredients, and expand the scope of our research to include other NLP tasks beyond semantic matching. Overall, this paper provides promising avenues for future research in this field, with potential implications for improving the performance of agricultural NLP applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google