Culinary Class Wars: Evaluating LLMs using ASH in Cuisine Transfer Task

要約

大規模言語モデル (LLM) の出現は、料理芸術を含むさまざまな創造的な領域で有望であることを示しています。
しかし、多くの LLM は、特に特定の文化的要件を満たすようにレシピを適応させるという任務を負った場合、望ましいレベルの料理の創造性を提供することに依然として苦労しています。
この研究は、LLM の料理の創造性を評価するために、ある料理の要素を別の料理に適用する料理の転移に焦点を当てています。
当社では、多様な LLM セットを使用して文化に適応したレシピを生成および評価し、その評価を LLM および人間の判断と比較します。
料理伝達タスクにおける LLM のレシピ生成能力を評価するための ASH (信頼性、感性、調和) ベンチマークを導入し、料理領域における LLM の文化的正確さと創造性を評価します。
私たちの調査結果は、料理分野におけるLLMの生成能力と評価能力の両方に関する重要な洞察を明らかにし、レシピ作成における文化的ニュアンスの理解と適用における強みと限界を浮き彫りにしています。
このプロジェクトで使用されるコードとデータセットは、\url{http://github.com/dmis-lab/CulinaryASH} で公開されます。

要約(オリジナル)

The advent of Large Language Models (LLMs) have shown promise in various creative domains, including culinary arts. However, many LLMs still struggle to deliver the desired level of culinary creativity, especially when tasked with adapting recipes to meet specific cultural requirements. This study focuses on cuisine transfer-applying elements of one cuisine to another-to assess LLMs’ culinary creativity. We employ a diverse set of LLMs to generate and evaluate culturally adapted recipes, comparing their evaluations against LLM and human judgments. We introduce the ASH (authenticity, sensitivity, harmony) benchmark to evaluate LLMs’ recipe generation abilities in the cuisine transfer task, assessing their cultural accuracy and creativity in the culinary domain. Our findings reveal crucial insights into both generative and evaluative capabilities of LLMs in the culinary domain, highlighting strengths and limitations in understanding and applying cultural nuances in recipe creation. The code and dataset used in this project will be openly available in \url{http://github.com/dmis-lab/CulinaryASH}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google