要約
大規模言語モデル (LLM) の大幅な進歩に基づいて、私たちは現在、異文化コンテキストの微妙な理解を必要とするより高度なタスクに対処する準備ができています。
重要な例はレシピの適応であり、これには単純な翻訳を超えて、特定の文化に特有の食材、料理技術、食事の好みの把握が含まれます。
中国語と英語圏の料理間のレシピの翻訳と文化的適応を伴う新しいタスクを紹介します。
この調査をサポートするために、中国語と英語で書かれた自動的にペアになったレシピで構成される独自のデータセット、CulturalRecipes を紹介します。
このデータセットは、人間が作成し、厳選したテスト セットによってさらに強化されています。
異文化レシピの適応というこの複雑なタスクでは、GPT-4 やその他の LLM、従来の機械翻訳、情報検索技術など、さまざまな方法のパフォーマンスを評価します。
当社の包括的な分析には、自動評価指標と人間による評価指標の両方が含まれています。
GPT-4 は、中国語のレシピを英語に適応させる点では優れた能力を発揮しますが、英語のレシピを中国語に翻訳する場合には、依然として人間の専門知識には及びません。
これは、文化適応の多面性を強調しています。
私たちは、これらの洞察が、文化を意識した言語モデルに関する将来の研究と、文化的に多様な文脈におけるその実用化に大きく貢献すると期待しています。
要約(オリジナル)
Building upon the considerable advances in Large Language Models (LLMs), we are now equipped to address more sophisticated tasks demanding a nuanced understanding of cross-cultural contexts. A key example is recipe adaptation, which goes beyond simple translation to include a grasp of ingredients, culinary techniques, and dietary preferences specific to a given culture. We introduce a new task involving the translation and cultural adaptation of recipes between Chinese and English-speaking cuisines. To support this investigation, we present CulturalRecipes, a unique dataset comprised of automatically paired recipes written in Mandarin Chinese and English. This dataset is further enriched with a human-written and curated test set. In this intricate task of cross-cultural recipe adaptation, we evaluate the performance of various methods, including GPT-4 and other LLMs, traditional machine translation, and information retrieval techniques. Our comprehensive analysis includes both automatic and human evaluation metrics. While GPT-4 exhibits impressive abilities in adapting Chinese recipes into English, it still lags behind human expertise when translating English recipes into Chinese. This underscores the multifaceted nature of cultural adaptations. We anticipate that these insights will significantly contribute to future research on culturally-aware language models and their practical application in culturally diverse contexts.
arxiv情報
著者 | Yong Cao,Yova Kementchedjhieva,Ruixiang Cui,Antonia Karamolegkou,Li Zhou,Megan Dare,Lucia Donatelli,Daniel Hershcovich |
発行日 | 2023-10-26 12:39:20+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google