Cultural Commonsense Knowledge for Intercultural Dialogues

要約

最近の進歩にもかかわらず、大規模言語モデル (LLM) は、社会的および文化的慣習の複雑さに適切に対応するという課題に依然として直面しています。
この論文では、文化的知識の高精度かつ高再現率の主張を抽出する方法論である MANGO を紹介します。
私たちは、コンセプトと文化という 2 つのエントリ ポイントから、この目的のために LLM に賢明かつ反復的にプロンプ​​トを出します。
出力はクラスタリングと生成的要約によって統合されます。
基盤となる LLM として GPT-3.5 を使用して MANGO メソッドを実行すると、30,000 の概念と 11,000 のカルチャーに対して 167,000 の高精度アサーションが生成され、品質とサイズの点で以前のリソースを大幅に上回りました。
異文化間対話の外部評価では、文化的知識の主張による対話システムの強化を探ります。
特に、LLM は本質的に文化的な知識を持っているにもかかわらず、MANGO からの知識を追加すると、ヒューマン アノテーターが判断した対話応答の全体的な品質、特異性、および文化的感受性が向上することがわかりました。
データとコードはダウンロードできます。

要約(オリジナル)

Despite recent progress, large language models (LLMs) still face the challenge of appropriately reacting to the intricacies of social and cultural conventions. This paper presents MANGO, a methodology for distilling high-accuracy, high-recall assertions of cultural knowledge. We judiciously and iteratively prompt LLMs for this purpose from two entry points, concepts and cultures. Outputs are consolidated via clustering and generative summarization. Running the MANGO method with GPT-3.5 as underlying LLM yields 167K high-accuracy assertions for 30K concepts and 11K cultures, surpassing prior resources by a large margin in quality and size. In an extrinsic evaluation for intercultural dialogues, we explore augmenting dialogue systems with cultural knowledge assertions. Notably, despite LLMs inherently possessing cultural knowledge, we find that adding knowledge from MANGO improves the overall quality, specificity, and cultural sensitivity of dialogue responses, as judged by human annotators. Data and code are available for download.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google