Beyond Metrics: Evaluating LLMs’ Effectiveness in Culturally Nuanced, Low-Resource Real-World Scenarios

要約

実際のアプリケーションに大規模言語モデル (LLM) を導入すると、特に多言語やコードが混在する通信環境では、機会と課題の両方が生じます。
この調査では、スワヒリ語、英語、シェン語を含む、多言語でコードが混在した WhatsApp チャットから派生したデータセットに対するセンチメント分析における 7 つの主要な LLM のパフォーマンスを評価しています。
私たちの評価には、F1 スコアなどの指標を使用した定量的分析と、予測に対する LLM の説明の定性的評価の両方が含まれます。
Mistral-7b と Mixtral-8x7b は高い F1 スコアを達成しましたが、これらや GPT-3.5-Turbo、Llama-2-70b、Gemma-7b などの他の LLM は、言語的および文脈上のニュアンスの理解に苦労していることがわかりました。
彼らの説明から分かるように、意思決定プロセスにおける透明性の欠如。
対照的に、GPT-4 と GPT-4-Turbo は、多様な言語入力の把握とさまざまな文脈情報の管理に優れており、意思決定プロセスにおける人間の整合性と透明性との高い一貫性を示しています。
しかし、LLM は、特に英語以外の環境において、GPT-4 の一貫性のない文化的ニュアンスを組み込む際に困難に直面しました。
この調査結果は、文化的に微妙でリソースが少ない現実世界の環境の課題に効果的に取り組むために LLM を継続的に改善する必要性と、これらの問題を捉えるための評価ベンチマークを開発する必要性を強調しています。

要約(オリジナル)

The deployment of Large Language Models (LLMs) in real-world applications presents both opportunities and challenges, particularly in multilingual and code-mixed communication settings. This research evaluates the performance of seven leading LLMs in sentiment analysis on a dataset derived from multilingual and code-mixed WhatsApp chats, including Swahili, English and Sheng. Our evaluation includes both quantitative analysis using metrics like F1 score and qualitative assessment of LLMs’ explanations for their predictions. We find that, while Mistral-7b and Mixtral-8x7b achieved high F1 scores, they and other LLMs such as GPT-3.5-Turbo, Llama-2-70b, and Gemma-7b struggled with understanding linguistic and contextual nuances, as well as lack of transparency in their decision-making process as observed from their explanations. In contrast, GPT-4 and GPT-4-Turbo excelled in grasping diverse linguistic inputs and managing various contextual information, demonstrating high consistency with human alignment and transparency in their decision-making process. The LLMs however, encountered difficulties in incorporating cultural nuance especially in non-English settings with GPT-4s doing so inconsistently. The findings emphasize the necessity of continuous improvement of LLMs to effectively tackle the challenges of culturally nuanced, low-resource real-world settings and the need for developing evaluation benchmarks for capturing these issues.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google