Measuring Spiritual Values and Bias of Large Language Models

投稿日: 2024年10月16日 作成者: jarxiv

要約

大規模言語モデル (LLM) は、さまざまな背景を持つユーザーにとって不可欠なツールとなっています。
膨大なコーパスでトレーニングされた LLM は、トレーニング前のデータに埋め込まれた言語的および文化的ニュアンスを反映します。
ただし、このデータに固有の値と視点は LLM の動作に影響を与え、潜在的なバイアスにつながる可能性があります。
その結果、精神的または道徳的価値観に関連する文脈で LLM を使用するには、これらの根底にある偏見を注意深く考慮する必要があります。
私たちの仕事は、人気のある LLM の精神的価値をテストすることによって仮説を検証することから始まります。
実験結果は、無神論者や世俗主義者の固定観念とは対照的に、LLM の精神的価値観は非常に多様であることを示しています。
次に、社会的公平性のシナリオにおいて、さまざまな精神的価値観が LLM にどのような影響を与えるかを調査します (ヘイトスピーチの識別など)。
私たちの調査結果は、精神的価値観の違いが、憎しみの対象となるグループの違いに対する感受性の違いに実際につながっていることを明らかにしています。
さらに、私たちはスピリチュアルなテキストに関するLLMの事前トレーニングを継続することを提案しており、経験的な結果は、スピリチュアルな偏見を軽減する上でこのアプローチの有効性を示しています。

要約(オリジナル)

Large language models (LLMs) have become integral tool for users from various backgrounds. LLMs, trained on vast corpora, reflect the linguistic and cultural nuances embedded in their pre-training data. However, the values and perspectives inherent in this data can influence the behavior of LLMs, leading to potential biases. As a result, the use of LLMs in contexts involving spiritual or moral values necessitates careful consideration of these underlying biases. Our work starts with verification of our hypothesis by testing the spiritual values of popular LLMs. Experimental results show that LLMs’ spiritual values are quite diverse, as opposed to the stereotype of atheists or secularists. We then investigate how different spiritual values affect LLMs in social-fairness scenarios e.g., hate speech identification). Our findings reveal that different spiritual values indeed lead to different sensitivity to different hate target groups. Furthermore, we propose to continue pre-training LLMs on spiritual texts, and empirical results demonstrate the effectiveness of this approach in mitigating spiritual bias.

arxiv情報

著者 Songyuan Liu,Ziyang Zhang,Runze Yan,Wei Wu,Carl Yang,Jiaying Lu
発行日 2024-10-15 14:33:23+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Measuring Spiritual Values and Bias of Large Language Models はコメントを受け付けていません

Transformer Layer Injection: A Novel Approach for Efficient Upscaling of Large Language Models

投稿日: 2024年10月16日 作成者: jarxiv

要約

この論文では、計算コストを最小限に抑え、モデルのパフォーマンスを維持しながら、大規模言語モデル (LLM) を効率的にアップスケーリングするための新しい方法である Transformer Layer Injection (TLI) を提案します。
モデルのスケールは機械学習モデルの品質を高めるための重要な要素であり、TLI は初期損失を削減し、微調整要件を最小限に抑え、モデルの複雑さを維持することでスケーリングの課題に対処します。
私たちのアプローチは、K 個のレイヤーのセットごとに新しいレイヤーを注入することで従来の深度アップスケーリング (DUS) 技術を改良し、最小限の中断で隠れた表現がトランスフォーマー ブロックを通過できるようにします。
私たちは TLI を、Mixture of Experts (MoE) や DUS などの既存のアプローチと比較し、小規模 LLM (LLama3 1B、3B、および 8B) での実験を通じてその効率を検証します。
結果は、TLI がより優れた初期化を実現し、必要なトレーニング ステップが少なく、KoBEST や KMCQA などのタスクで優れた精度を実現し、追加のトレーニングなしでもモデルが効果的に動作することを示しています。
TLI はデータ効率とコスト効率の両方が高く、既存の方法よりも大幅に優れていることが実証されています。
そのスケーラビリティとシンプルさにより、トランスベースのモデルをアップスケーリングするための有望なソリューションとなり、10B から 405B パラメータまでのモデルのスケーリングに応用できる可能性があります。

要約(オリジナル)

In this paper, we propose Transformer Layer Injection (TLI), a novel method for efficiently upscaling large language models (LLMs) while minimizing computational costs and maintaining model performance. Model scale is a key factor in enhancing the quality of machine learning models, and TLI addresses the challenge of scaling by reducing initial loss, minimizing fine-tuning requirements, and preserving model complexity. Our approach improves upon the conventional Depth Up-Scaling (DUS) technique by injecting new layers into every set of K layers, enabling hidden representations to pass through transformer blocks with minimal disruption. We compare TLI with existing approaches, including Mixture of Experts (MoE) and DUS, and validate its efficiency through experiments on small LLMs (LLama3 1B, 3B, and 8B). Results show that TLI achieves better initialization, requires fewer training steps, and delivers superior accuracy on tasks such as KoBEST and KMCQA, with models performing effectively even without additional training. TLI is demonstrated to be both data-efficient and cost-effective, significantly outperforming existing methods. Its scalability and simplicity make it a promising solution for upscaling transformer-based models, with potential applications in scaling models from 10B to 405B parameters.

arxiv情報

著者 James Vo
発行日 2024-10-15 14:41:44+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Transformer Layer Injection: A Novel Approach for Efficient Upscaling of Large Language Models はコメントを受け付けていません

Retrieval Augmented Spelling Correction for E-Commerce Applications

投稿日: 2024年10月16日 作成者: jarxiv

要約

新しいブランド名が日常言語に急速に導入されることは、電子商取引のスペル修正サービスに特有の課題をもたらします。このサービスでは、本物のスペルミスと、慣習的でないスペルを使用する新しいブランド名を区別する必要があります。
私たちは、検索拡張生成 (RAG) を通じてこの課題に対処しようとしています。
このアプローチでは、製品名がカタログから取得され、文脈に応じたスペル修正を行うために微調整された大規模言語モデル (LLM) によって使用されるコンテキストに組み込まれます。
定量的評価と定性的エラー分析を通じて、スタンドアロン LLM を超えた RAG フレームワークを利用したスペル修正の改善が見られます。
また、取得したコンテキストを組み込むために LLM をさらに微調整することの価値も示します。

要約(オリジナル)

The rapid introduction of new brand names into everyday language poses a unique challenge for e-commerce spelling correction services, which must distinguish genuine misspellings from novel brand names that use unconventional spelling. We seek to address this challenge via Retrieval Augmented Generation (RAG). On this approach, product names are retrieved from a catalog and incorporated into the context used by a large language model (LLM) that has been fine-tuned to do contextual spelling correction. Through quantitative evaluation and qualitative error analyses, we find improvements in spelling correction utilizing the RAG framework beyond a stand-alone LLM. We also demonstrate the value of additional finetuning of the LLM to incorporate retrieved context.

arxiv情報

著者 Xuan Guo,Rohit Patki,Dante Everaert,Christopher Potts
発行日 2024-10-15 14:42:18+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Retrieval Augmented Spelling Correction for E-Commerce Applications はコメントを受け付けていません

Unveiling the Mystery of Visual Attributes of Concrete and Abstract Concepts: Variability, Nearest Neighbors, and Challenging Categories

投稿日: 2024年10月16日 作成者: jarxiv

要約

概念の視覚的表現は、その意味とそれが発生する文脈に応じて大きく異なります。
これは、視覚モデルとマルチモーダル モデルの両方に複数の課題をもたらします。
私たちの研究は、視覚的表現の変動性を調べるためのケーススタディとして、よく研究されている語彙意味論的変数である具体性に焦点を当てています。
私たちは、Bing と YFCC という 2 つの異なるデータセットから抽出された約 1,000 の抽象的および具体的な概念に関連付けられた画像に依存しています。
私たちの目標は次のとおりです。(i) 概念の描写における視覚的多様性が具体的な概念と抽象的な概念を確実に区別できるかどうかを評価する。
(ii) 最近傍分析を通じて、同じ概念の複数の画像にわたる視覚的特徴の変動性を分析する。
(iii) 画像を分類し、注釈を付けることで、この変動に寄与する困難な要因を特定します。
私たちの調査結果は、抽象概念と具体概念の画像を分類するには、Vision Transformer (ViT) のようなより複雑なモデルによって抽出された特徴よりも、色やテクスチャなどの基本的な視覚特徴の組み合わせの方が効果的であることを示しています。
ただし、ViT は最近傍分析でより優れたパフォーマンスを示し、テキスト以外のモダリティを通じて概念的変数を分析する場合には、視覚的特徴を慎重に選択する必要があることが強調されています。

要約(オリジナル)

The visual representation of a concept varies significantly depending on its meaning and the context where it occurs; this poses multiple challenges both for vision and multimodal models. Our study focuses on concreteness, a well-researched lexical-semantic variable, using it as a case study to examine the variability in visual representations. We rely on images associated with approximately 1,000 abstract and concrete concepts extracted from two different datasets: Bing and YFCC. Our goals are: (i) evaluate whether visual diversity in the depiction of concepts can reliably distinguish between concrete and abstract concepts; (ii) analyze the variability of visual features across multiple images of the same concept through a nearest neighbor analysis; and (iii) identify challenging factors contributing to this variability by categorizing and annotating images. Our findings indicate that for classifying images of abstract versus concrete concepts, a combination of basic visual features such as color and texture is more effective than features extracted by more complex models like Vision Transformer (ViT). However, ViTs show better performances in the nearest neighbor analysis, emphasizing the need for a careful selection of visual features when analyzing conceptual variables through modalities other than text.

arxiv情報

著者 Tarun Tater,Sabine Schulte im Walde,Diego Frassinelli
発行日 2024-10-15 14:44:36+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.CV | Unveiling the Mystery of Visual Attributes of Concrete and Abstract Concepts: Variability, Nearest Neighbors, and Challenging Categories はコメントを受け付けていません

Eliciting Textual Descriptions from Representations of Continuous Prompts

投稿日: 2024年10月16日 作成者: jarxiv

要約

継続的プロンプト、または「ソフト プロンプト」は、大規模な言語モデルに対して広く採用されているパラメータ効率の高い調整戦略ですが、その不透明な性質のため、多くの場合あまり好ましくありません。
連続プロンプトを解釈する以前の試みは、個々のプロンプト トークンを語彙空間に投影することに依存していました。
ただし、このアプローチには問題があります。パフォーマンスの高いプロンプトでは任意のテキストや矛盾したテキストが生成される可能性があり、プロンプト トークンが個別に解釈されるためです。
この研究では、モデル推論中にその表現からテキストの説明を引き出す、連続的なプロンプトを解釈するための新しいアプローチを提案します。
さまざまなタスクに対して InSPEcT と呼ばれる Patchscopes のバリアント (Ghandeharioun et al., 2024) を使用することで、私たちの方法がしばしば正確なタスクの記述を生成し、タスクのパフォーマンスが向上するにつれてより忠実になることを示します。
さらに、InSPEcT の詳細なバージョンでは、連続プロンプト内の偏った特徴が明らかになり、その存在は偏ったモデル予測と相関します。
効果的な解釈可能性ソリューションを提供する InSPEcT を活用すると、継続的なプロンプトで不要なプロパティをデバッグし、それらを軽減する方法を開発者に通知できます。

要約(オリジナル)

Continuous prompts, or ‘soft prompts’, are a widely-adopted parameter-efficient tuning strategy for large language models, but are often less favorable due to their opaque nature. Prior attempts to interpret continuous prompts relied on projecting individual prompt tokens onto the vocabulary space. However, this approach is problematic as performant prompts can yield arbitrary or contradictory text, and it interprets prompt tokens individually. In this work, we propose a new approach to interpret continuous prompts that elicits textual descriptions from their representations during model inference. Using a Patchscopes variant (Ghandeharioun et al., 2024) called InSPEcT over various tasks, we show our method often yields accurate task descriptions which become more faithful as task performance increases. Moreover, an elaborated version of InSPEcT reveals biased features in continuous prompts, whose presence correlates with biased model predictions. Providing an effective interpretability solution, InSPEcT can be leveraged to debug unwanted properties in continuous prompts and inform developers on ways to mitigate them.

arxiv情報

著者 Dana Ramati,Daniela Gottesman,Mor Geva
発行日 2024-10-15 14:46:11+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Eliciting Textual Descriptions from Representations of Continuous Prompts はコメントを受け付けていません

Unlocking Structured Thinking in Language Models with Cognitive Prompting

投稿日: 2024年10月16日 作成者: jarxiv

要約

私たちは、目標の明確化、分解、フィルタリング、抽象化、パターン認識などの構造化された人間のような認知操作を通じて、大規模言語モデル (LLM) での問題解決を導く新しいアプローチとして認知プロンプティングを提案します。
体系的で段階的な推論を採用することにより、認知プロンプトにより、LLM は複雑な複数ステップのタスクに効率的に取り組むことができます。
私たちは、GSM8K データセットを使用した算術推論タスクと常識推論ベンチマークのパフォーマンスを比較し、Meta の LLaMA モデルでの認知プロンプトの有効性を評価します。
私たちの分析には、認知プロンプトのないモデル、静的な認知操作シーケンスを持つモデル、および LLM が一連の認知操作を動的に自己選択する反射的認知プロンプティングを使用するモデル間の比較が含まれます。
その結果、認知プロンプトは、特に動的に適応した場合、LLaMA3.1 70B などのより大きなモデルのパフォーマンスを大幅に向上させ、複数ステップの推論タスクを処理する能力を強化することが示されています。
このアプローチは解釈可能性と柔軟性も向上し、汎用 AI 推論の有望な戦略として認知的プロンプトを強調します。

要約(オリジナル)

We propose cognitive prompting as a novel approach to guide problem-solving in large language models (LLMs) through structured, human-like cognitive operations such as goal clarification, decomposition, filtering, abstraction, and pattern recognition. By employing systematic, step-by-step reasoning, cognitive prompting enables LLMs to efficiently tackle complex, multi-step tasks. We evaluate the effectiveness of cognitive prompting on Meta’s LLaMA models, comparing performance on arithmetic reasoning tasks using the GSM8K dataset and on commonsense reasoning benchmarks. Our analysis includes comparisons between models without cognitive prompting, models with a static sequence of cognitive operations, and models using reflective cognitive prompting, where the LLM dynamically self-selects the sequence of cognitive operations. The results show that cognitive prompting, particularly when dynamically adapted, significantly improves the performance of larger models, such as LLaMA3.1 70B, and enhances their ability to handle multi-step reasoning tasks. This approach also improves interpretability and flexibility, highlighting cognitive prompting as a promising strategy for general-purpose AI reasoning.

arxiv情報

著者 Oliver Kramer,Jill Baumann
発行日 2024-10-15 15:08:32+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Unlocking Structured Thinking in Language Models with Cognitive Prompting はコメントを受け付けていません

LLM-Mixer: Multiscale Mixing in LLMs for Time Series Forecasting

投稿日: 2024年10月16日 作成者: jarxiv

要約

時系列予測は、特に複雑なマルチスケールの時間パターンのコンテキストにおいて、依然として困難なタスクです。
この研究では、マルチスケール時系列分解と事前トレーニングされた LLM (大規模言語モデル) の組み合わせによって予測精度を向上させるフレームワークである LLM-Mixer を紹介します。
LLM-Mixer は、データを複数の時間解像度に分解し、時系列データ用に特別に設計されたテキスト プロンプトに従ってフリーズした LLM で処理することにより、短期的な変動と長期的な傾向の両方をキャプチャします。
多変量および単変量データセットに対して行われた広範な実験により、LLM-Mixer が競争力のあるパフォーマンスを実現し、さまざまな予測期間にわたって最近の最先端モデルを上回るパフォーマンスを発揮することが実証されました。
この研究は、マルチスケール分析と LLM を組み合わせて効果的かつスケーラブルな時系列予測を実現できる可能性を強調しています。

要約(オリジナル)

Time series forecasting remains a challenging task, particularly in the context of complex multiscale temporal patterns. This study presents LLM-Mixer, a framework that improves forecasting accuracy through the combination of multiscale time-series decomposition with pre-trained LLMs (Large Language Models). LLM-Mixer captures both short-term fluctuations and long-term trends by decomposing the data into multiple temporal resolutions and processing them with a frozen LLM, guided by a textual prompt specifically designed for time-series data. Extensive experiments conducted on multivariate and univariate datasets demonstrate that LLM-Mixer achieves competitive performance, outperforming recent state-of-the-art models across various forecasting horizons. This work highlights the potential of combining multiscale analysis and LLMs for effective and scalable time-series forecasting.

arxiv情報

著者 Md Kowsher,Md. Shohanur Islam Sobuj,Nusrat Jahan Prottasha,E. Alejandro Alanis,Ozlem Ozmen Garibay,Niloofar Yousefi
発行日 2024-10-15 15:08:57+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG | LLM-Mixer: Multiscale Mixing in LLMs for Time Series Forecasting はコメントを受け付けていません

IntGrad MT: Eliciting LLMs’ Machine Translation Capabilities with Sentence Interpolation and Gradual MT

投稿日: 2024年10月16日 作成者: jarxiv

要約

最近の大規模言語モデル (LLM) は、追加の並列コーパスを微調整する必要がなく、翻訳において優れたパフォーマンスを発揮します。
ただし、リソースの少ない言語ペアでは依然としてパフォーマンスが劣ります。
これまでの研究では、関連する少数ショットの例や、辞書や文法書などの外部リソースを活用することで、この問題を軽減することに重点を置き、モデルをこれらのノンパラメトリックな情報源に大きく依存させてきました。
この論文では、LLM の固有の変換機能を最大限に活用することに焦点を当てた、IntGrad MT と呼ばれる新しい方法を提案します。
IntGrad MT は、ソース文とモデル独自の翻訳で構成され、段階的に難易度が上がる数ショットの例のチェーンを構築することでこれを実現します。
IntGrad MT は 2 つの技術を採用しています。1 つは簡単な文から難しい文に徐々に変化する一連の文を生成する文補間で、もう 1 つは段階的 MT で、以前の文の翻訳を数ショットの例として使用してこのチェーンを逐次翻訳します。
後続の翻訳。
このアプローチにより、複数の言語、特にヒンディー語 (8.26)、スワヒリ語 (7.10)、ベンガル語 (6.97)、マラーティー語 (13.03) などの低リソース言語で、さまざまな LLM の xCOMET スコアが大幅に向上していることがわかります。
私たちのアプローチは、追加のトレーニングなしで LLM のパフォーマンスを向上させる実用的な方法を示しています。

要約(オリジナル)

Recent Large Language Models (LLMs) have demonstrated strong performance in translation without needing to be finetuned on additional parallel corpora. However, they still underperform for low-resource language pairs. Previous works have focused on mitigating this issue by leveraging relevant few-shot examples or external resources such as dictionaries or grammar books, making models heavily reliant on these nonparametric sources of information. In this paper, we propose a novel method named IntGrad MT that focuses on fully exploiting an LLM’s inherent translation capability. IntGrad MT achieves this by constructing a chain of few-shot examples, each consisting of a source sentence and the model’s own translation, that rise incrementally in difficulty. IntGrad MT employs two techniques: Sentence Interpolation, which generates a sequence of sentences that gradually change from an easy sentence to translate to a difficult one, and Gradual MT, which sequentially translates this chain using translations of earlier sentences as few-shot examples for the translation of subsequent ones. With this approach, we observe a substantial enhancement in the xCOMET scores of various LLMs for multiple languages, especially in low-resource languages such as Hindi(8.26), Swahili(7.10), Bengali(6.97) and Marathi(13.03). Our approach presents a practical way of enhancing LLMs’ performance without extra training.

arxiv情報

著者 Seung-Woo Choi,Ga-Hyun Yoo,Jay-Yoon Lee
発行日 2024-10-15 15:26:28+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: 68T50, cs.CL | IntGrad MT: Eliciting LLMs’ Machine Translation Capabilities with Sentence Interpolation and Gradual MT はコメントを受け付けていません

MTU-Bench: A Multi-granularity Tool-Use Benchmark for Large Language Models

投稿日: 2024年10月16日 作成者: jarxiv

要約

大規模言語モデル (LLM) は推論と意思決定のスキルが大幅に向上し、ユーザーと自然な会話を行うことができます。
最近、多くのツール用途のベンチマーク データセットが提案されています。
ただし、既存のデータセットには次の制限があります: (1)。
評価シナリオが不十分（例：限られたツールの使用シーンのみをカバーしている）。
(2)。
膨大な評価コスト (GPT API コストなど)。
これらの制限に対処するために、この研究では、MTU-Bench と呼ばれる大規模言語モデル向けの複数粒度のツール使用ベンチマークを提案します。
「多粒度」特性の場合、MTU ベンチは 5 つの工具使用シーン (つまり、単一回転と単一工具、単一回転と複数工具、複数回転と単一工具、複数回転と複数) をカバーします。
-ツール、および配布外のタスク)。
さらに、MTU ベンチのすべての評価指標は、GPT や人による評価指標を使用せず、予測結果とグラウンド トゥルースに基づいています。
さらに、当社の MTU-Bench は、現実世界のツール使用シナリオをシミュレートするために既存の高品質データセットを変換することによって収集されており、既存の LLM のツール使用能力を強化するために、MTU-Instruct データと呼ばれる命令データセットも提案しています。
包括的な実験結果により、MTU ベンチの有効性が実証されています。
コードとデータは https://github.com/MTU-Bench-Team/MTU-Bench.git でリリースされます。

要約(オリジナル)

Large Language Models (LLMs) have displayed massive improvements in reasoning and decision-making skills and can hold natural conversations with users. Recently, many tool-use benchmark datasets have been proposed. However, existing datasets have the following limitations: (1). Insufficient evaluation scenarios (e.g., only cover limited tool-use scenes). (2). Extensive evaluation costs (e.g., GPT API costs). To address these limitations, in this work, we propose a multi-granularity tool-use benchmark for large language models called MTU-Bench. For the ‘multi-granularity’ property, our MTU-Bench covers five tool usage scenes (i.e., single-turn and single-tool, single-turn and multiple-tool, multiple-turn and single-tool, multiple-turn and multiple-tool, and out-of-distribution tasks). Besides, all evaluation metrics of our MTU-Bench are based on the prediction results and the ground truth without using any GPT or human evaluation metrics. Moreover, our MTU-Bench is collected by transforming existing high-quality datasets to simulate real-world tool usage scenarios, and we also propose an instruction dataset called MTU-Instruct data to enhance the tool-use abilities of existing LLMs. Comprehensive experimental results demonstrate the effectiveness of our MTU-Bench. Code and data will be released at https: //github.com/MTU-Bench-Team/MTU-Bench.git.

arxiv情報

著者 Pei Wang,Yanan Wu,Zekun Wang,Jiaheng Liu,Xiaoshuai Song,Zhongyuan Peng,Ken Deng,Chenchen Zhang,Jiakai Wang,Junran Peng,Ge Zhang,Hangyu Guo,Zhaoxiang Zhang,Wenbo Su,Bo Zheng
発行日 2024-10-15 15:46:17+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | MTU-Bench: A Multi-granularity Tool-Use Benchmark for Large Language Models はコメントを受け付けていません

Converging to a Lingua Franca: Evolution of Linguistic Regions and Semantics Alignment in Multilingual Large Language Models

投稿日: 2024年10月16日 作成者: jarxiv

要約

大規模言語モデル (LLM) は、特に多言語コンテキストにおいて顕著なパフォーマンスを実証しています。
最近の研究では、LLM がある言語で学習したスキルを他の言語に伝達できることが示唆されていますが、この能力の背後にある内部メカニズムは不明のままです。
私たちは、同じ言語を処理するときに LLM のニューロン活性化パターンが類似性を示すことを観察し、主要な言語領域の存在と位置を明らかにしました。
さらに、異なる言語で同じ意味を持つ文を処理する場合、ニューロンの活性化パターンは類似していることがわかりました。
これは、LLM が異なる言語からの意味的に同一の入力を、言語間で一貫した処理を可能にする共通の意味論的潜在空間である「リンガ フランカ」にマッピングしていることを示しています。
この意味論的な整合性は、トレーニングとモデル サイズの増加によってさらに顕著になり、その結果、より言語に依存しないアクティベーション パターンが生じます。
さらに、主要な言語ニューロンが LLM の最初と最後の層に集中しており、トレーニングが進むにつれて最初の層の密度が高くなることがわかりました。
BLOOM と LLaMA2 の実験はこれらの発見を裏付けており、トレーニングとスケールアップ中の多言語 LLM の構造的進化を強調しています。
このホワイトペーパーは、LLM の内部動作についての洞察を提供し、言語を超えた機能の将来の改善のための基盤を提供します。

要約(オリジナル)

Large language models (LLMs) have demonstrated remarkable performance, particularly in multilingual contexts. While recent studies suggest that LLMs can transfer skills learned in one language to others, the internal mechanisms behind this ability remain unclear. We observed that the neuron activation patterns of LLMs exhibit similarities when processing the same language, revealing the existence and location of key linguistic regions. Additionally, we found that neuron activation patterns are similar when processing sentences with the same semantic meaning in different languages. This indicates that LLMs map semantically identical inputs from different languages into a ‘Lingua Franca’, a common semantic latent space that allows for consistent processing across languages. This semantic alignment becomes more pronounced with training and increased model size, resulting in a more language-agnostic activation pattern. Moreover, we found that key linguistic neurons are concentrated in the first and last layers of LLMs, becoming denser in the first layers as training progresses. Experiments on BLOOM and LLaMA2 support these findings, highlighting the structural evolution of multilingual LLMs during training and scaling up. This paper provides insights into the internal workings of LLMs, offering a foundation for future improvements in their cross-lingual capabilities.

arxiv情報

著者 Hongchuan Zeng,Senyu Han,Lu Chen,Kai Yu
発行日 2024-10-15 15:49:15+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Converging to a Lingua Franca: Evolution of Linguistic Regions and Semantics Alignment in Multilingual Large Language Models はコメントを受け付けていません