SynGhost: Invisible and Universal Task-agnostic Backdoor Attack via Syntactic Transfer

投稿日: 2025年3月4日 作成者: jarxiv

要約

事前学習は顕著な性能を達成するが、データと学習メカニズムの脆弱性により、タスクに依存しないバックドア攻撃に悩まされる。これらの攻撃は、様々な下流タスクにバックドアを転送する可能性がある。本論文では、このようなリスクを軽減するエントロピーベースのポイズニングフィルタ$mathtt{maxEntropy}$を紹介する。手動のターゲット設定と明示的なトリガーの限界を克服するために、構文転送を介した不可視で普遍的なタスクにとらわれないバックドア攻撃である$mathtt{SynGhost}$を提案し、事前に訓練された言語モデル（PLM）の脆弱性をさらに暴露する。具体的には、$mathtt{SynGhost}$は、PLMの事前学習機能を維持しながら、コーパスポイズニングを通じて、複数の構文バックドアを事前学習空間に注入する。第二に、$mathtt{SynGhost}$は対比学習に基づいて最適なターゲットを適応的に選択し、事前学習空間に一様な分布を作る。構文の違いを識別するために、バックドア間の干渉を最小化するアウェアネスモジュールも導入する。実験により、$mathtt{SynGhost}$は重大な脅威を与え、様々な下流タスクに転移できることが示された。さらに、$mathtt{SynGhost}$はperplexity、fine-pruning、$mathtt{maxEntropy}$に基づく防御に抵抗する。コードはhttps://github.com/Zhou-CyberSecurity-AI/SynGhost。

要約(オリジナル)

Although pre-training achieves remarkable performance, it suffers from task-agnostic backdoor attacks due to vulnerabilities in data and training mechanisms. These attacks can transfer backdoors to various downstream tasks. In this paper, we introduce $\mathtt{maxEntropy}$, an entropy-based poisoning filter that mitigates such risks. To overcome the limitations of manual target setting and explicit triggers, we propose $\mathtt{SynGhost}$, an invisible and universal task-agnostic backdoor attack via syntactic transfer, further exposing vulnerabilities in pre-trained language models (PLMs). Specifically, $\mathtt{SynGhost}$ injects multiple syntactic backdoors into the pre-training space through corpus poisoning, while preserving the PLM’s pre-training capabilities. Second, $\mathtt{SynGhost}$ adaptively selects optimal targets based on contrastive learning, creating a uniform distribution in the pre-training space. To identify syntactic differences, we also introduce an awareness module to minimize interference between backdoors. Experiments show that $\mathtt{SynGhost}$ poses significant threats and can transfer to various downstream tasks. Furthermore, $\mathtt{SynGhost}$ resists defenses based on perplexity, fine-pruning, and $\mathtt{maxEntropy}$. The code is available at https://github.com/Zhou-CyberSecurity-AI/SynGhost.

arxiv情報

著者 Pengzhou Cheng,Wei Du,Zongru Wu,Fengwei Zhang,Libo Chen,Zhuosheng Zhang,Gongshen Liu
発行日 2025-03-03 06:34:48+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.AI, cs.CL, cs.CR | SynGhost: Invisible and Universal Task-agnostic Backdoor Attack via Syntactic Transfer はコメントを受け付けていません

SpikeLLM: Scaling up Spiking Neural Network to Large Language Models via Saliency-based Spiking

投稿日: 2025年3月4日 作成者: jarxiv

要約

近年、数十億ものパラメータを持つ大規模言語モデル（LLM）が進歩し、様々なアプリケーションで性能が向上しているが、その推論処理には多大なエネルギーと計算資源が必要である。一方、約860億個のニューロンを持つ人間の脳は、同様のパラメータを持つLLMよりもはるかにエネルギー効率が高い。これにヒントを得て、我々は、人間の脳の効率的な振る舞いをエミュレートする、生物学的に実現可能なスパイキング機構を用いて、700億パラメータのLLMを再設計する。我々は最初のスパイク大規模言語モデルSpikeLLMを提案する。提案モデルと結合して、スパイク学習効率を向上させる2つの本質的なアプローチを提案する：一般化Integrate-and-Fire (GIF)ニューロンにより、スパイク長を$T$から$log_2 L$に圧縮する。\GIFニューロンは、スパイク長を$T$から$log_2 L$ビットまで圧縮する。また、最適脳スパイクフレームワークにより、異常値チャンネルを分割し、異なる$T$をGIFニューロンに割り当てる。スパイク駆動LLMの必要性は、同様の演算を行う量子化LLMとの比較によって証明される。OmniQuantパイプラインにおいて、SpikeLLMはWikiText2のプレプレキシティを11.01%削減し、LLAMA-7B W4A4モデルの一般的なシーン推論の精度を2.55%向上させました。GPTQパイプラインでは、SpikeLLMは線形レイヤで直接加算を達成し、PB-LLMを大幅に上回ります。

要約(オリジナル)

Recent advancements in large language models (LLMs) with billions of parameters have improved performance in various applications, but their inference processes demand significant energy and computational resources. In contrast, the human brain, with approximately 86 billion neurons, is much more energy-efficient than LLMs with similar parameters. Inspired by this, we redesign 7$\sim$70 billion parameter LLMs using bio-plausible spiking mechanisms, emulating the efficient behavior of the human brain. We propose the first spiking large language model, SpikeLLM. Coupled with the proposed model, two essential approaches are proposed to improve spike training efficiency: Generalized Integrate-and-Fire (GIF) neurons to compress spike length from $T$ to $\frac{T}{L} \log_2 L$ bits, and an Optimal Brain Spiking framework to divide outlier channels and allocate different $T$ for GIF neurons, which further compresses spike length to approximate $log_2T$ bits. The necessity of spike-driven LLM is proved by comparison with quantized LLMs with similar operations. In the OmniQuant pipeline, SpikeLLM reduces 11.01% WikiText2 perplexity and improves 2.55% accuracy of common scene reasoning on a LLAMA-7B W4A4 model. In the GPTQ pipeline, SpikeLLM achieves direct additive in linear layers, significantly exceeding PB-LLMs.

arxiv情報

著者 Xingrun Xing,Boyan Gao,Zheng Zhang,David A. Clifton,Shitao Xiao,Li Du,Guoqi Li,Jiajun Zhang
発行日 2025-03-03 06:46:33+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.CL, cs.LG, cs.NE | SpikeLLM: Scaling up Spiking Neural Network to Large Language Models via Saliency-based Spiking はコメントを受け付けていません

Learning Efficient Recursive Numeral Systems via Reinforcement Learning

投稿日: 2025年3月4日 作成者: jarxiv

要約

強化学習（RL）を用いることで、エージェントが人間のものに似た単純な近似的・厳密な制限付き数詞体系を導出できることは以前に示されている（Carlsson, 2021）。しかし、RLのような単純な学習メカニズムによって、例えば英語のような、より複雑な再帰的数字システムがどのように生成されるかを示すことは大きな課題である。ここでは、効率的な再帰的数体系の出現を機械論的に説明するアプローチを紹介する。我々は、エージェントのペアが、相互作用を通して徐々に修正されるメタ文法を通して、数値量に関するコミュニケーション方法を学習することを考える。Hurfordのメタ文法（Hurford, 1975）は、最適化の結果、人間の数字システムで観察される標準的な慣習から逸脱したシステムになってしまうため、このアプリケーションには適さない。我々はこの問題を解決する簡単な修正を提案する。Hurfordのメタ文法を少し修正したものを利用することで、効率的なコミュニケーションを求める圧力によって形成された我々のRLエージェントが、その語彙をパレート最適構成に向けて効果的に修正できることを示す。

要約(オリジナル)

It has previously been shown that by using reinforcement learning (RL), agents can derive simple approximate and exact-restricted numeral systems that are similar to human ones (Carlsson, 2021). However, it is a major challenge to show how more complex recursive numeral systems, similar to for example English, could arise via a simple learning mechanism such as RL. Here, we introduce an approach towards deriving a mechanistic explanation of the emergence of efficient recursive number systems. We consider pairs of agents learning how to communicate about numerical quantities through a meta-grammar that can be gradually modified throughout the interactions. %We find that the seminal meta-grammar of Hurford (Hurford, 1975) is not suitable for this application as its optimization results in systems that deviate from standard conventions observed within human numeral systems. We propose a simple modification which addresses this issue. Utilising a slightly modified version of the meta-grammar of Hurford, we demonstrate that our RL agents, shaped by the pressures for efficient communication, can effectively modify their lexicon towards Pareto-optimal configurations which are comparable to those observed within human numeral systems in terms of their efficiency.

arxiv情報

著者 Andrea Silvi,Jonathan Thomas,Emil Carlsson,Devdatt Dubhashi,Moa Johansson
発行日 2025-03-03 07:02:20+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.CL | Learning Efficient Recursive Numeral Systems via Reinforcement Learning はコメントを受け付けていません

Subtle Errors Matter: Preference Learning via Error-injected Self-editing

投稿日: 2025年3月4日 作成者: jarxiv

要約

ラージ・ランゲージ・モデル（LLM）は、基本的な算数から高度な競技レベルの問題まで、幅広いタスクに取り組み、強力な数学的推論能力を示してきた。しかし、計算ミスや誤った置換など、微妙でありながら重大なミスが頻繁に発生するため、LLMの潜在能力は十分に発揮できない。数学的能力を向上させるための既存の研究では、段階的な解のペアに選好学習を適用することが一般的である。これらの方法は、推論エラーを軽減するために様々な粒度のサンプルを活用するが、重要な微妙なエラーを見落とす。RISEは、あらかじめ定義された微妙なエラーを推論や計算ステップの重要なトークンに注入し、エラー緩和のためのハードペアを構築する。詳細には、RISEはLLM自身を用いて、解の中の少数のトークンを編集し、設計された微妙なエラーを注入する。そして、自己編集された解とそれに対応する正しい解からなるペアと、サンプリングによって得られた正しい解と正しくない解のペアを、微妙な誤りを考慮したDPO学習に併用する。他の嗜好学習手法と比較して、RISEはきめ細かいサンプリングや嗜好注釈を必要とせずに、学習目的をさらに洗練させる。RISEの有効性は、Qwen2-7B-Instructでの嗜好学習により、わずか4.5Kの学習サンプルで、GSM8Kで3.0%、MATHで7.9%という顕著な改善が見られ、広範な実験により検証されている。さらに、エラー緩和の効果は数学的推論から論理的推論やコード生成にまで及ぶ。

要約(オリジナル)

Large Language Models (LLMs) have exhibited strong mathematical reasoning prowess, tackling tasks ranging from basic arithmetic to advanced competition-level problems. However, frequently occurring subtle yet critical errors, such as miscalculations or incorrect substitutions, limit the LLMs’ full potential. Existing studies to improve mathematical ability typically involve applying preference learning to step-wise solution pairs. Although these methods leverage samples of varying granularity to mitigate reasoning errors, they overlook critical subtle errors. In this work, we propose a novel preference learning framework called eRror-Injected Self-Editing (RISE), which injects predefined subtle errors into pivotal tokens in reasoning or computation steps to construct hard pairs for error mitigation. In detail, RISE uses the LLM itself to edit a small number of tokens in the solution, injecting designed subtle errors. Then, pairs composed of self-edited solutions and their corresponding correct ones, along with pairs of correct and incorrect solutions obtained through sampling, are used together for subtle error-aware DPO training. Compared with other preference learning methods, RISE further refines the training objective without requiring fine-grained sampling or preference annotation. Extensive experiments validate the effectiveness of RISE, with preference learning on Qwen2-7B-Instruct yielding notable improvements of 3.0% on GSM8K and 7.9% on MATH with only 4.5K training samples. Moreover, the effect of error mitigation extends from mathematical reasoning to logical reasoning and code generation.

arxiv情報

著者 Kaishuai Xu,Tiezheng Yu,Wenjun Hou,Yi Cheng,Chak Tou Leong,Liangyou Li,Xin Jiang,Lifeng Shang,Qun Liu,Wenjie Li
発行日 2025-03-03 07:09:42+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.AI, cs.CL | Subtle Errors Matter: Preference Learning via Error-injected Self-editing はコメントを受け付けていません

Learning to Align Multi-Faceted Evaluation: A Unified and Robust Framework

投稿日: 2025年3月4日 作成者: jarxiv

要約

大規模言語モデル(LLM)は、様々なシナリオにおける自動評価のために、ますます広範囲に使用されるようになってきている。これまでの研究では、GPT-4のような強力なプロプライエタリモデルの評価説明や判断を再現するために、オープンソースのLLMを微調整することが試みられてきた。しかし、これらの方法は、事前に定義された一般的な基準の下でのテキストベースの分析に大きく制限されており、その結果、未知の命令に対する適応性が低下し、定量的および構造的な制約の順守を評価する際に不安定であることを示している。これらの限界に対処するため、我々は新しい評価フレームワークであるARJudgeを提案する。ARJudgeは、適応的に評価基準を策定し、LLM応答を評価するためにテキストベース解析とコード駆動解析の両方を合成する。ARJudgeは、多面的な評価分析を生成するファインチューニングされたAnalyzerと、最終的な判定を行うためにすべての分析を組み合わせ、洗練させるチューニング不要のRefinerの2つのコンポーネントから構成される。我々は、Analyzerを訓練するために、テキストベースとコード駆動の分析生成に加えて、評価基準生成のタスクを統合した複合分析コーパスを構築した。我々の結果は、ARJudgeが既存のファインチューニングされた評価器を、有効性と頑健性において凌駕することを示している。さらに、評価能力を向上させる上で、多面的な評価とコード駆動型分析が重要であることを示している。

要約(オリジナル)

Large Language Models (LLMs) are being used more and more extensively for automated evaluation in various scenarios. Previous studies have attempted to fine-tune open-source LLMs to replicate the evaluation explanations and judgments of powerful proprietary models, such as GPT-4. However, these methods are largely limited to text-based analyses under predefined general criteria, resulting in reduced adaptability for unseen instructions and demonstrating instability in evaluating adherence to quantitative and structural constraints. To address these limitations, we propose a novel evaluation framework, ARJudge, that adaptively formulates evaluation criteria and synthesizes both text-based and code-driven analyses to evaluate LLM responses. ARJudge consists of two components: a fine-tuned Analyzer that generates multi-faceted evaluation analyses and a tuning-free Refiner that combines and refines all analyses to make the final judgment. We construct a Composite Analysis Corpus that integrates tasks for evaluation criteria generation alongside text-based and code-driven analysis generation to train the Analyzer. Our results demonstrate that ARJudge outperforms existing fine-tuned evaluators in effectiveness and robustness. Furthermore, it demonstrates the importance of multi-faceted evaluation and code-driven analyses in enhancing evaluation capabilities.

arxiv情報

著者 Kaishuai Xu,Tiezheng Yu,Wenjun Hou,Yi Cheng,Liangyou Li,Xin Jiang,Lifeng Shang,Qun Liu,Wenjie Li
発行日 2025-03-03 07:13:12+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.AI, cs.CL | Learning to Align Multi-Faceted Evaluation: A Unified and Robust Framework はコメントを受け付けていません

Test-Time Compute: from System-1 Thinking to System-2 Thinking

投稿日: 2025年3月4日 作成者: jarxiv

要約

複雑な推論におけるo1モデルの顕著な性能は、テスト時間の計算スケーリングがこのモデルの潜在能力をさらに引き出し、強力なSystem-2思考を可能にすることを示している。しかし、テストタイム・コンピューティング・スケーリングに関する包括的な調査はまだ不足している。テスト時間計算の概念をSystem-1モデルまで遡る。System-1モデルでは、テストタイム・コンピュートは、分布のシフトに対処し、パラメータ更新、入力修正、表現編集、出力校正を通じて、ロバスト性と汎化性を向上させます。System-2モデルでは、繰り返しサンプリング、自己修正、ツリー探索を通じて、複雑な問題を解決するモデルの推論能力を向上させる。我々は、System-1モデルから弱いSystem-2モデル、そして強いSystem-2モデルへの移行におけるテスト時間計算の重要な役割に焦点を当てながら、System-1からSystem-2への思考のトレンドに従ってこのサーベイを整理する。また、今後の方向性についても言及する。

要約(オリジナル)

The remarkable performance of the o1 model in complex reasoning demonstrates that test-time compute scaling can further unlock the model’s potential, enabling powerful System-2 thinking. However, there is still a lack of comprehensive surveys for test-time compute scaling. We trace the concept of test-time compute back to System-1 models. In System-1 models, test-time compute addresses distribution shifts and improves robustness and generalization through parameter updating, input modification, representation editing, and output calibration. In System-2 models, it enhances the model’s reasoning ability to solve complex problems through repeated sampling, self-correction, and tree search. We organize this survey according to the trend of System-1 to System-2 thinking, highlighting the key role of test-time compute in the transition from System-1 models to weak System-2 models, and then to strong System-2 models. We also point out a few possible future directions.

arxiv情報

著者 Yixin Ji,Juntao Li,Hai Ye,Kaixin Wu,Kai Yao,Jia Xu,Linjian Mo,Min Zhang
発行日 2025-03-03 07:16:16+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.AI, cs.CL, cs.LG | Test-Time Compute: from System-1 Thinking to System-2 Thinking はコメントを受け付けていません

DailyDilemmas: Revealing Value Preferences of LLMs with Quandaries of Daily Life

投稿日: 2025年3月4日 作成者: jarxiv

要約

日常生活における意思決定において、ユーザーがLLMのガイダンスを求めることが増えているが、こうした意思決定の多くは明確なものではなく、人々の個人的価値観や倫理基準に大きく依存している。我々は、日常生活で遭遇する1,360の道徳的ジレンマのデータセットであるDailyDilemmasを紹介する。それぞれのジレンマは、2つの可能な行動と、影響を受ける当事者、それぞれの行動に関連する人間の価値観を提示している。これらのジレンマに基づき、対人関係、職場、環境問題など、日常の様々なトピックを網羅する人間の価値観のリポジトリを収集する。DailyDilemmasでは、これらのジレンマについてLLMを評価し、LLMがどのような行動を選択するか、またその行動の選択によってどのような価値観が示されるかを判断します。そして、「世界価値観調査」、「道徳的基礎理論」、「マズローの欲求階層説」、「アリストテレスの徳目」、「プラッチックの感情の輪」など、社会学、心理学、哲学にヒントを得た5つの理論的枠組みを通して価値観を分析します。例えば、LLMは「世界価値観調査」において生存よりも自己表現に、「道徳的基礎理論」において忠誠心よりも気遣いに最も近いことがわかった。興味深いことに、いくつかの中核的価値観については、モデルによって選好が大きく異なることがわかった。例えば、真実性については、Mixtral-8x7Bが9.7％無視するのに対し、GPT-4-turboは9.4％選択する。また、OpenAI(ModelSpec)とAnthropic(Constitutional AI)が最近発表したガイダンスを研究し、日常生活で微妙な道徳的推論に直面したときに、彼らの指定した原則がモデルの実際の価値優先順位をどのように反映しているかを理解する。最後に、我々は、エンドユーザーがシステムのプロンプトを使用して効果的にそのような優先順位付けを操縦することができないことを発見した。

要約(オリジナル)

As users increasingly seek guidance from LLMs for decision-making in daily life, many of these decisions are not clear-cut and depend significantly on the personal values and ethical standards of people. We present DailyDilemmas, a dataset of 1,360 moral dilemmas encountered in everyday life. Each dilemma presents two possible actions, along with affected parties and relevant human values for each action. Based on these dilemmas, we gather a repository of human values covering diverse everyday topics, such as interpersonal relationships, workplace, and environmental issues. With DailyDilemmas, we evaluate LLMs on these dilemmas to determine what action they will choose and the values represented by these action choices. Then, we analyze values through the lens of five theoretical frameworks inspired by sociology, psychology, and philosophy, including the World Values Survey, Moral Foundations Theory, Maslow’s Hierarchy of Needs, Aristotle’s Virtues, and Plutchik’s Wheel of Emotions. For instance, we find LLMs are most aligned with self-expression over survival in World Values Survey and care over loyalty in Moral Foundations Theory. Interestingly, we find substantial preference differences in models for some core values. For example, for truthfulness, Mixtral-8x7B neglects it by 9.7% while GPT-4-turbo selects it by 9.4%. We also study the recent guidance released by OpenAI (ModelSpec), and Anthropic (Constitutional AI) to understand how their designated principles reflect their models’ actual value prioritization when facing nuanced moral reasoning in daily-life settings. Finally, we find that end users cannot effectively steer such prioritization using system prompts.

arxiv情報

著者 Yu Ying Chiu,Liwei Jiang,Yejin Choi
発行日 2025-03-03 07:20:54+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.AI, cs.CL, cs.LG | DailyDilemmas: Revealing Value Preferences of LLMs with Quandaries of Daily Life はコメントを受け付けていません

Enabling Auditory Large Language Models for Automatic Speech Quality Evaluation

投稿日: 2025年3月4日 作成者: jarxiv

要約

音声品質評価では通常、平均オピニオンスコア(MOS)や話者類似度(SIM)等の複数の側面から音声を評価する必要があり、単一のタスクのために設計された1つの小さなモデルでカバーすることは困難である。本論文では、最近導入された聴覚大規模言語モデル（LLM）を活用した自動音声品質評価を提案する。タスクに特化したプロンプトを採用することで、聴覚LLMを微調整し、音声合成システムの評価によく使われるMOS、SIM、A/Bテストの結果を予測する。さらに、微調整された聴覚LLMは、雑音、歪み、不連続性、全体的な品質などの側面を評価する自然言語記述を生成することができ、より解釈しやすい出力を提供する。SALMONN、Qwen-Audio、Qwen2-Audioなどのオープンソースの聴覚LLMを用いて、NISQA、BVCC、SOMOS、VoxSimの各音質データセットで広範な実験を行った。自然言語記述タスクについては、商用モデルのGoogle Gemini 1.5 Proも評価した。その結果、聴覚LLMは、MOSとSIMの予測において、最新のタスク固有小型モデルと比較して競争力のある性能を達成し、A/Bテストと自然言語記述においても有望な結果をもたらすことが実証された。我々のデータ処理スクリプトと微調整されたモデルのチェックポイントは、https://github.com/bytedance/SALMONN。

要約(オリジナル)

Speech quality assessment typically requires evaluating audio from multiple aspects, such as mean opinion score (MOS) and speaker similarity (SIM) \etc., which can be challenging to cover using one small model designed for a single task. In this paper, we propose leveraging recently introduced auditory large language models (LLMs) for automatic speech quality assessment. By employing task-specific prompts, auditory LLMs are finetuned to predict MOS, SIM and A/B testing results, which are commonly used for evaluating text-to-speech systems. Additionally, the finetuned auditory LLM is able to generate natural language descriptions assessing aspects like noisiness, distortion, discontinuity, and overall quality, providing more interpretable outputs. Extensive experiments have been performed on the NISQA, BVCC, SOMOS and VoxSim speech quality datasets, using open-source auditory LLMs such as SALMONN, Qwen-Audio, and Qwen2-Audio. For the natural language descriptions task, a commercial model Google Gemini 1.5 Pro is also evaluated. The results demonstrate that auditory LLMs achieve competitive performance compared to state-of-the-art task-specific small models in predicting MOS and SIM, while also delivering promising results in A/B testing and natural language descriptions. Our data processing scripts and finetuned model checkpoints can be found at https://github.com/bytedance/SALMONN.

arxiv情報

著者 Siyin Wang,Wenyi Yu,Yudong Yang,Changli Tang,Yixuan Li,Jimin Zhuang,Xianzhao Chen,Xiaohai Tian,Jun Zhang,Guangzhi Sun,Lu Lu,Chao Zhang
発行日 2025-03-03 07:22:54+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.CL, cs.SD, eess.AS | Enabling Auditory Large Language Models for Automatic Speech Quality Evaluation はコメントを受け付けていません

Selected Languages are All You Need for Cross-lingual Truthfulness Transfer

投稿日: 2025年3月4日 作成者: jarxiv

要約

大規模言語モデル（Large Language Models: LLMs）にとって、真理性は不可欠な課題である。多くの研究が真実性向上のための様々な方法を開発しているが、多言語シナリオにおける真実性に焦点を当てることはほとんどない。一方、現代の多言語整列技術は、多数の言語のバランスを取るのに苦労しており、異なる言語間、特に英語と大きく異なる言語間で、しばしば深刻な真実性のギャップを示す。我々の研究では、真実性評価を多言語コンテキストに拡張し、FaMSS（Fact-aware Multilingual Selective Synergy）と呼ばれるクロスリンガル真実性伝達のための実用的な方法を提案する。FaMSSは、言語バイアスと伝達貢献度によってテストされた全ての言語の最適なサブセットを選択し、クロスリンガル真実性伝達のための翻訳指示チューニングを採用することができる。実験結果は、我々のアプローチが効果的に多言語表現の不一致を減らし、LLMのクロスリンガル真実性伝達を促進できることを示している。

要約(オリジナル)

Truthfulness stands out as an essential challenge for Large Language Models (LLMs). Although many works have developed various ways for truthfulness enhancement, they seldom focus on truthfulness in multilingual scenarios. Meanwhile, contemporary multilingual aligning technologies struggle to balance numerous languages and often exhibit serious truthfulness gaps across different languages, especially those that differ greatly from English. In our work, we extend truthfulness evaluation to multilingual contexts and propose a practical method for cross-lingual truthfulness transfer called Fact-aware Multilingual Selective Synergy (FaMSS). FaMSS is able to select an optimal subset of all tested languages by language bias and transfer contributions, and then employ translation instruction tuning for cross-lingual truthfulness transfer. Experimental results demonstrate that our approach can effectively reduce the multilingual representation disparity and boost cross-lingual truthfulness transfer of LLMs.

arxiv情報

著者 Weihao Liu,Ning Wu,Wenbiao Ding,Shining Liang,Ming Gong,Dongmei Zhang
発行日 2025-03-03 07:36:49+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.CL | Selected Languages are All You Need for Cross-lingual Truthfulness Transfer はコメントを受け付けていません

Dynamics of Instruction Fine-Tuning for Chinese Large Language Models

投稿日: 2025年3月4日 作成者: jarxiv

要約

インストラクションチューニングは、大規模言語モデル（LLM）の一般的な知能を引き出すための方法として急成長している。多くの研究が英語モデルにおけるデータ量やモデルサイズの影響を調査しているが、他の言語におけるインストラクションチューニングのスケーリング特性はほとんど調査されていない。本研究では、中国語LLMのインストラクションチューニングにおけるデータ量、モデルサイズ、データ構築方法の影響を系統的に調査する。このデータセットには、創造的な文章作成、コード生成、論理的推論など、10の基本的な能力をカバーする40,000以上の高品質なインストラクションインスタンスが含まれている。(i)これらの因子はモデル全体の性能に直接影響を与えるが、スケーリングにより反応する能力もあれば、大きな抵抗を示す能力もある。(ii)これらの要因に対するさまざまな能力のスケーリング感度は、2つの特徴によって説明できる：複雑さ」と「転移」である。(iii)様々な感受性の違いに合わせてトレーニング戦略を調整することで、特定の能力を効率的に学習することができ、2つの公開ベンチマークでのパフォーマンスを向上させることができる。

要約(オリジナル)

Instruction tuning is a burgeoning method to elicit the general intelligence of Large Language Models (LLMs). While numerous studies have examined the impact of factors such as data volume and model size on English models, the scaling properties of instruction tuning in other languages remain largely unexplored. In this work, we systematically investigate the effects of data quantity, model size, and data construction methods on instruction tuning for Chinese LLMs. We utilize a newly curated dataset, DoIT, which includes over 40,000 high-quality instruction instances covering ten underlying abilities, such as creative writing, code generation, and logical reasoning. Our experiments, conducted on models ranging from 7b to 33b parameters, yield three key findings: (i) While these factors directly affect overall model performance, some abilities are more responsive to scaling, whereas others demonstrate significant resistance. (ii) The scaling sensitivity of different abilities to these factors can be explained by two features: Complexity and Transference. (iii) By tailoring training strategies to their varying sensitivities, specific abilities can be efficiently learned, enhancing performance on two public benchmarks.

arxiv情報

著者 Chiyu Song,Zhanchao Zhou,Jianhao Yan,Yuejiao Fei,Zhenzhong Lan,Yue Zhang
発行日 2025-03-03 07:49:17+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.CL | Dynamics of Instruction Fine-Tuning for Chinese Large Language Models はコメントを受け付けていません