Advancing STT for Low-Resource Real-World Speech

要約

スイスのドイツ語は、標準的なドイツ語と互いに大きく異なる多様な方言で表される低リソースの言語です。
その結果、スイスのドイツ語を転写するには、標準的なドイツ語への翻訳が含まれます。
既存のデータセットは制御された環境で収集されており、効果的な音声からテキスト(STT)モデルが生成されますが、これらのモデルは自発的な会話スピーチに苦しんでいます。
したがって、このペーパーでは、39スイスのドイツのラジオ局とテレビ局からの実際の長いオーディオ録音を特徴とする300時間の注釈付き音声コーパスである新しいSRB-300データセットを紹介します。
さまざまな現実的な環境で記録されたすべての主要なスイス方言で自発的なスピーチをキャプチャし、以前の文レベルのコーパスの制限を克服します。
SRB-300データセットで複数のOpenai Whisperモデルを微調整し、以前のゼロショットパフォーマンスメトリックで顕著な拡張機能を達成しました。
ワードエラー率(WER)の改善は19%から33%の範囲でしたが、BLEUスコアは8%から40%増加しました。
最高の微調整されたモデルであるLarge-V3は、17.1%のWERと74.8のBLEUスコアを達成しました。
この進歩は、スイスのドイツ語およびその他の低リソース言語のための効果的で堅牢なSTTシステムを実際のコンテキストで開発するために重要です。

要約(オリジナル)

Swiss German is a low-resource language represented by diverse dialects that differ significantly from Standard German and from each other, lacking a standardized written form. As a result, transcribing Swiss German involves translating into Standard German. Existing datasets have been collected in controlled environments, yielding effective speech-to-text (STT) models, but these models struggle with spontaneous conversational speech. This paper, therefore, introduces the new SRB-300 dataset, a 300-hour annotated speech corpus featuring real-world long-audio recordings from 39 Swiss German radio and TV stations. It captures spontaneous speech across all major Swiss dialects recorded in various realistic environments and overcomes the limitation of prior sentence-level corpora. We fine-tuned multiple OpenAI Whisper models on the SRB-300 dataset, achieving notable enhancements over previous zero-shot performance metrics. Improvements in word error rate (WER) ranged from 19% to 33%, while BLEU scores increased between 8% and 40%. The best fine-tuned model, large-v3, achieved a WER of 17.1% and a BLEU score of 74.8. This advancement is crucial for developing effective and robust STT systems for Swiss German and other low-resource languages in real-world contexts.

arxiv情報

著者 Flavio D’Intino,Hans-Peter Hutter
発行日 2025-06-10 14:22:48+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.HC | Advancing STT for Low-Resource Real-World Speech はコメントを受け付けていません

Position: Editing Large Language Models Poses Serious Safety Risks

要約

大規模な言語モデル(LLM)には、世界に関する大量の事実が含まれています。
これらの事実は時間とともに時代遅れになる可能性があり、それが限られた副作用でLLMの特定の事実を変更できる知識編集方法(KES)の開発につながりました。
このポジションペーパーでは、LLMSの編集は、見過ごされている深刻な安全リスクをもたらすと主張しています。
まず、KESが広く利用可能で、計算的に安価で、非常にパフォーマンスが高く、ステルスであるという事実に注意してください。
第二に、KESの悪意のあるユースケースについて説明し、KESをさまざまな悪意のある目的に簡単に適合させる方法を示します。
第三に、AIエコシステムの脆弱性を強調し、検証なしで更新されたモデルの無制限のアップロードとダウンロードを可能にします。
第四に、私たちは、社会的および制度的意識の欠如がこのリスクを悪化させ、異なる利害関係者への影響を議論すると主張します。
コミュニティに、(i)悪意のあるモデルの編集に対する改ざん耐性モデルと対策を調査し、(ii)AIエコシステムの保護に積極的に関与しています。

要約(オリジナル)

Large Language Models (LLMs) contain large amounts of facts about the world. These facts can become outdated over time, which has led to the development of knowledge editing methods (KEs) that can change specific facts in LLMs with limited side effects. This position paper argues that editing LLMs poses serious safety risks that have been largely overlooked. First, we note the fact that KEs are widely available, computationally inexpensive, highly performant, and stealthy makes them an attractive tool for malicious actors. Second, we discuss malicious use cases of KEs, showing how KEs can be easily adapted for a variety of malicious purposes. Third, we highlight vulnerabilities in the AI ecosystem that allow unrestricted uploading and downloading of updated models without verification. Fourth, we argue that a lack of social and institutional awareness exacerbates this risk, and discuss the implications for different stakeholders. We call on the community to (i) research tamper-resistant models and countermeasures against malicious model editing, and (ii) actively engage in securing the AI ecosystem.

arxiv情報

著者 Paul Youssef,Zhixue Zhao,Daniel Braun,Jörg Schlötterer,Christin Seifert
発行日 2025-06-10 14:34:08+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Position: Editing Large Language Models Poses Serious Safety Risks はコメントを受け付けていません

Fusing Bidirectional Chains of Thought and Reward Mechanisms A Method for Enhancing Question-Answering Capabilities of Large Language Models for Chinese Intangible Cultural Heritage

要約

大規模な言語モデル(LLMS)の急速な発展は、ドメイン固有のLLMの進歩の大きなサポートと機会を提供しています。
ただし、無形の文化遺産(ICH)データを使用してこれらの大規模なモデルを微調整すると、バイアス、誤った知識の継承、壊滅的な忘却などの課題に必然的に直面しています。
これらの問題に対処するために、双方向の思考チェーンと報酬メカニズムを統合する新しいトレーニング方法を提案します。
この方法は、無形の文化遺産の分野向けに特別に設計された大規模な言語モデルであるIch-Qwenに基づいて構築されています。
提案された方法により、モデルは前向きな推論を実行するだけでなく、逆の質問と逆の推論を利用してモデルの潜在的な知識をアクティブにすることにより、生成された回答の精度を高めることができます。
さらに、意思決定プロセスを最適化するためのトレーニング中に報酬メカニズムが導入されます。
このメカニズムは、さまざまな重み付けスキームを使用した構造およびコンテンツ評価を通じて、モデルの出力の品質を改善します。
私たちは、ICH-QWENで比較実験を実施し、結果が質問を回答するタスクで、精度、BLE-4、およびRouge-Lスコアの観点から、私たちの方法が0ショット、ステップバイステップの推論、知識の蒸留、および質問の増強方法を上回ることを実証します。
さらに、この論文は、アブレーション実験を通じて思考の双方向と報酬メカニズムを組み合わせることの有効性を強調しています。
さらに、一連の一般化可能性実験が行われ、提案された方法が金融、ウィキダタ、戦略QAなどの分野でさまざまなドメイン固有のデータセットと高度なモデルの改善をもたらすことを示しています。
これは、この方法が複数のドメインに適応できることを示しており、多様な分野での将来のアプリケーションでのモデルトレーニングに貴重なアプローチを提供します。

要約(オリジナル)

The rapid development of large language models (LLMs) has provided significant support and opportunities for the advancement of domain-specific LLMs. However, fine-tuning these large models using Intangible Cultural Heritage (ICH) data inevitably faces challenges such as bias, incorrect knowledge inheritance, and catastrophic forgetting. To address these issues, we propose a novel training method that integrates a bidirectional chains of thought and a reward mechanism. This method is built upon ICH-Qwen, a large language model specifically designed for the field of intangible cultural heritage. The proposed method enables the model to not only perform forward reasoning but also enhances the accuracy of the generated answers by utilizing reverse questioning and reverse reasoning to activate the model’s latent knowledge. Additionally, a reward mechanism is introduced during training to optimize the decision-making process. This mechanism improves the quality of the model’s outputs through structural and content evaluations with different weighting schemes. We conduct comparative experiments on ICH-Qwen, with results demonstrating that our method outperforms 0-shot, step-by-step reasoning, knowledge distillation, and question augmentation methods in terms of accuracy, Bleu-4, and Rouge-L scores on the question-answering task. Furthermore, the paper highlights the effectiveness of combining the bidirectional chains of thought and reward mechanism through ablation experiments. In addition, a series of generalizability experiments are conducted, with results showing that the proposed method yields improvements on various domain-specific datasets and advanced models in areas such as Finance, Wikidata, and StrategyQA. This demonstrates that the method is adaptable to multiple domains and provides a valuable approach for model training in future applications across diverse fields.

arxiv情報

著者 Ruilin Liu,Zhixiao Zhao,Jieqiong Li,Chang Liu,Dongbo Wang
発行日 2025-06-10 14:34:45+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Fusing Bidirectional Chains of Thought and Reward Mechanisms A Method for Enhancing Question-Answering Capabilities of Large Language Models for Chinese Intangible Cultural Heritage はコメントを受け付けていません

Poro 34B and the Blessing of Multilinguality

要約

最先端の大規模な言語モデルの事前供与には、数兆の単語のテキストが必要です。
複数の言語にテキストを含めることは、より多くの事前トレーニングデータを取得するための明白な方法ですが、多言語性はしばしば呪いと見なされ、ほとんどのモデルトレーニングの取り組みは個々の大手言語にほぼ焦点を当て続けています。
多言語性は祝福になる可能性があると考えています。トレーニングデータの不足がターゲット言語のより大きなモデルを効果的にトレーニングするための制約である場合、他の言語でデータセットを増強すると、その言語の単一言語モデルの機能を改善する方法が提供されます。
この研究では、フィンランド語、英語、プログラミング言語の1兆トークンで訓練された340億個のパラメーターモデルであるPoro 34Bを導入し、多言語トレーニングアプローチがフィンランド語の既存のモデルの能力を大幅に進め、翻訳に拡大するモデルを生成し、英語とプログラミング言語のクラスで競争力のあるパフォーマンスを達成できることを実証します。
https://huggingface.co/lumiopen/poro-34bで、オープンライセンスの下でモデルパラメーター、スクリプト、およびデータをリリースします。

要約(オリジナル)

The pretraining of state-of-the-art large language models now requires trillions of words of text, which is orders of magnitude more than available for the vast majority of languages. While including text in more than one language is an obvious way to acquire more pretraining data, multilinguality is often seen as a curse, and most model training efforts continue to focus near-exclusively on individual large languages. We believe that multilinguality can be a blessing: when the lack of training data is a constraint for effectively training larger models for a target language, augmenting the dataset with other languages can offer a way to improve over the capabilities of monolingual models for that language. In this study, we introduce Poro 34B, a 34 billion parameter model trained for 1 trillion tokens of Finnish, English, and programming languages, and demonstrate that a multilingual training approach can produce a model that substantially advances over the capabilities of existing models for Finnish and excels in translation, while also achieving competitive performance in its class for English and programming languages. We release the model parameters, scripts, and data under open licenses at https://huggingface.co/LumiOpen/Poro-34B.

arxiv情報

著者 Risto Luukkonen,Jonathan Burdge,Elaine Zosa,Aarne Talman,Ville Komulainen,Väinö Hatanpää,Peter Sarlin,Sampo Pyysalo
発行日 2025-06-10 15:06:59+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Poro 34B and the Blessing of Multilinguality はコメントを受け付けていません

AdversariaL attacK sAfety aLIgnment(ALKALI): Safeguarding LLMs through GRACE: Geometric Representation-Aware Contrastive Enhancement- Introducing Adversarial Vulnerability Quality Index (AVQI)

要約

LLMに対する敵対的な脅威は、現在の防御が適応できるよりも速くエスカレートしています。
重要な幾何学的死角を整列させます:敵対的なプロンプトは潜在的なカモフラージュを活用し、安全でない意図をコードしながら安全な表現マニホールドに危険にさらされ、直接的な誘惑最適化(DPO)のような表面緩和を回避します。
3つのマクロカテゴリ、6つのサブタイプ、15の攻撃ファミリーにわたって、最初の厳密にキュレーションされた敵対的なベンチマークであり、これまでで最も包括的な9,000プロンプトに及ぶアルカリを紹介します。
21の主要なLLMSの評価により、オープンソースモデルとクローズドソースモデルの両方で驚くほど高い攻撃成功率(ASR)が明らかになり、潜在的な脆弱性と呼ばれる潜在的な脆弱性を暴露します。
この脆弱性を緩和するために、Grace -Geometric Lepressation eal areare Contrastive Enhancement、Alignment Frameworkのカップリング優先学習を潜在的な空間の正則化と紹介します。
グレースは、2つの制約を実施します。安全性と敵対的な完了の間の潜在的な分離と、危険な行動と脱獄行動の間の敵対的な結束です。
これらは、学習した注意プロファイルによって誘導された層状にプールされた埋め込みを介して動作し、ベースモデルを変更せずに内部ジオメトリを再形成し、最大39%のASR削減を達成します。
さらに、クラスター分離とコンパクトさを介して潜在的なアライメント障害を定量化する幾何学的認識メトリックであるAvqiを紹介します。
Avqiは、安全でない完了が安全なもののジオメトリを模倣したときに明らかになり、モデルが内部的に安全性をエンコードする方法に原則的なレンズを提供します。
https://anonymous.4open.science/r/alkali-b416/readme.mdでコードを公開しています。

要約(オリジナル)

Adversarial threats against LLMs are escalating faster than current defenses can adapt. We expose a critical geometric blind spot in alignment: adversarial prompts exploit latent camouflage, embedding perilously close to the safe representation manifold while encoding unsafe intent thereby evading surface level defenses like Direct Preference Optimization (DPO), which remain blind to the latent geometry. We introduce ALKALI, the first rigorously curated adversarial benchmark and the most comprehensive to date spanning 9,000 prompts across three macro categories, six subtypes, and fifteen attack families. Evaluation of 21 leading LLMs reveals alarmingly high Attack Success Rates (ASRs) across both open and closed source models, exposing an underlying vulnerability we term latent camouflage, a structural blind spot where adversarial completions mimic the latent geometry of safe ones. To mitigate this vulnerability, we introduce GRACE – Geometric Representation Aware Contrastive Enhancement, an alignment framework coupling preference learning with latent space regularization. GRACE enforces two constraints: latent separation between safe and adversarial completions, and adversarial cohesion among unsafe and jailbreak behaviors. These operate over layerwise pooled embeddings guided by a learned attention profile, reshaping internal geometry without modifying the base model, and achieve up to 39% ASR reduction. Moreover, we introduce AVQI, a geometry aware metric that quantifies latent alignment failure via cluster separation and compactness. AVQI reveals when unsafe completions mimic the geometry of safe ones, offering a principled lens into how models internally encode safety. We make the code publicly available at https://anonymous.4open.science/r/alkali-B416/README.md.

arxiv情報

著者 Danush Khanna,Krishna Kumar,Basab Ghosh,Vinija Jain,Vasu Sharma,Aman Chadha,Amitava Das
発行日 2025-06-10 15:14:17+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG | AdversariaL attacK sAfety aLIgnment(ALKALI): Safeguarding LLMs through GRACE: Geometric Representation-Aware Contrastive Enhancement- Introducing Adversarial Vulnerability Quality Index (AVQI) はコメントを受け付けていません

A Decomposition-Based Approach for Evaluating and Analyzing Inter-Annotator Disagreement

要約

既存の注釈を別々のレベルに概念的に分解する新しい方法を提案し、各レベルでのアノテーター間の不一致の分析を個別に可能にします。
このアプローチを実現するために、2つの異なる戦略を提案します。理論的に主導された戦略では、研究者が注釈タスクの事前知識に基づいて分解を定義し、探索に基づいたものを定義します。
ナラティブ分析のために最近構築されたデータセットを使用ケースとして利用して、2つの戦略のそれぞれを適用して、注釈の意見の源に関する仮説のテストにおけるアプローチの可能性を実証し、注釈タスク内の潜在的な構造と関係を明らかにします。
私たちは、私たちのアプローチを拡張し、一般化する方法を提案し、他の目的に使用する方法を提案することで締めくくります。

要約(オリジナル)

We propose a novel method to conceptually decompose an existing annotation into separate levels, allowing the analysis of inter-annotators disagreement in each level separately. We suggest two distinct strategies in order to actualize this approach: a theoretically-driven one, in which the researcher defines a decomposition based on prior knowledge of the annotation task, and an exploration-based one, in which many possible decompositions are inductively computed and presented to the researcher for interpretation and evaluation. Utilizing a recently constructed dataset for narrative analysis as our use-case, we apply each of the two strategies to demonstrate the potential of our approach in testing hypotheses regarding the sources of annotation disagreements, as well as revealing latent structures and relations within the annotation task. We conclude by suggesting how to extend and generalize our approach, as well as use it for other purposes.

arxiv情報

著者 Effi Levi,Shaul R. Shenhav
発行日 2025-06-10 15:26:54+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | A Decomposition-Based Approach for Evaluating and Analyzing Inter-Annotator Disagreement はコメントを受け付けていません

Enhancing Arabic Automated Essay Scoring with Synthetic Data and Error Injection

要約

自動エッセイスコアリング(AES)は、言語学習者の執筆品質を評価し、ワークロードを削減し、リアルタイムのフィードバックを提供する上で重要な役割を果たします。
注釈付きのエッセイデータセットの欠如は、アラビアAESシステムの開発を阻害します。
このペーパーでは、大規模な言語モデル(LLMS)とトランスモデルを活用して、AEの合成アラビア語のエッセイを生成します。
LLMに、共通の欧州参照フレームワーク(CEFR)の習熟度レベル全体にエッセイを生成し、2つのアプローチを導入してエラーインジェクションに比較するように促します。
2つの方法を使用してエラーが注入された3,040の注釈付きエッセイのデータセットを作成します。
さらに、CEFRレベルに校正されたBertベースのアラビアAESシステムを開発します。
実験結果は、アラビア語のAESパフォーマンスの向上における合成データセットの有効性を示しています。
コードとデータを公開しています。

要約(オリジナル)

Automated Essay Scoring (AES) plays a crucial role in assessing language learners’ writing quality, reducing grading workload, and providing real-time feedback. The lack of annotated essay datasets inhibits the development of Arabic AES systems. This paper leverages Large Language Models (LLMs) and Transformer models to generate synthetic Arabic essays for AES. We prompt an LLM to generate essays across the Common European Framework of Reference (CEFR) proficiency levels and introduce and compare two approaches to error injection. We create a dataset of 3,040 annotated essays with errors injected using our two methods. Additionally, we develop a BERT-based Arabic AES system calibrated to CEFR levels. Our experimental results demonstrate the effectiveness of our synthetic dataset in improving Arabic AES performance. We make our code and data publicly available.

arxiv情報

著者 Chatrine Qwaider,Bashar Alhafni,Kirill Chirkunov,Nizar Habash,Ted Briscoe
発行日 2025-06-10 15:32:29+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Enhancing Arabic Automated Essay Scoring with Synthetic Data and Error Injection はコメントを受け付けていません

Dialect Normalization using Large Language Models and Morphological Rules

要約

自然言語理解システムは、高リソースの言語の多くの方言を含む、リソースの低い言語と格闘しています。
方言から標準の正規化は、方言テキストを下流に使用できるように方言テキストを変換することにより、この問題に取り組むことを試みます。
この研究では、並列データを必要とせずに、ルールベースの言語的に情報に基づいた変換と大規模な言語モデル(LLM)とターゲットを絞った少数のプロンプトと組み合わせた新しい正規化方法を導入することにより、このタスクに取り組みます。
ギリシャ語の方言の方法を実装し、地域のことわざのデータセットに適用し、人間のアノテーターを使用して出力を評価します。
次に、このデータセットを使用して下流の実験を行い、これらのことわざに関する以前の結果は、正書法のアーティファクトを含む表面的な言語情報のみに依存していることを発見しましたが、残りの意味論を通して新しい観察を行うことができます。

要約(オリジナル)

Natural language understanding systems struggle with low-resource languages, including many dialects of high-resource ones. Dialect-to-standard normalization attempts to tackle this issue by transforming dialectal text so that it can be used by standard-language tools downstream. In this study, we tackle this task by introducing a new normalization method that combines rule-based linguistically informed transformations and large language models (LLMs) with targeted few-shot prompting, without requiring any parallel data. We implement our method for Greek dialects and apply it on a dataset of regional proverbs, evaluating the outputs using human annotators. We then use this dataset to conduct downstream experiments, finding that previous results regarding these proverbs relied solely on superficial linguistic information, including orthographic artifacts, while new observations can still be made through the remaining semantics.

arxiv情報

著者 Antonios Dimakis,John Pavlopoulos,Antonios Anastasopoulos
発行日 2025-06-10 15:34:34+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, I.2.7 | Dialect Normalization using Large Language Models and Morphological Rules はコメントを受け付けていません

FaithfulRAG: Fact-Level Conflict Modeling for Context-Faithful Retrieval-Augmented Generation

要約

検索システムで増強された大規模な言語モデル(LLMS)は、知識集約型タスクの処理において重大な可能性を示しています。
ただし、これらのモデルは不忠実さの問題に苦労し、検索されたコンテキストを無視する出力を生成するか、LLMのパラメトリックな知識と一貫性のないブレンドを生成します。
この問題は、検索されたコンテキストがモデルのパラメトリック知識と矛盾する知識の競合の場合に特に深刻です。
既存の忠実なぼろきれアプローチは、適切に設計されたプロンプトまたは修正されたデコード戦略を通じて厳格なコンテキストの順守を強制しますが、分析は重要な制限を明らかにします。モデルの内部知識構造を弱体化させ、コンテキストを誤解させるリスクを高めるモデルのパラメトリック知識を強制的に抑制することで忠実さを達成します。
この目的のために、このペーパーでは、モデルのパラメトリック知識と取得されたコンテキストの間の不一致を明示的にモデル化することにより、知識の競合を解決する新しいフレームワークである忠実なフレームワークを提案します。
具体的には、忠実なことは、事実レベルで矛盾する知識を特定し、自己考えのプロセスを設計し、LLMが対立する事実について推論し、応答を生成する前に統合できるようにします。
広範な実験は、私たちの方法が最先端の方法よりも優れていることを示しています。
このコードは、https:// github.com/deeplearnxmu/faithful-ragで入手できます

要約(オリジナル)

Large language models (LLMs) augmented with retrieval systems have demonstrated significant potential in handling knowledge-intensive tasks. However, these models often struggle with unfaithfulness issues, generating outputs that either ignore the retrieved context or inconsistently blend it with the LLM`s parametric knowledge. This issue is particularly severe in cases of knowledge conflict, where the retrieved context conflicts with the model`s parametric knowledge. While existing faithful RAG approaches enforce strict context adherence through well-designed prompts or modified decoding strategies, our analysis reveals a critical limitation: they achieve faithfulness by forcibly suppressing the model`s parametric knowledge, which undermines the model`s internal knowledge structure and increases the risk of misinterpreting the context. To this end, this paper proposes FaithfulRAG, a novel framework that resolves knowledge conflicts by explicitly modeling discrepancies between the model`s parametric knowledge and retrieved context. Specifically, FaithfulRAG identifies conflicting knowledge at the fact level and designs a self-thinking process, allowing LLMs to reason about and integrate conflicting facts before generating responses. Extensive experiments demonstrate that our method outperforms state-of-the-art methods. The code is available at https:// github.com/DeepLearnXMU/Faithful-RAG

arxiv情報

著者 Qinggang Zhang,Zhishang Xiang,Yilin Xiao,Le Wang,Junhui Li,Xinrun Wang,Jinsong Su
発行日 2025-06-10 16:02:54+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | FaithfulRAG: Fact-Level Conflict Modeling for Context-Faithful Retrieval-Augmented Generation はコメントを受け付けていません

Pre-trained Language Models Learn Remarkably Accurate Representations of Numbers

要約

前処理された言語モデル(LMS)は、算術エラーを発生しやすいです。
既存の作業は、モデルの表現から数値を調査することで限られた成功を示し、これらのエラーは、正確な量を表す際に分布する埋め込みの固有の信頼性に起因する可能性があることを示しています。
ただし、以前の調査方法は、正弦波パターンを備えた学習数埋め込みの出現構造には不十分であることがわかります。
これに応じて、オープンソースのLMSの範囲でほぼ完璧な精度で入力埋め込みから数値を解読する新しい調査手法を提案します。
これは、唯一の事前トレーニングの後、LMSが顕著な精度で数字を表していることを証明しています。
最後に、プローブの精度によって判断される埋め込みの正確さは、基本算術におけるLMの誤差の大部分を説明し、プローブによって発見されたパターンに埋め込みを合わせると、これらのエラーを軽減できることを示しています。

要約(オリジナル)

Pretrained language models (LMs) are prone to arithmetic errors. Existing work showed limited success in probing numeric values from models’ representations, indicating that these errors can be attributed to the inherent unreliability of distributionally learned embeddings in representing exact quantities. However, we observe that previous probing methods are inadequate for the emergent structure of learned number embeddings with sinusoidal patterns. In response, we propose a novel probing technique that decodes numeric values from input embeddings with near-perfect accuracy across a range of open-source LMs. This proves that after the sole pre-training, LMs represent numbers with remarkable precision. Finally, we find that the embeddings’ preciseness judged by our probe’s accuracy explains a large portion of LM’s errors in elementary arithmetic, and show that aligning the embeddings with the pattern discovered by our probe can mitigate these errors.

arxiv情報

著者 Marek Kadlčík,Michal Štefánik,Timothee Mickus,Michal Spiegel,Josef Kuchař
発行日 2025-06-10 16:37:35+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG, cs.NE | Pre-trained Language Models Learn Remarkably Accurate Representations of Numbers はコメントを受け付けていません