Limitations of Religious Data and the Importance of the Target Domain: Towards Machine Translation for Guinea-Bissau Creole

投稿日: 2025年4月4日 作成者: jarxiv

要約

ギニアビサウ・クレオール語（Kiriol）の機械翻訳のための新しいデータセットを紹介する。このデータセットは、主に宗教的なデータ（聖書とエホバの証人のテキスト）から構成されているが、少量の一般的なデータ（辞書から）も含まれている。これは、多くの低リソース言語の典型的なリソース利用可能性を反映している。我々は、宗教データからより一般的なドメインへのドメイン転送を改善する方法を調査するために、多くの変換器ベースのモデルを訓練する。その結果、学習時にターゲットドメインから300文でも追加することで、翻訳性能が大幅に向上することがわかり、小規模であっても低リソース言語のデータ収集の重要性と必要性が浮き彫りになった。さらに、ポルトガル語-キリオール語の翻訳モデルは、他の原語と訳語のペアに比べて平均的に優れた性能を示すことを発見し、このことが、関係する言語の形態素の複雑さや、クレオールと語彙間の語彙的重複の程度とどのように関係しているかを調査した。全体として、私たちの研究がKiriolの研究を刺激し、機械翻訳が一般的なクレオール言語をよりよくサポートできるようになることを期待しています。

要約(オリジナル)

We introduce a new dataset for machine translation of Guinea-Bissau Creole (Kiriol), comprising around 40 thousand parallel sentences to English and Portuguese. This dataset is made up of predominantly religious data (from the Bible and texts from the Jehovah’s Witnesses), but also a small amount of general domain data (from a dictionary). This mirrors the typical resource availability of many low resource languages. We train a number of transformer-based models to investigate how to improve domain transfer from religious data to a more general domain. We find that adding even 300 sentences from the target domain when training substantially improves the translation performance, highlighting the importance and need for data collection for low-resource languages, even on a small-scale. We additionally find that Portuguese-to-Kiriol translation models perform better on average than other source and target language pairs, and investigate how this relates to the morphological complexity of the languages involved and the degree of lexical overlap between creoles and lexifiers. Overall, we hope our work will stimulate research into Kiriol and into how machine translation might better support creole languages in general.

arxiv情報

著者 Jacqueline Rowe,Edward Gow-Smith,Mark Hepple
発行日 2025-04-03 15:14:19+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.CL | Limitations of Religious Data and the Importance of the Target Domain: Towards Machine Translation for Guinea-Bissau Creole はコメントを受け付けていません

The Hidden Space of Safety: Understanding Preference-Tuned LLMs in Multilingual context

投稿日: 2025年4月4日 作成者: jarxiv

要約

アライメントチューニングにより、大規模な言語モデルは推論、命令追従、有害な世代の最小化において優れた性能を発揮する。しかし、これらのモデルは、その広範な展開にもかかわらず、単一言語バイアスを示し、言語間のアライメントの有効性に関する懸念を提起している。現在のアライメント手法は主に英語に焦点を当てており、アライメントメカニズムがどのように多言語環境に一般化されるかは不明なままである。この問題に対処するため、我々はアライメント前後のLLMの埋め込み空間における分布シフトを系統的に分析し、多様な言語間でのモデル動作への影響を明らかにする。アライメントが安全性制約をどのように強化するかを測定する定量的ツールとして、アライメントによって誘発される安全性空間の分離を活用する。本研究では、バランスの取れた毒性データセットと並列テキスト解毒ベンチマークを用いて7つのLLMを評価し、高リソース言語と低リソース言語の間で潜在表現空間に大きな格差があることを明らかにした。これらの知見は、公平で信頼性の高いロバストな多言語アライメントを保証するために、言語固有の微調整の必要性を強調するものである。我々の洞察は、真に安全な多言語LLMを開発するための基礎を提供し、代表的でない言語におけるアライメントギャップに対処することの緊急性を強調している。

要約(オリジナル)

Alignment tuning has enabled large language models to excel in reasoning, instruction-following, and minimizing harmful generations. However, despite their widespread deployment, these models exhibit a monolingual bias, raising concerns about the effectiveness of alignment across languages. Current alignment methods predominantly focus on English, leaving it unclear how alignment mechanism generalize to multilingual settings. To address this, we conduct a systematic analysis of distributional shifts in the embedding space of LLMs before and after alignment, uncovering its impact on model behavior across diverse languages. We leverage the alignment-induced separation in safety space as a quantitative tool to measure how alignment enforces safety constraints. Our study evaluates seven LLMs using balanced toxicity datasets and parallel text-detoxification benchmarks, revealing substantial disparities in the latent representation space between high-resource and low-resource languages. These findings underscore the need for language-specific fine-tuning to ensure fair, reliable and robust multilingual alignment. Our insights provide a foundation for developing truly safe multilingual LLMs, emphasizing the urgency of addressing alignment gaps in underrepresented languages.

arxiv情報

著者 Nikhil Verma,Manasa Bharadwaj
発行日 2025-04-03 15:46:46+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.CL | The Hidden Space of Safety: Understanding Preference-Tuned LLMs in Multilingual context はコメントを受け付けていません

ERPO: Advancing Safety Alignment via Ex-Ante Reasoning Preference Optimization

投稿日: 2025年4月4日 作成者: jarxiv

要約

近年の大規模言語モデル（LLM）の進歩により、人工知能の進歩が加速しているが、有害なコンテンツを生成する可能性があるため、安全性に重大な課題がある。既存のアライメント手法は、多様な安全シナリオをカバーするのに苦労することが多く、敵対的な攻撃に対して脆弱なままである。本研究では、LLMにChain-of-Thoughtによる明示的な先制推論を装備し、事前に定義された安全ルールを埋め込むことで安全判断の明確な根拠を提供する、新しい安全アライメントフレームワークであるEx-Ante Reasoning Preference Optimization (ERPO)を提案する。具体的には、我々のアプローチは3つの段階から構成される。第一に、構築された推論モジュールを用いた教師付き微調整(SFT)により、モデルにEx-Ante推論を装備させる。第二に、直接プリファレンス最適化(DPO)により、安全性、有用性、効率性を向上させる。第三に、長さ制御された反復プリファレンス最適化戦略により、推論の待ち時間を緩和する。複数のオープンソースLLMを用いた実験により、ERPOが応答効率を維持しながら安全性能を大幅に向上させることが実証された。

要約(オリジナル)

Recent advancements in large language models (LLMs) have accelerated progress toward artificial general intelligence, yet their potential to generate harmful content poses critical safety challenges. Existing alignment methods often struggle to cover diverse safety scenarios and remain vulnerable to adversarial attacks. In this work, we propose Ex-Ante Reasoning Preference Optimization (ERPO), a novel safety alignment framework that equips LLMs with explicit preemptive reasoning through Chain-of-Thought and provides clear evidence for safety judgments by embedding predefined safety rules. Specifically, our approach consists of three stages: first, equipping the model with Ex-Ante reasoning through supervised fine-tuning (SFT) using a constructed reasoning module; second, enhancing safety, usefulness, and efficiency via Direct Preference Optimization (DPO); and third, mitigating inference latency with a length-controlled iterative preference optimization strategy. Experiments on multiple open-source LLMs demonstrate that ERPO significantly enhances safety performance while maintaining response efficiency.

arxiv情報

著者 Kehua Feng,Keyan Ding,Jing Yu,Menghan Li,Yuhao Wang,Tong Xu,Xinda Wang,Qiang Zhang,Huajun Chen
発行日 2025-04-03 16:07:38+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.CL | ERPO: Advancing Safety Alignment via Ex-Ante Reasoning Preference Optimization はコメントを受け付けていません

Why do LLMs attend to the first token?

投稿日: 2025年4月4日 作成者: jarxiv

要約

大規模言語モデル(LLM)は、シーケンスの最初のトークンに集中する傾向があり、いわゆるアテンション・シンク(attention sink)が発生する。多くの研究がこの現象を詳細に研究しており、この現象を利用したり緩和したりする様々な方法を提案している。アテンション・シンクは、数量化の困難さ、セキュリティの問題、ストリーミング・アテンションなどと関連している。しかし、多くの研究がアテンション・シンクが発生する条件や発生しない条件を提示している一方で、重要な疑問にはまだ浅い答えしか得られていない：なぜLLMはそのようなパターンを学習し、どのように利用されているのだろうか？本研究では、このメカニズムがLLMにオーバーミキシングを回避する方法を提供することを理論的・実証的に論証し、トランスフォーマーにおける情報伝播の仕組みを数学的に研究する既存の研究につなげる。我々は理論的直観を検証するために実験を行い、コンテキストの長さ、深さ、データのパッキングなどの選択がどのようにシンクの振る舞いに影響するかを示す。この研究が、なぜLLMにおいてアテンションシンクが有用なのかについて新たな実用的視点を提供し、訓練中に形成されるアテンションパターンについてのより良い理解につながることを期待している。

要約(オリジナル)

Large Language Models (LLMs) tend to attend heavily to the first token in the sequence — creating a so-called attention sink. Many works have studied this phenomenon in detail, proposing various ways to either leverage or alleviate it. Attention sinks have been connected to quantisation difficulties, security issues, and streaming attention. Yet, while many works have provided conditions in which they occur or not, a critical question remains shallowly answered: Why do LLMs learn such patterns and how are they being used? In this work, we argue theoretically and empirically that this mechanism provides a method for LLMs to avoid over-mixing, connecting this to existing lines of work that study mathematically how information propagates in Transformers. We conduct experiments to validate our theoretical intuitions and show how choices such as context length, depth, and data packing influence the sink behaviour. We hope that this study provides a new practical perspective on why attention sinks are useful in LLMs, leading to a better understanding of the attention patterns that form during training.

arxiv情報

著者 Federico Barbero,Álvaro Arroyo,Xiangming Gu,Christos Perivolaropoulos,Michael Bronstein,Petar Veličkovi ć,Razvan Pascanu
発行日 2025-04-03 16:17:55+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.CL | Why do LLMs attend to the first token? はコメントを受け付けていません

Enhancing LLM Robustness to Perturbed Instructions: An Empirical Study

投稿日: 2025年4月4日 作成者: jarxiv

要約

大規模言語モデル（LLM）は入力の摂動に対して非常に脆弱である。LLMのロバスト性を向上させる既存の手法は、主に摂動データサンプルに焦点を当てているが、タスクレベルの命令の摂動に対する回復力を向上させることは、比較的未解明である。本研究では、下流の性能を大幅に低下させる、タスク固有の命令の文字レベルおよび単語レベルの編集に焦点を当てる。LLMの頑健性を向上させるために、自己ノイズ除去や表現アライメントなど様々な手法を用い、様々なモデル（Llama 3、Flan-T5）、データセット（CoLA、QNLI、SST-2）、命令（タスク指向とロール指向の両方）をテストした。我々は、凍結されたLLMであろうと、微調整されたモデルであろうと、平均して、セルフデノイジングは、アンサンブルや教師あり手法のような、より複雑なベースラインを含む代替戦略よりも、大幅に高い性能向上を達成することを発見した。

要約(オリジナル)

Large Language Models (LLMs) are highly vulnerable to input perturbations, as even a small prompt change may result in a substantially different output. Existing methods to enhance LLM robustness are primarily focused on perturbed data samples, whereas improving resiliency to perturbations of task-level instructions has remained relatively underexplored. In this work, we focus on character- and word-level edits of task-specific instructions, which substantially degrade downstream performance. We experiment with a variety of techniques to enhance the robustness of LLMs, including self-denoising and representation alignment, testing different models (Llama 3 and Flan-T5), datasets (CoLA, QNLI, SST-2) and instructions (both task-oriented and role-oriented). We find that, on average, self-denoising — whether performed by a frozen LLM or a fine-tuned model — achieves substantially higher performance gains than alternative strategies, including more complex baselines such as ensembling and supervised methods.

arxiv情報

著者 Aryan Agrawal,Lisa Alazraki,Shahin Honarvar,Marek Rei
発行日 2025-04-03 16:17:56+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.CL | Enhancing LLM Robustness to Perturbed Instructions: An Empirical Study はコメントを受け付けていません

Measuring Large Language Models Capacity to Annotate Journalistic Sourcing

投稿日: 2025年4月4日 作成者: jarxiv

要約

2022年後半にChatGPTが発表されて以来、大規模言語モデルの能力とその評価は、学術研究と産業界の両方で常に議論され、評価されてきた。法律、医学、数学などいくつかの分野でシナリオとベンチマークが開発され（Bommasani et al.シナリオ開発に十分な注意が払われていない分野のひとつに、ジャーナリズム、特にジャーナリズムの情報源と倫理がある。ジャーナリズムは民主主義における重要な真実決定機能であり（Vincent, 2023）、ソーシングはすべてのオリジナルなジャーナリズムのアウトプットにとって重要な柱である。ソーシングのさまざまなシグナルとそれを記者がどのように正当化するかについて記事に注釈をつけるLLMの能力を評価することは、ベンチマーク・アプローチを保証する重要なシナリオである。より透明で倫理的に厳格なジャーナリズムの形態と、日常的なジャーナリズムを対比する自動化システムを構築できる可能性がある。本論文では、ジャーナリズム研究（Gans, 2004）から着想を得た5つのカテゴリースキーマに基づき、ニュース記事におけるソーシングの特定とアノテーションに関するLLMのパフォーマンスを評価するシナリオを提示する。ユースケース、データセット、メトリクスを提供し、体系的なベンチマークに向けた第一歩とする。精度の調査結果から、LLMベースのアプローチでは、記事内のすべてのソースとなる記述を識別すること、そして同様にソースの種類を照合することがより困難であることが判明した。さらに難しいタスクは、ソースの正当性を見抜くことである。

要約(オリジナル)

Since the launch of ChatGPT in late 2022, the capacities of Large Language Models and their evaluation have been in constant discussion and evaluation both in academic research and in the industry. Scenarios and benchmarks have been developed in several areas such as law, medicine and math (Bommasani et al., 2023) and there is continuous evaluation of model variants. One area that has not received sufficient scenario development attention is journalism, and in particular journalistic sourcing and ethics. Journalism is a crucial truth-determination function in democracy (Vincent, 2023), and sourcing is a crucial pillar to all original journalistic output. Evaluating the capacities of LLMs to annotate stories for the different signals of sourcing and how reporters justify them is a crucial scenario that warrants a benchmark approach. It offers potential to build automated systems to contrast more transparent and ethically rigorous forms of journalism with everyday fare. In this paper we lay out a scenario to evaluate LLM performance on identifying and annotating sourcing in news stories on a five-category schema inspired from journalism studies (Gans, 2004). We offer the use case, our dataset and metrics and as the first step towards systematic benchmarking. Our accuracy findings indicate LLM-based approaches have more catching to do in identifying all the sourced statements in a story, and equally, in matching the type of sources. An even harder task is spotting source justifications.

arxiv情報

著者 Subramaniam Vincent,Phoebe Wang,Zhan Shi,Sahas Koka,Yi Fang
発行日 2025-04-03 16:54:12+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.CL, cs.CY | Measuring Large Language Models Capacity to Annotate Journalistic Sourcing はコメントを受け付けていません

MultiBLiMP 1.0: A Massively Multilingual Benchmark of Linguistic Minimal Pairs

投稿日: 2025年4月4日 作成者: jarxiv

要約

101の言語、6つの言語現象をカバーし、125,000以上のミニマルペアを含む、言語ミニマルペアの大規模多言語ベンチマークであるMultiBLiMP 1.0を紹介する。このミニマルペアは、Universal DependenciesとUniMorphの大規模な言語リソースを活用し、完全に自動化されたパイプラインを使用して作成されています。MultiBLiMP 1.0は、前例のない多言語スケールでLLMの能力を評価し、低リソース言語のモデリングにおける現在の最新技術の欠点を浮き彫りにしています。

要約(オリジナル)

We introduce MultiBLiMP 1.0, a massively multilingual benchmark of linguistic minimal pairs, covering 101 languages, 6 linguistic phenomena and containing more than 125,000 minimal pairs. Our minimal pairs are created using a fully automated pipeline, leveraging the large-scale linguistic resources of Universal Dependencies and UniMorph. MultiBLiMP 1.0 evaluates abilities of LLMs at an unprecedented multilingual scale, and highlights the shortcomings of the current state-of-the-art in modelling low-resource languages.

arxiv情報

著者 Jaap Jumelet,Leonie Weissweiler,Arianna Bisazza
発行日 2025-04-03 17:05:50+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.CL | MultiBLiMP 1.0: A Massively Multilingual Benchmark of Linguistic Minimal Pairs はコメントを受け付けていません

A Framework for Robust Cognitive Evaluation of LLMs

投稿日: 2025年4月4日 作成者: jarxiv

要約

大規模言語モデル（LLM）における創発的な認知能力は広く観察されているが、その性質や基礎となるメカニズムはまだ十分に理解されていない。LLMの認知能力を調査するために認知科学を利用した研究が増えているが、標準的な方法論や実験パイプラインはまだ確立されていない。このギャップを解決するために、我々はCognitivEvalを開発した。CognitivEvalは、LLMの人工的な認知能力を体系的に評価するためのフレームワークであり、特に応答収集における頑健性に重点を置いている。CognitivEvalの主な特徴は以下の通りである：(i)自動的なプロンプトの並べ替え、(ii)世代とモデルの確率推定値の両方を収集するテスト。我々の実験は、これらの機能がよりロバストな実験結果につながることを実証している。CognitivEvalを使用して、認知科学における5つの古典的な実験を再現し、様々な実験タスクにわたるフレームワークの一般性を説明し、いくつかの最先端のLLMの認知プロファイルを得る。CognitivEvalは、認知科学コミュニティ内でのより広範な協力を促進するために、一般に公開される予定である。

要約(オリジナル)

Emergent cognitive abilities in large language models (LLMs) have been widely observed, but their nature and underlying mechanisms remain poorly understood. A growing body of research draws on cognitive science to investigate LLM cognition, but standard methodologies and experimen-tal pipelines have not yet been established. To address this gap we develop CognitivEval, a framework for systematically evaluating the artificial cognitive capabilities of LLMs, with a particular emphasis on robustness in response collection. The key features of CognitivEval include: (i) automatic prompt permutations, and (ii) testing that gathers both generations and model probability estimates. Our experiments demonstrate that these features lead to more robust experimental outcomes. Using CognitivEval, we replicate five classic experiments in cognitive science, illustrating the framework’s generalizability across various experimental tasks and obtaining a cognitive profile of several state of the art LLMs. CognitivEval will be released publicly to foster broader collaboration within the cognitive science community.

arxiv情報

著者 Karin de Langis,Jong Inn Park,Bin Hu,Khanh Chi Le,Andreas Schramm,Michael C. Mensink,Andrew Elfenbein,Dongyeop Kang
発行日 2025-04-03 17:35:54+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.CL | A Framework for Robust Cognitive Evaluation of LLMs はコメントを受け付けていません

BIRD: A Trustworthy Bayesian Inference Framework for Large Language Models

投稿日: 2025年4月4日 作成者: jarxiv

要約

予測モデルは、実世界のタスクにおいてしばしば不完全な情報を扱う必要がある。その結果、特に大規模な意思決定や計画タスクにおいて、信頼できる確率や確信度の推定を提供しなければならない。現在の大規模言語モデル（LLM）は正確な推定には不十分であるが、確率に影響を与える可能性のある関連因子を生成し、情報がより完全な場合に粗視化確率を生成し、どの因子が特定の下流のコンテキストに関連するかを決定するのに役立つ。本論文では、LLMのこれらの機能を利用して、より正確な確率的推定を行う。我々は、ベイジアンネットワークをLLMアブダクションと整合させ、演繹ステップでより正確な確率を推定する、新しい確率推論フレームワークBIRDを提案する。BIRDは、LLMベースラインが直接提供する確率よりも30%優れた信頼性の高い確率推定を提供することを示す。これらの推定値はさらに、より良い、より信頼できる意思決定に貢献する。

要約(オリジナル)

Predictive models often need to work with incomplete information in real-world tasks. Consequently, they must provide reliable probability or confidence estimation, especially in large-scale decision-making and planning tasks. Current large language models (LLMs) are insufficient for accurate estimations, but they can generate relevant factors that may affect the probabilities, produce coarse-grained probabilities when the information is more complete, and help determine which factors are relevant to specific downstream contexts. In this paper, we make use of these capabilities of LLMs to provide a significantly more accurate probabilistic estimation. We propose BIRD, a novel probabilistic inference framework that aligns a Bayesian network with LLM abductions and then estimates more accurate probabilities in a deduction step. We show BIRD provides reliable probability estimations that are 30% better than those provided directly by LLM baselines. These estimates further contribute to better and more trustworthy decision making.

arxiv情報

著者 Yu Feng,Ben Zhou,Weidong Lin,Dan Roth
発行日 2025-04-03 17:41:51+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.CL | BIRD: A Trustworthy Bayesian Inference Framework for Large Language Models はコメントを受け付けていません

A Survey of Large Language Models in Mental Health Disorder Detection on Social Media

投稿日: 2025年4月4日 作成者: jarxiv

要約

メンタルヘルス問題の検出と介入は、世界的に重要な研究テーマであり、ソーシャルメディアデータはメンタルヘルス研究の重要なリソースとして認識されている。しかし、ソーシャルメディア上のメンタルヘルス問題検出のために大規模言語モデル（LLM）をどのように活用するかは大きな課題である。そこで本稿では、ソーシャルメディアデータ分析におけるLLMアプリケーションの可能性を探ることを目的とし、うつ病や不安障害といった最も一般的な精神障害だけでなく、精神病性障害や外向性障害も取り込み、テキストデータ分析や精神障害の検出といった異なる次元からLLMの適用方法をまとめ、現在の研究の主な課題と欠点を明らかにする。さらに、一般的なデータセットの概要や評価指標も提供している。本稿の調査は、メンタルヘルス分野の研究者に包括的な参照枠を提供するとともに、メンタルヘルス検出におけるLLMの大きな可能性を示し、将来のメンタルヘルス介入におけるLLMのさらなる応用を促進する。

要約(オリジナル)

The detection and intervention of mental health issues represent a critical global research focus, and social media data has been recognized as an important resource for mental health research. However, how to utilize Large Language Models (LLMs) for mental health problem detection on social media poses significant challenges. Hence, this paper aims to explore the potential of LLM applications in social media data analysis, focusing not only on the most common psychological disorders such as depression and anxiety but also incorporating psychotic disorders and externalizing disorders, summarizing the application methods of LLM from different dimensions, such as text data analysis and detection of mental disorders, and revealing the major challenges and shortcomings of current research. In addition, the paper provides an overview of popular datasets, and evaluation metrics. The survey in this paper provides a comprehensive frame of reference for researchers in the field of mental health, while demonstrating the great potential of LLMs in mental health detection to facilitate the further application of LLMs in future mental health interventions.

arxiv情報

著者 Zhuohan Ge,Nicole Hu,Darian Li,Yubo Wang,Shihao Qi,Yuming Xu,Han Shi,Jason Zhang
発行日 2025-04-03 17:43:14+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.CL, I.2.7 | A Survey of Large Language Models in Mental Health Disorder Detection on Social Media はコメントを受け付けていません