Connecting Voices: LoReSpeech as a Low-Resource Speech Parallel Corpus

投稿日: 2025年2月26日 作成者: jarxiv

要約

アラインドされたオーディオコーパスは、ASRや音声翻訳などのNLPテクノロジーの基本ですが、技術的統合を妨げて、過小評価された言語では依然として不足しています。
このペーパーでは、低リソースのスピーチからスピーチへの翻訳翻訳コーパスであるLorespeechを構築するための方法論を紹介します。
私たちのアプローチは、コラボレーションプラットフォームを介して作成された、転写に合わせた短いオーディオのサブコルパスであるLoreasrから始まります。
聖書のテキストなど、ロレアスに基づいて、聖書のテキストなどの長型のオーディオ録音は、MFAなどのツールを使用して整列しています。
Lorespeechは、言語内および言語間の両方のアラインメントを提供し、多言語ASRシステムの進歩、直接的なスピーチへの翻訳モデル、および言語保存の取り組みを可能にしながら、デジタル包括性を促進します。
この作業は、Tutlayt AIプロジェクト（https://tutlayt.fr）内で実施されます。

要約(オリジナル)

Aligned audio corpora are fundamental to NLP technologies such as ASR and speech translation, yet they remain scarce for underrepresented languages, hindering their technological integration. This paper introduces a methodology for constructing LoReSpeech, a low-resource speech-to-speech translation corpus. Our approach begins with LoReASR, a sub-corpus of short audios aligned with their transcriptions, created through a collaborative platform. Building on LoReASR, long-form audio recordings, such as biblical texts, are aligned using tools like the MFA. LoReSpeech delivers both intra- and inter-language alignments, enabling advancements in multilingual ASR systems, direct speech-to-speech translation models, and linguistic preservation efforts, while fostering digital inclusivity. This work is conducted within Tutlayt AI project (https://tutlayt.fr).

arxiv情報

著者 Samy Ouzerrout
発行日 2025-02-25 14:00:15+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Connecting Voices: LoReSpeech as a Low-Resource Speech Parallel Corpus はコメントを受け付けていません

Debt Collection Negotiations with Large Language Models: An Evaluation System and Optimizing Decision Making with Multi-Agent

投稿日: 2025年2月26日 作成者: jarxiv

要約

債務回収交渉（DCN）は、不良債権（NPL）を管理し、債権者の損失を減らすために不可欠です。
従来の方法は労働集約的であり、大規模な言語モデル（LLM）は有望な自動化の可能性を提供します。
ただし、以前のシステムには、動的な交渉とリアルタイムの意思決定機能がありませんでした。
このペーパーでは、DCNを自動化するLLMSを調査し、4つの側面に13のメトリックを備えた新しい評価フレームワークを提案します。
私たちの実験は、LLMが人間の交渉者と比較して過剰にconcedeする傾向があることを明らかにしています。
これに対処するために、マルチエージェント債務交渉（MADEN）フレームワークを提案し、計画と審査モジュールを組み込み、決定の合理性を改善します。
また、パフォーマンスを最適化するために、拒絶サンプリングを備えたDPOを含むトレーニング後の手法も適用します。
私たちの研究は、このドメインの効率と結果を高めることを目指している実務家と研究者に貴重な洞察を提供します。

要約(オリジナル)

Debt collection negotiations (DCN) are vital for managing non-performing loans (NPLs) and reducing creditor losses. Traditional methods are labor-intensive, while large language models (LLMs) offer promising automation potential. However, prior systems lacked dynamic negotiation and real-time decision-making capabilities. This paper explores LLMs in automating DCN and proposes a novel evaluation framework with 13 metrics across 4 aspects. Our experiments reveal that LLMs tend to over-concede compared to human negotiators. To address this, we propose the Multi-Agent Debt Negotiation (MADeN) framework, incorporating planning and judging modules to improve decision rationality. We also apply post-training techniques, including DPO with rejection sampling, to optimize performance. Our studies provide valuable insights for practitioners and researchers seeking to enhance efficiency and outcomes in this domain.

arxiv情報

著者 Xiaofeng Wang,Zhixin Zhang,Jinguang Zheng,Yiming Ai,Rui Wang
発行日 2025-02-25 14:13:03+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Debt Collection Negotiations with Large Language Models: An Evaluation System and Optimizing Decision Making with Multi-Agent はコメントを受け付けていません

Mechanism and Emergence of Stacked Attention Heads in Multi-Layer Transformers

投稿日: 2025年2月26日 作成者: jarxiv

要約

この論文では、検索問題を紹介します。これは、入力サイズで対数的に成長する最小数のレイヤーで変圧器によってのみ解決できる単純で一般的な推論タスクです。
私は、大規模な言語モデルが微調整なしで異なるプロンプトの定式化の下でタスクを解決できることを経験的に示します。
トランスが検索の問題をどのように解決するかを理解するために、最小限の処方でいくつかの変圧器を訓練します。
成功した学習は、暗黙のカリキュラムの存在下でのみ発生します。
訓練された変圧器の注意マップを研究することにより、学んだメカニズムを明らかにします。
また、トレーニングプロセスを研究し、暗黙のカリキュラムによって導かれた特定のシーケンスで常に注意ヘッドが出現することを明らかにします。

要約(オリジナル)

In this paper, I introduce the retrieval problem, a simple yet common reasoning task that can be solved only by transformers with a minimum number of layers, which grows logarithmically with the input size. I empirically show that large language models can solve the task under different prompting formulations without any fine-tuning. To understand how transformers solve the retrieval problem, I train several transformers on a minimal formulation. Successful learning occurs only under the presence of an implicit curriculum. I uncover the learned mechanisms by studying the attention maps in the trained transformers. I also study the training process, uncovering that attention heads always emerge in a specific sequence guided by the implicit curriculum.

arxiv情報

著者 Tiberiu Musat
発行日 2025-02-25 14:26:58+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG | Mechanism and Emergence of Stacked Attention Heads in Multi-Layer Transformers はコメントを受け付けていません

Iterative Counterfactual Data Augmentation

投稿日: 2025年2月26日 作成者: jarxiv

要約

反事実データ増強（CDA）は、通常、対立するバイアスを持つ補完的なデータセットを生成することにより、データセットのトレーニングで情報またはバイアスを制御する方法です。
多くの場合、事前の作業は、拡張データセットに不要な情報を残す可能性のある手作りのルールまたはアルゴリズムCDAメソッドに依存しています。
この作業では、初期の高ノイズ介入を伴う反復CDA（ICDA）が、騒音が大幅に低い状態に収束する可能性があることを示します。
ICDAの手順では、トレーニングデータセットの1つのターゲット信号が対応するラベルを使用して高い相互情報を維持し、スプリアス信号の情報が削減されるデータセットを作成します。
増強されたデータセットに関するトレーニングは、人間の注釈とより適切な文書に理論的根拠を生成します。
私たちの実験には、6つのヒト生産データセットと2つの大ランゲージモデル生成データセットが含まれます。

要約(オリジナル)

Counterfactual data augmentation (CDA) is a method for controlling information or biases in training datasets by generating a complementary dataset with typically opposing biases. Prior work often either relies on hand-crafted rules or algorithmic CDA methods which can leave unwanted information in the augmented dataset. In this work, we show iterative CDA (ICDA) with initial, high-noise interventions can converge to a state with significantly lower noise. Our ICDA procedure produces a dataset where one target signal in the training dataset maintains high mutual information with a corresponding label and the information of spurious signals are reduced. We show training on the augmented datasets produces rationales on documents that better align with human annotation. Our experiments include six human produced datasets and two large-language model generated datasets.

arxiv情報

著者 Mitchell Plyler,Min Chi
発行日 2025-02-25 14:33:50+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.IT, cs.LG, math.IT | Iterative Counterfactual Data Augmentation はコメントを受け付けていません

Enhancing LLMs for Identifying and Prioritizing Important Medical Jargons from Electronic Health Record Notes Utilizing Data Augmentation

投稿日: 2025年2月26日 作成者: jarxiv

要約

OpenNotesにより、患者はEHRノートにアクセスできますが、医療用語は理解を妨げる可能性があります。
理解を向上させるために、プロンプト、微調整、およびデータ増強を使用して、主要な医療用語を抽出および優先順位付けするために、閉鎖およびオープンソースLLMを評価しました。
（i）一般と構造化されたプロンプト、（ii）ゼロショットvs.少数のショットプロンプト、（iii）微調整、および（iv）データ増強を実験して、106個の専門家解決EHRノートでLLMSを評価しました。
低リソース設定でオープンソースモデルを強化するために、データの増強と応用ランキング技術にChatGptを使用しました。
増強されたデータセットサイズ（10〜10,000）を徐々に増やし、5倍の交差検証を実施し、F1スコアと平均相互ランク（MRR）を報告しました。
私たちの結果は、微調整とデータの増強により、他の戦略よりもパフォーマンスが向上したことを示しています。
GPT-4ターボは最高のF1（0.433）を達成しましたが、データ増強を伴うMistral7bは最高のMRR（0.746）でした。
オープンソースモデルは、微調整または拡張された場合、閉鎖モデルを上回ります。
特に、最高のF1およびMRRスコアは常に整列しているわけではありませんでした。
バニラモデルのゼロショットを上回る少数のショットと構造化されたプロンプトは、モデル間で異なる好みをもたらしました。
微調整はゼロショットパフォーマンスを改善しましたが、時には少数のショットパフォーマンスを低下させました。
データ増強は、他の方法よりも同等またはそれ以上に実行されました。
私たちの評価は、低リソースシナリオでの医療用語抽出のモデルパフォーマンスを改善する際のプロンプト、微調整、およびデータ増強の有効性を強調しています。

要約(オリジナル)

OpenNotes enables patients to access EHR notes, but medical jargon can hinder comprehension. To improve understanding, we evaluated closed- and open-source LLMs for extracting and prioritizing key medical terms using prompting, fine-tuning, and data augmentation. We assessed LLMs on 106 expert-annotated EHR notes, experimenting with (i) general vs. structured prompts, (ii) zero-shot vs. few-shot prompting, (iii) fine-tuning, and (iv) data augmentation. To enhance open-source models in low-resource settings, we used ChatGPT for data augmentation and applied ranking techniques. We incrementally increased the augmented dataset size (10 to 10,000) and conducted 5-fold cross-validation, reporting F1 score and Mean Reciprocal Rank (MRR). Our result show that fine-tuning and data augmentation improved performance over other strategies. GPT-4 Turbo achieved the highest F1 (0.433), while Mistral7B with data augmentation had the highest MRR (0.746). Open-source models, when fine-tuned or augmented, outperformed closed-source models. Notably, the best F1 and MRR scores did not always align. Few-shot prompting outperformed zero-shot in vanilla models, and structured prompts yielded different preferences across models. Fine-tuning improved zero-shot performance but sometimes degraded few-shot performance. Data augmentation performed comparably or better than other methods. Our evaluation highlights the effectiveness of prompting, fine-tuning, and data augmentation in improving model performance for medical jargon extraction in low-resource scenarios.

arxiv情報

著者 Won Seok Jang,Sharmin Sultana,Zonghai Yao,Hieu Tran,Zhichao Yang,Sunjae Kwon,Hong Yu
発行日 2025-02-25 14:34:15+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Enhancing LLMs for Identifying and Prioritizing Important Medical Jargons from Electronic Health Record Notes Utilizing Data Augmentation はコメントを受け付けていません

Topic-FlipRAG: Topic-Orientated Adversarial Opinion Manipulation Attacks to Retrieval-Augmented Generation Models

投稿日: 2025年2月26日 作成者: jarxiv

要約

大規模な言語モデル（LLM）に基づいた検索された生成（RAG）システムは、質問応答やコンテンツ生成などのタスクに不可欠になっています。
しかし、世論と情報の普及に対する彼らの影響の増加は、固有の脆弱性のためにセキュリティ研究の重要な焦点となっています。
以前の研究では、事実または単一の操作を対象とした攻撃を主に取り上げています。
このホワイトペーパーでは、より実用的なシナリオに取り組んでいます。トピック指向の敵対意見操作攻撃は、LLMが複数の視点を推論して統合するために必要であり、特に体系的な知識中毒を受けやすくなります。
具体的には、関連するクエリ全体で意見に影響を与えるために敵対的な摂動を戦略的に作成する2段階の操作攻撃パイプラインであるトピックフリプラグを提案します。
このアプローチは、従来の敵対ランキング攻撃技術を組み合わせて、LLMの広範な内部関連知識と推論能力を活用して、セマンティックレベルの摂動を実行します。
実験は、提案された攻撃がモデルの出力の意見を特定のトピックに効果的に変化させ、ユーザー情報の認識に大きく影響することを示しています。
現在の緩和方法は、そのような攻撃から効果的に防御することはできず、RAGシステムの強化された保護手段の必要性を強調し、LLMセキュリティ研究の重要な洞察を提供します。

要約(オリジナル)

Retrieval-Augmented Generation (RAG) systems based on Large Language Models (LLMs) have become essential for tasks such as question answering and content generation. However, their increasing impact on public opinion and information dissemination has made them a critical focus for security research due to inherent vulnerabilities. Previous studies have predominantly addressed attacks targeting factual or single-query manipulations. In this paper, we address a more practical scenario: topic-oriented adversarial opinion manipulation attacks on RAG models, where LLMs are required to reason and synthesize multiple perspectives, rendering them particularly susceptible to systematic knowledge poisoning. Specifically, we propose Topic-FlipRAG, a two-stage manipulation attack pipeline that strategically crafts adversarial perturbations to influence opinions across related queries. This approach combines traditional adversarial ranking attack techniques and leverages the extensive internal relevant knowledge and reasoning capabilities of LLMs to execute semantic-level perturbations. Experiments show that the proposed attacks effectively shift the opinion of the model’s outputs on specific topics, significantly impacting user information perception. Current mitigation methods cannot effectively defend against such attacks, highlighting the necessity for enhanced safeguards for RAG systems, and offering crucial insights for LLM security research.

arxiv情報

著者 Yuyang Gong,Zhuo Chen,Miaokun Chen,Fengchang Yu,Wei Lu,Xiaofeng Wang,Xiaozhong Liu,Jiawei Liu
発行日 2025-02-25 14:57:43+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.CR, cs.IR | Topic-FlipRAG: Topic-Orientated Adversarial Opinion Manipulation Attacks to Retrieval-Augmented Generation Models はコメントを受け付けていません

Beyond In-Distribution Success: Scaling Curves of CoT Granularity for Language Model Generalization

投稿日: 2025年2月26日 作成者: jarxiv

要約

流通シフト下の新しい複合タスクへの一般化は、トランスベースの言語モデル（LMS）の展開に重要です。
この作業は、OOD一般化を強化する手段として、チェーンオブ考え（COT）の推論を調査しています。
いくつかの複合タスクにわたる制御された実験を通じて、3つの重要な洞察を明らかにします。（1）QAトレーニングモデルがほぼ完璧な分布内の精度を達成する一方で、それらのoodパフォーマンスは10000k+トレーニングの例であっても壊滅的に分解します。
（2）COTデータの粒度は、一般化パフォーマンスと強く相関しています。
より細かい粒子のCOTデータは、より良い一般化につながります。
（3）COTは顕著なサンプル効率を示し、QAのパフォーマンスをはるかに少ない（80％）データと一致させます。
理論的には、複合タスクは本質的に真の推論原則と不一致になるQ-Aデータのショートカットを可能にする一方で、COTは有効な依存関係構造の内在化を強制し、したがってより良い一般化を達成できることを実証します。
さらに、変圧器の位置埋め込みは、長いCOTシーケンスのサブタスク条件の再発を強調することにより、一般化を増幅できることを示します。
理論的および経験的分析を組み合わせて、複合タスクの実際の分布シフトの下でLM一般化を可能にするための重要なトレーニングパラダイムとして、COT推論の説得力のある証拠を提供します。

要約(オリジナル)

Generalization to novel compound tasks under distribution shift is important for deploying transformer-based language models (LMs). This work investigates Chain-of-Thought (CoT) reasoning as a means to enhance OOD generalization. Through controlled experiments across several compound tasks, we reveal three key insights: (1) While QA-trained models achieve near-perfect in-distribution accuracy, their OOD performance degrades catastrophically, even with 10000k+ training examples; (2) the granularity of CoT data strongly correlates with generalization performance; finer-grained CoT data leads to better generalization; (3) CoT exhibits remarkable sample efficiency, matching QA performance with much less (even 80%) data. Theoretically, we demonstrate that compound tasks inherently permit shortcuts in Q-A data that misalign with true reasoning principles, while CoT forces internalization of valid dependency structures, and thus can achieve better generalization. Further, we show that transformer positional embeddings can amplify generalization by emphasizing subtask condition recurrence in long CoT sequences. Our combined theoretical and empirical analysis provides compelling evidence for CoT reasoning as a crucial training paradigm for enabling LM generalization under real-world distributional shifts for compound tasks.

arxiv情報

著者 Ru Wang,Wei Huang,Selena Song,Haoyu Zhang,Yusuke Iwasawa,Yutaka Matsuo,Jiaxian Guo
発行日 2025-02-25 15:04:17+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Beyond In-Distribution Success: Scaling Curves of CoT Granularity for Language Model Generalization はコメントを受け付けていません

Self-Adjust Softmax

投稿日: 2025年2月26日 作成者: jarxiv

要約

SoftMax関数は、トランススコアの各列を1つに合計して正規化し、他の代替機能よりも優れたパフォーマンスを達成するために重要です。
ただし、SoftMax関数は、注意スコアの一部の要素が1つまたはゼロに近い確率など、極端な値に近づくと、グラデーションの消失の問題に直面する可能性があります。
この論文では、$ softmax（x）$を$ x \ cdot softmax（x）$に変更することにより、この問題に対処するために、自己調整的なsoftmax（sa-softmax）を提案します。
x _ {\ min}、0））} {max（0、x_ {max}） – min（x_ {min}、0）}
\ cdot softmax（x）$。
Sa-softmaxは、バニラソフトマックス機能と比較して、勾配特性が強化されていることを理論的に示しています。
さらに、SAソフトマックスの注意は、既存の変圧器モデルにシームレスに統合され、マイナーな調整により注意メカニズムに統合できます。
バニラソフトマックス関数と比較して、SAソフトマックスを使用してトランスモデルの経験的パフォーマンスを評価するための実験を実施しました。
これらの実験は、最大27億パラメーターのモデルを含む、多様なデータセット、言語タスク、および位置エンコーディング方法で行われます。

要約(オリジナル)

The softmax function is crucial in Transformer attention, which normalizes each row of the attention scores with summation to one, achieving superior performances over other alternative functions. However, the softmax function can face a gradient vanishing issue when some elements of the attention scores approach extreme values, such as probabilities close to one or zero. In this paper, we propose Self-Adjust Softmax (SA-Softmax) to address this issue by modifying $softmax(x)$ to $x \cdot softmax(x)$ and its normalized variant $\frac{(x – min(x_{\min},0))}{max(0,x_{max})-min(x_{min},0)} \cdot softmax(x)$. We theoretically show that SA-Softmax provides enhanced gradient properties compared to the vanilla softmax function. Moreover, SA-Softmax Attention can be seamlessly integrated into existing Transformer models to their attention mechanisms with minor adjustments. We conducted experiments to evaluate the empirical performance of Transformer models using SA-Softmax compared to the vanilla softmax function. These experiments, involving models with up to 2.7 billion parameters, are conducted across diverse datasets, language tasks, and positional encoding methods.

arxiv情報

著者 Chuanyang Zheng,Yihang Gao,Guoxuan Chen,Han Shi,Jing Xiong,Xiaozhe Ren,Chao Huang,Xin Jiang,Zhenguo Li,Yu Li
発行日 2025-02-25 15:07:40+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Self-Adjust Softmax はコメントを受け付けていません

Coherence-Driven Multimodal Safety Dialogue with Active Learning for Embodied Agents

投稿日: 2025年2月26日 作成者: jarxiv

要約

毎日のタスクで人々を支援するとき、ロボットは視覚的な手がかりを正確に解釈し、床の鋭いオブジェクトなどの多様な安全性のある状況で効果的に対応する必要があります。
これに関連して、具体化されたエージェントが安全性が批判的な状況でよりよく理解し、通信するように特別に設計されたマルチモーダルダイアログシステムであるM-Codalを提示します。
このシステムは、談話の一貫性関係を活用して、その文脈上の理解とコミュニケーション能力を高めます。
このシステムをトレーニングするために、外部の大手言語モデル（LLM）を利用して有益なインスタンスを特定する新しいクラスタリングベースのアクティブ学習メカニズムを導入します。
私たちのアプローチは、2K Reddit画像から抽出された1K安全違反で構成される新しく作成されたマルチモーダルデータセットを使用して評価されます。
これらの違反は、大規模なマルチモーダルモデル（LMM）を使用して注釈が付けられ、ヒトのアノテーターによって検証されます。
このデータセットの結果は、私たちのアプローチが安全状況、ユーザー感情、および会話の安全性の解決を改善することを示しています。
次に、ハローロボットストレッチロボットにダイアログシステムを展開し、現実世界の参加者と被験者内ユーザー調査を実施します。
この研究では、参加者はロボットとの重大度が異なる2つの安全シナリオをロールプレイし、モデルから介入を受け取り、OpenaiのChatGPTを搭載したベースラインシステムを受け取ります。
この研究結果は、調査結果を自動化された評価から裏付け、拡張し、提案されたシステムが実際の具体化されたエージェント設定でより説得力があることを示しています。

要約(オリジナル)

When assisting people in daily tasks, robots need to accurately interpret visual cues and respond effectively in diverse safety-critical situations, such as sharp objects on the floor. In this context, we present M-CoDAL, a multimodal-dialogue system specifically designed for embodied agents to better understand and communicate in safety-critical situations. The system leverages discourse coherence relations to enhance its contextual understanding and communication abilities. To train this system, we introduce a novel clustering-based active learning mechanism that utilizes an external Large Language Model (LLM) to identify informative instances. Our approach is evaluated using a newly created multimodal dataset comprising 1K safety violations extracted from 2K Reddit images. These violations are annotated using a Large Multimodal Model (LMM) and verified by human annotators. Results with this dataset demonstrate that our approach improves resolution of safety situations, user sentiment, as well as safety of the conversation. Next, we deploy our dialogue system on a Hello Robot Stretch robot and conduct a within-subject user study with real-world participants. In the study, participants role-play two safety scenarios with different levels of severity with the robot and receive interventions from our model and a baseline system powered by OpenAI’s ChatGPT. The study results corroborate and extend the findings from the automated evaluation, showing that our proposed system is more persuasive in a real-world embodied agent setting.

arxiv情報

著者 Sabit Hassan,Hye-Young Chung,Xiang Zhi Tan,Malihe Alikhani
発行日 2025-02-25 15:13:08+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.RO | Coherence-Driven Multimodal Safety Dialogue with Active Learning for Embodied Agents はコメントを受け付けていません

Better Aligned with Survey Respondents or Training Data? Unveiling Political Leanings of LLMs on U.S. Supreme Court Cases

投稿日: 2025年2月26日 作成者: jarxiv

要約

大規模な言語モデル（LLMS）の採用の増加と世論を形成する可能性は、これらのモデルの政治的傾向を評価することに関心を集めました。
LLMと人間の意見を比較し、システムの反応において政治的バイアスを観察した以前の研究に基づいて、私たちはさらに一歩進んで、コーポラの形状モデルの出力のトレーニングにどのように埋め込まれているかを経験的に調べることにより、そのようなバイアスの根本的な原因を調査します。
具体的には、大規模な事前トレーニングコーパスに埋め込まれた政治的傾向を定量的に評価する方法を提案します。
その後、私たちは、より多くのLLMSの政治的傾向、彼らのプレリニグコーポラまたは調査対象の人間の意見を調査します。
ケーススタディとして、私たちは、中絶や投票権などの論争の多いトピックに対処し、32の米国最高裁判所の訴訟でLLMの政治的傾向を調査することに焦点を当てています。
私たちの調査結果は、LLMがトレーニングデータの政治的傾向を強く反映しており、調査で表明された人間の意見との整合性に強い相関関係は観察されないことを明らかにしています。
これらの結果は、トレーニングデータの責任あるキュレーションの重要性と、人間中心の値とのLLMの整合を確保するための堅牢な評価メトリックの必要性を強調しています。

要約(オリジナル)

The increased adoption of Large Language Models (LLMs) and their potential to shape public opinion have sparked interest in assessing these models’ political leanings. Building on previous research that compared LLMs and human opinions and observed political bias in system responses, we take a step further to investigate the underlying causes of such biases by empirically examining how the values and biases embedded in training corpora shape model outputs. Specifically, we propose a method to quantitatively evaluate political leanings embedded in the large pretraining corpora. Subsequently we investigate to whom are the LLMs’ political leanings more aligned with, their pretrainig corpora or the surveyed human opinions. As a case study, we focus on probing the political leanings of LLMs in 32 U.S. Supreme Court cases, addressing contentious topics such as abortion and voting rights. Our findings reveal that LLMs strongly reflect the political leanings in their training data, and no strong correlation is observed with their alignment to human opinions as expressed in surveys. These results underscore the importance of responsible curation of training data and the need for robust evaluation metrics to ensure LLMs’ alignment with human-centered values.

arxiv情報

著者 Shanshan Xu,T. Y. S. S Santosh,Yanai Elazar,Quirin Vogel,Barbara Plank,Matthias Grabmair
発行日 2025-02-25 15:16:17+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Better Aligned with Survey Respondents or Training Data? Unveiling Political Leanings of LLMs on U.S. Supreme Court Cases はコメントを受け付けていません