TACT: Advancing Complex Aggregative Reasoning with Information Extraction Tools

投稿日: 2024年10月15日 作成者: jarxiv

要約

大規模言語モデル (LLM) は、テキスト全体にわたる情報の集約を必要とするクエリではうまく機能しないことがよくあります。
この設定をより適切に評価し、モデリング作業を促進するために、複雑な命令を使用して LLM の推論と計算能力を評価するために作成されたデータセットである TACT – Text And Calculations through Tables を導入します。
TACT には、1 つ以上のテキストに散在する情報をつなぎ合わせ、この情報を複雑に統合して答えを生成することを要求する、難しい命令が含まれています。
このデータセットは、テキストとそれに関連するテーブルの既存のデータセットを利用して構築します。
このようなテーブルごとに、新しいクエリを作成し、それぞれの回答を収集します。
現在のすべての LLM はこのデータセットではパフォーマンスが低く、精度が 38% 未満であることを示しています。
問題を正確に特定し、問題を徹底的に分析するために、テーブル生成、Pandas コマンド生成、実行の 3 つのコンポーネントにわたってモデルのパフォーマンスを分析します。
予想外にも、各コンポーネントが現在の LLM にとって大きな課題を提示していることがわかりました。
これらの洞察に基づいて、私たちはツールとしての IE と呼ぶ、焦点を絞ったモデリング フレームワークを提案することにつながりました。
具体的には、上記の各ステップに「ツール」を追加し、そのような各ツールを数回のプロンプトで実装することを提案します。
このアプローチは、既存のプロンプト手法に対する改善を示しており、これらのタスクにおけるモデルの機能を強化するための有望な方向性を提供します。

要約(オリジナル)

Large Language Models (LLMs) often do not perform well on queries that require the aggregation of information across texts. To better evaluate this setting and facilitate modeling efforts, we introduce TACT – Text And Calculations through Tables, a dataset crafted to evaluate LLMs’ reasoning and computational abilities using complex instructions. TACT contains challenging instructions that demand stitching information scattered across one or more texts, and performing complex integration on this information to generate the answer. We construct this dataset by leveraging an existing dataset of texts and their associated tables. For each such tables, we formulate new queries, and gather their respective answers. We demonstrate that all contemporary LLMs perform poorly on this dataset, achieving an accuracy below 38%. To pinpoint the difficulties and thoroughly dissect the problem, we analyze model performance across three components: table-generation, Pandas command-generation, and execution. Unexpectedly, we discover that each component presents substantial challenges for current LLMs. These insights lead us to propose a focused modeling framework, which we refer to as IE as a tool. Specifically, we propose to add ‘tools’ for each of the above steps, and implement each such tool with few-shot prompting. This approach shows an improvement over existing prompting techniques, offering a promising direction for enhancing model capabilities in these tasks.

arxiv情報

著者 Avi Caciularu,Alon Jacovi,Eyal Ben-David,Sasha Goldshtein,Tal Schuster,Jonathan Herzig,Gal Elidan,Amir Globerson
発行日 2024-10-14 13:19:57+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | TACT: Advancing Complex Aggregative Reasoning with Information Extraction Tools はコメントを受け付けていません

PAD: Personalized Alignment at Decoding-Time

投稿日: 2024年10月15日 作成者: jarxiv

要約

文化、教育、政治の違いによって大きく異なる個人の好みに合わせることは、従来の調整方法では計算コストとデータ要求が大きいため、大きな課題となります。
これに応えて、この論文では、推論段階で LLM 出力をさまざまなパーソナライズされた好みに合わせて調整し、追加のトレーニングの必要性を排除するように設計された新しいフレームワークである復号時のパーソナライズド アライメント (PAD) を紹介します。
独自のパーソナライズされた報酬モデリング戦略を導入することにより、このフレームワークはテキスト生成プロセスをパーソナライズされた好みから切り離し、一般化可能なトークンレベルのパーソナライズされた報酬の生成を容易にします。
PAD アルゴリズムは、これらの報酬を活用してデコード プロセスをガイドし、基本モデルの予測を個人の好みに合わせて動的に調整します。
広範な実験結果により、PAD は、多様な設定への調整という点で既存のトレーニングベースの調整方法よりも優れているだけでなく、トレーニング中には見ら​​れなかった設定に対する大幅な一般化可能性と、異なる基本モデルにわたるスケーラビリティも示していることが実証されています。
この取り組みにより、リアルタイム アプリケーションでユーザーのニーズを満たす LLM の機能が向上し、パーソナライズされた LLM の調整において大幅な前進が見られます。

要約(オリジナル)

Aligning with personalized preferences, which vary significantly across cultural, educational, and political differences, poses a significant challenge due to the computational costs and data demands of traditional alignment methods. In response, this paper presents Personalized Alignment at Decoding-time (PAD), a novel framework designed to align LLM outputs with diverse personalized preferences during the inference phase, eliminating the need for additional training. By introducing a unique personalized reward modeling strategy, this framework decouples the text generation process from personalized preferences, facilitating the generation of generalizable token-level personalized rewards. The PAD algorithm leverages these rewards to guide the decoding process, dynamically tailoring the base model’s predictions to personalized preferences. Extensive experimental results demonstrate that PAD not only outperforms existing training-based alignment methods in terms of aligning with diverse preferences but also shows significant generalizability to preferences unseen during training and scalability across different base models. This work advances the capability of LLMs to meet user needs in real-time applications, presenting a substantial step forward in personalized LLM alignment.

arxiv情報

著者 Ruizhe Chen,Xiaotian Zhang,Meng Luo,Wenhao Chai,Zuozhu Liu
発行日 2024-10-14 13:27:36+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | PAD: Personalized Alignment at Decoding-Time はコメントを受け付けていません

Cultural Fidelity in Large-Language Models: An Evaluation of Online Language Resources as a Driver of Model Performance in Value Representation

投稿日: 2024年10月15日 作成者: jarxiv

要約

LLM のトレーニング データには社会的価値観が組み込まれており、LLM はその言語の文化に精通しやすくなります。
私たちの分析では、世界価値観調査によって測定された、GPT-4o の国の社会的価値観を反映する能力の差異の 44% が、その言語でのデジタル リソースの利用可能性と相関していることがわかりました。
特に、リソースが最も低い言語では、リソースが最も高い言語と比較して、エラー率が 5 倍以上高かった。
GPT-4-turbo の場合、この相関関係は 72% に上昇し、Web スクレイピング データを超えて英語以外の言語への親しみやすさを向上させる努力を示唆しています。
私たちの研究では、21 の国と言語のペアを含む、このトピック分野で最大かつ最も堅牢なデータセットの 1 つを開発しました。各ペアには、ネイティブ スピーカーによって検証された 94 の調査質問が含まれています。
私たちの結果は、LLM のパフォーマンスとターゲット言語でのデジタル データの可用性との間の関連性を強調しています。
リソースの少ない言語、特にグローバル・サウスで顕著なパフォーマンスの低下は、デジタル格差を悪化させる可能性があります。
アフリカ言語の取り組みで見られるように、多言語LLMをゼロから開発することや、多様な言語データセットの微調整を強化することなど、これに対処するために提案された戦略について議論します。

要約(オリジナル)

The training data for LLMs embeds societal values, increasing their familiarity with the language’s culture. Our analysis found that 44% of the variance in the ability of GPT-4o to reflect the societal values of a country, as measured by the World Values Survey, correlates with the availability of digital resources in that language. Notably, the error rate was more than five times higher for the languages of the lowest resource compared to the languages of the highest resource. For GPT-4-turbo, this correlation rose to 72%, suggesting efforts to improve the familiarity with the non-English language beyond the web-scraped data. Our study developed one of the largest and most robust datasets in this topic area with 21 country-language pairs, each of which contain 94 survey questions verified by native speakers. Our results highlight the link between LLM performance and digital data availability in target languages. Weaker performance in low-resource languages, especially prominent in the Global South, may worsen digital divides. We discuss strategies proposed to address this, including developing multilingual LLMs from the ground up and enhancing fine-tuning on diverse linguistic datasets, as seen in African language initiatives.

arxiv情報

著者 Sharif Kazemi,Gloria Gerhardt,Jonty Katz,Caroline Ida Kuria,Estelle Pan,Umang Prabhakar
発行日 2024-10-14 13:33:00+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Cultural Fidelity in Large-Language Models: An Evaluation of Online Language Resources as a Driver of Model Performance in Value Representation はコメントを受け付けていません

Everyday Speech in the Indian Subcontinent

投稿日: 2024年10月15日 作成者: jarxiv

要約

インドには 1,369 の言語があり、そのうち 22 が公用語です。
これらの言語を表すために、約 13 種類の異なる文字が使用されます。
Common Label Set (CLS) は、多言語合成のためのエンドツーエンド (E2E) フレームワークで必要とされる単位の大量の語彙の問題に対処するために、音声学に基づいて開発されました。
これにより、シンセサイザーのフットプリントが削減され、言語スクリプトが同じファミリーに属していれば、同様の音声韻律を持つ新しい言語への迅速な適応も可能になりました。
この論文では、文字が 1 つのファミリーに属し、音韻論が別のファミリーに由来する音声合成についての新しい洞察を提供します。
インド言語のテキストはまず CLS に変換され、次に言語の音声韻律に一致するシンセサイザーが使用されます。
サンスクリット語とコンカニ語では、それぞれカンナダ語とマラーティー語のシンセサイザーを使用して、適応データがゼロでネイティブ スピーカーに似た品質が得られます。
さらに、このアプローチは、特定のネイティブ スピーカーの音声で 13 のインドの言語と英語にわたるシームレスなコード切り替えにも役立ちます。

要約(オリジナル)

India has 1369 languages of which 22 are official. About 13 different scripts are used to represent these languages. A Common Label Set (CLS) was developed based on phonetics to address the issue of large vocabulary of units required in the End to End (E2E) framework for multilingual synthesis. This reduced the footprint of the synthesizer and also enabled fast adaptation to new languages which had similar phonotactics, provided language scripts belonged to the same family. In this paper, we provide new insights into speech synthesis, where the script belongs to one family, while the phonotactics comes from another. Indian language text is first converted to CLS, and then a synthesizer that matches the phonotactics of the language is used. Quality akin to that of a native speaker is obtained for Sanskrit and Konkani with zero adaptation data, using Kannada and Marathi synthesizers respectively. Further, this approach also lends itself seamless code switching across 13 Indian languages and English in a given native speaker’s voice.

arxiv情報

著者 Utkarsh Pathak,Chandra Sai Krishna Gunda,Sujitha Sathiyamoorthy,Keshav Agarwal,Hema A. Murthy
発行日 2024-10-14 13:48:36+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.SD, eess.AS, I.2.7 | Everyday Speech in the Indian Subcontinent はコメントを受け付けていません

Let Me Speak Freely? A Study on the Impact of Format Restrictions on Performance of Large Language Models

投稿日: 2024年10月15日 作成者: jarxiv

要約

構造化生成は、JSON や XML などの標準化された形式でコンテンツを生成するプロセスであり、大規模言語モデル (LLM) から主要な出力情報を抽出するために、現実世界のアプリケーションで広く利用されています。
この研究では、生成空間に対するそのような制約が、推論やドメイン知識の理解などの LLM の能力に影響を与えるかどうかを調査します。
具体的には、構造化フォーマットに準拠するように制限された場合と、さまざまな一般的なタスクにわたって自由形式の応答を生成する場合の LLM のパフォーマンスを評価します。
驚くべきことに、形式制限下では LLM の推論能力が大幅に低下することが観察されています。
さらに、形式の制約が厳しくなると、一般的に推論タスクのパフォーマンスが大幅に低下することがわかりました。

要約(オリジナル)

Structured generation, the process of producing content in standardized formats like JSON and XML, is widely utilized in real-world applications to extract key output information from large language models (LLMs). This study investigates whether such constraints on generation space impact LLMs abilities, including reasoning and domain knowledge comprehension. Specifically, we evaluate LLMs performance when restricted to adhere to structured formats versus generating free-form responses across various common tasks. Surprisingly, we observe a significant decline in LLMs reasoning abilities under format restrictions. Furthermore, we find that stricter format constraints generally lead to greater performance degradation in reasoning tasks.

arxiv情報

著者 Zhi Rui Tam,Cheng-Kuang Wu,Yi-Lin Tsai,Chieh-Yen Lin,Hung-yi Lee,Yun-Nung Chen
発行日 2024-10-14 13:57:29+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Let Me Speak Freely? A Study on the Impact of Format Restrictions on Performance of Large Language Models はコメントを受け付けていません

Uplifting Lower-Income Data: Strategies for Socioeconomic Perspective Shifts in Large Multi-modal Models

投稿日: 2024年10月15日 作成者: jarxiv

要約

最近の研究では、トレーニング データにおける文化と社会経済的グループの不平等な表現が、偏った大規模マルチモーダル (LMM) モデルにつながることが実証されました。
過小評価されたデータに対する LMM モデルのパフォーマンスを向上させるために、英語以外、地理的、社会経済的属性を使用したいくつかのプロンプト戦略を提案し、評価します。
これらの地理的および社会経済的統合プロンプトは、さまざまな国の低所得世帯のデータに共通して見られるトピックの出現を取得するのに有利であり、低所得データに対する LMM モデルのパフォーマンスの向上につながることを示します。
私たちの分析では、これらの戦略が最も大きな改善をもたらす状況を特定し、強調表示します。

要約(オリジナル)

Recent work has demonstrated that the unequal representation of cultures and socioeconomic groups in training data leads to biased Large Multi-modal (LMM) models. To improve LMM model performance on underrepresented data, we propose and evaluate several prompting strategies using non-English, geographic, and socioeconomic attributes. We show that these geographic and socioeconomic integrated prompts favor retrieving topic appearances commonly found in data from low-income households across different countries leading to improved LMM model performance on lower-income data. Our analyses identify and highlight contexts where these strategies yield the most improvements.

arxiv情報

著者 Joan Nwatu,Oana Ignat,Rada Mihalcea
発行日 2024-10-14 14:11:42+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.CV, cs.CY, I.2.7 | Uplifting Lower-Income Data: Strategies for Socioeconomic Perspective Shifts in Large Multi-modal Models はコメントを受け付けていません

Rethinking Legal Judgement Prediction in a Realistic Scenario in the Era of Large Language Models

投稿日: 2024年10月15日 作成者: jarxiv

要約

この研究では、Llama-2 や GPT-3.5 Turbo などの LLM と並行して、InLegalBERT、BERT、XLNet などのさまざまなトランスフォーマー ベースのモデルを利用して、インドの判決のコンテキスト内で現実的なシナリオでの判決予測を調査します。
この現実的なシナリオでは、訴訟の事実、法令、判例、議論など、その時点で入手可能な情報のみを使用して、訴訟が法廷で決定を下される時点での判決がどのように予測されるかをシミュレーションします。
このアプローチは、過去の研究でよく見られる遡及的分析とは異なり、後知恵の恩恵を受けることなく意思決定を下さなければならない現実世界の状況を模倣しています。
トランスフォーマー モデルについては、階層トランスフォーマーと判断事実の要約を実験して、これらのモデルへの入力を最適化します。
LLM を使用した実験では、GPT-3.5 Turbo が現実的なシナリオで優れており、判断予測において堅牢なパフォーマンスを示していることが明らかになりました。
さらに、法令や判例などの追加の法的情報を組み込むことで、予測タスクの結果が大幅に向上します。
LLM は、予測の説明も提供します。
これらの予測と説明の品質を評価するために、明瞭さとリンクという 2 つの人間による評価指標を導入します。
自動評価と人間による評価の両方から得られた調査結果は、LLM の進歩にもかかわらず、判断の予測と説明のタスクにおいて専門家レベルのパフォーマンスをまだ達成していないことを示しています。

要約(オリジナル)

This study investigates judgment prediction in a realistic scenario within the context of Indian judgments, utilizing a range of transformer-based models, including InLegalBERT, BERT, and XLNet, alongside LLMs such as Llama-2 and GPT-3.5 Turbo. In this realistic scenario, we simulate how judgments are predicted at the point when a case is presented for a decision in court, using only the information available at that time, such as the facts of the case, statutes, precedents, and arguments. This approach mimics real-world conditions, where decisions must be made without the benefit of hindsight, unlike retrospective analyses often found in previous studies. For transformer models, we experiment with hierarchical transformers and the summarization of judgment facts to optimize input for these models. Our experiments with LLMs reveal that GPT-3.5 Turbo excels in realistic scenarios, demonstrating robust performance in judgment prediction. Furthermore, incorporating additional legal information, such as statutes and precedents, significantly improves the outcome of the prediction task. The LLMs also provide explanations for their predictions. To evaluate the quality of these predictions and explanations, we introduce two human evaluation metrics: Clarity and Linking. Our findings from both automatic and human evaluations indicate that, despite advancements in LLMs, they are yet to achieve expert-level performance in judgment prediction and explanation tasks.

arxiv情報

著者 Shubham Kumar Nigam,Aniket Deroy,Subhankar Maity,Arnab Bhattacharya
発行日 2024-10-14 14:22:12+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.IR, cs.LG | Rethinking Legal Judgement Prediction in a Realistic Scenario in the Era of Large Language Models はコメントを受け付けていません

Multi-Agent Collaborative Data Selection for Efficient LLM Pretraining

投稿日: 2024年10月15日 作成者: jarxiv

要約

大規模言語モデル (LLM) の事前トレーニングを高速化するには、効率的なデータ選択が不可欠です。
データ効率を高めるためにさまざまな方法が提案されていますが、LLM 事前トレーニングに最適なデータ選択を達成するために、これらのアプローチ間の固有の矛盾に対処した研究は限られています。
この問題に取り組むために、我々は新しいマルチエージェント協調データ選択メカニズムを提案します。
このフレームワークでは、各データ選択メソッドが独立したエージェントとして機能し、エージェント コンソールは、LLM トレーニング プロセス全体を通じてすべてのエージェントからの情報を動的に統合するように設計されています。
当社では、マルチエージェント フレームワークを評価するために広範な実証研究を実施しています。
実験結果は、私たちのアプローチがデータ効率を大幅に向上させ、LLM トレーニングの収束を加速し、最先端の手法と比較して、複数の言語モデルのベンチマーク全体で最大 10.5% の平均パフォーマンス向上を達成することを示しています。

要約(オリジナル)

Efficient data selection is crucial to accelerate the pretraining of large language models (LLMs). While various methods have been proposed to enhance data efficiency, limited research has addressed the inherent conflicts between these approaches to achieve optimal data selection for LLM pretraining. To tackle this problem, we propose a novel multi-agent collaborative data selection mechanism. In this framework, each data selection method serves as an independent agent, and an agent console is designed to dynamically integrate the information from all agents throughout the LLM training process. We conduct extensive empirical studies to evaluate our multi-agent framework. The experimental results demonstrate that our approach significantly improves data efficiency, accelerates convergence in LLM training, and achieves an average performance gain up to 10.5% across multiple language model benchmarks compared to the state-of-the-art methods.

arxiv情報

著者 Tianyi Bai,Ling Yang,Zhen Hao Wong,Jiahui Peng,Xinlin Zhuang,Chi Zhang,Lijun Wu,Jiantao Qiu,Wentao Zhang,Binhang Yuan,Conghui He
発行日 2024-10-14 14:22:30+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Multi-Agent Collaborative Data Selection for Efficient LLM Pretraining はコメントを受け付けていません

Towards a Psychology of Machines: Large Language Models Predict Human Memory

投稿日: 2024年10月15日 作成者: jarxiv

要約

大規模言語モデル (LLM) は、人間の認知に基づいていないにもかかわらず、さまざまなタスクにわたって優れているため、人間の認知メカニズムについての洞察を提供する可能性についての研究が促されています。
この研究では、言語ベースの記憶タスクにおける人間のパフォーマンスを予測する ChatGPT の能力を調査します。
テキスト理解の理論に従って、関連する先行コンテキストがあるとあいまいな文の認識が容易になるという仮説を立てました。
人間と ChatGPT を含む参加者には、一対の文が与えられました。2 番目は常に庭の小道の文で、最初の文は適合するコンテキストまたは不適合なコンテキストを提供します。
私たちは文の関連性と記憶しやすさについての評価を測定しました。
結果は、ChatGPT の評価と人間の記憶能力との間に強い一致があることを示しました。
適合するコンテキスト内の文は、ChatGPT によってより関連性が高く記憶に残ると評価され、人間の記憶にも優れていると評価され、人間のパフォーマンスを予測し、心理理論に貢献する LLM の可能性が強調されました。

要約(オリジナル)

Large language models (LLMs) are excelling across various tasks despite not being based on human cognition, prompting an investigation into their potential to offer insights into human cognitive mechanisms. This study examines ChatGPT’s ability to predict human performance in a language-based memory task. Following theories of text comprehension, we hypothesized that recognizing ambiguous sentences is easier with relevant preceding context. Participants, including humans and ChatGPT, were given pairs of sentences: the second always a garden-path sentence, and the first providing either fitting or unfitting context. We measured their ratings of sentence relatedness and memorability. Results showed a strong alignment between ChatGPT’s assessments and human memory performance. Sentences in the fitting context were rated as being more related and memorable by ChatGPT and were better remembered by humans, highlighting LLMs’ potential to predict human performance and contribute to psychological theories.

arxiv情報

著者 Markus Huff,Elanur Ulakçı
発行日 2024-10-14 14:24:08+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Towards a Psychology of Machines: Large Language Models Predict Human Memory はコメントを受け付けていません

BA-LoRA: Bias-Alleviating Low-Rank Adaptation to Mitigate Catastrophic Inheritance in Large Language Models

投稿日: 2024年10月15日 作成者: jarxiv

要約

大規模言語モデル (LLM) は、さまざまな自然言語処理 (NLP) タスクにわたって顕著な熟練度を示しています。
ただし、LLM をダウンストリーム アプリケーションに適応させるには、大量の計算とメモリを必要とする微調整手順が必要です。
これらの負担を軽減するために、最小限の計算オーバーヘッドで LLM を調整するための有望なアプローチとして、パラメーター効率の良い微調整 (PEFT) 手法が登場しました。
PEFT 手法には大きな利点がありますが、事前トレーニング データからのバイアス伝播という蔓延する問題には完全には対処できません。
この研究では、バイアスの継承に対抗するために設計された新しい PEFT 手法であるバイアス緩和低ランク適応 (BA-LoRA) を紹介します。
BA-LoRA には、(1) 一貫性正則化、(2) 多様性正則化、(3) 特異値分解正則化という 3 つの異なる正則化用語が組み込まれています。
これらの正則化は、微調整中のモデルの一貫性、多様性、一般化機能を強化することを目的としています。
私たちは、LLaMA、Mistral、Gemma などの著名な LLM を使用して、自然言語理解 (NLU) および自然言語生成 (NLG) タスクに関する広範な実験を行っています。
結果は、BA-LoRA が LoRA およびその最先端のバリアントよりも優れていることを示しています。
さらに、私たちの方法はトレーニング前のバイアスの悪影響を効果的に軽減し、より信頼性が高く堅牢なモデル出力をもたらします。
コードは https://github.com/cyp-jlu-ai/BA-LoRA で入手できます。

要約(オリジナル)

Large language models (LLMs) have demonstrated remarkable proficiency across various natural language processing (NLP) tasks. However, adapting LLMs to downstream applications requires computationally intensive and memory-demanding fine-tuning procedures. To alleviate these burdens, parameter-efficient fine-tuning (PEFT) techniques have emerged as a promising approach to tailor LLMs with minimal computational overhead. While PEFT methods offer substantial advantages, they do not fully address the pervasive issue of bias propagation from pre-training data. This work introduces Bias-Alleviating Low-Rank Adaptation (BA-LoRA), a novel PEFT method designed to counteract bias inheritance. BA-LoRA incorporates three distinct regularization terms: (1) a consistency regularizer, (2) a diversity regularizer, and (3) a singular value decomposition regularizer. These regularizers aim to enhance the models’ consistency, diversity, and generalization capabilities during fine-tuning. We conduct extensive experiments on natural language understanding (NLU) and natural language generation (NLG) tasks using prominent LLMs such as LLaMA, Mistral, and Gemma. The results demonstrate that BA-LoRA outperforms LoRA and its state-of-the-art variants. Moreover, our method effectively mitigates the adverse effects of pre-training bias, leading to more reliable and robust model outputs. The code is available at https://github.com/cyp-jlu-ai/BA-LoRA.

arxiv情報

著者 Yupeng Chang,Yi Chang,Yuan Wu
発行日 2024-10-14 14:27:04+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG | BA-LoRA: Bias-Alleviating Low-Rank Adaptation to Mitigate Catastrophic Inheritance in Large Language Models はコメントを受け付けていません