Claim Extraction for Fact-Checking: Data, Models, and Automated Metrics

投稿日: 2025年2月10日 作成者: jarxiv

要約

この論文では、LLMS、タスクのために微調整された小さな要約モデルを比較し、以前のNER中心のベースラインQACGを比較して、1対多くのテキスト生成方法を使用したクレーム抽出の問題を調査します。
クレーム抽出、事実抽出、クレーム生成、チェックに値するクレーム検出に関する現在の出版物は、その手段と用語に非常に散らばっているため、4Kの原子的事実請求が4Kコンテキスト化されたウィキペディアセンテンスから抽出された17K原子の事実のクレームを導入して、共通の目的を編集します。
、元の発熱から適応します。
既知の目標を、原子性、流ency性、脱表現、生成された各クレームについて個別にチェックされた忠実さ、および単一の入力の予測クレームの完全なセットに対して測定されたフォーカスとカバレッジの評価フレームワークにまとめます。
各メトリックについて、既に実験されたNLPタスクへの削減を使用してスケールを実装します。
一般的なクレームの人間のグレーディングに対するメトリックを検証し、最も難しいメトリックである$ f_ {fact} $にランク付けされているモデルが変更されず、評価フレームワークは$ f_1 $とrmseに関してヒトのグレーディングを非常に密接に近似していることを確認します。

要約(オリジナル)

In this paper, we explore the problem of Claim Extraction using one-to-many text generation methods, comparing LLMs, small summarization models finetuned for the task, and a previous NER-centric baseline QACG. As the current publications on Claim Extraction, Fact Extraction, Claim Generation and Check-worthy Claim Detection are quite scattered in their means and terminology, we compile their common objectives, releasing the FEVERFact dataset, with 17K atomic factual claims extracted from 4K contextualised Wikipedia sentences, adapted from the original FEVER. We compile the known objectives into an Evaluation framework of: Atomicity, Fluency, Decontextualization, Faithfulness checked for each generated claim separately, and Focus and Coverage measured against the full set of predicted claims for a single input. For each metric, we implement a scale using a reduction to an already-explored NLP task. We validate our metrics against human grading of generic claims, to see that the model ranking on $F_{fact}$, our hardest metric, did not change and the evaluation framework approximates human grading very closely in terms of $F_1$ and RMSE.

arxiv情報

著者 Herbert Ullrich,Tomáš Mlynář,Jan Drchal
発行日 2025-02-07 14:20:45+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Claim Extraction for Fact-Checking: Data, Models, and Automated Metrics はコメントを受け付けていません

SSMLoRA: Enhancing Low-Rank Adaptation with State Space Model

投稿日: 2025年2月10日 作成者: jarxiv

要約

微調整は、言語モデルを特定のダウンストリームタスクに適応させるための重要なアプローチですが、すべてのモデルパラメーターを更新することは、モデルサイズが増加するにつれて非現実的になります。
低ランク適応（LORA）などのパラメーター効率の高い微調整（PEFT）メソッドは、事前に訓練された重量マトリックスに追加の適応パラメーターを導入することにより、この課題に対処します。
ただし、LORAのパフォーマンスは、モデル内の異なる挿入ポイントによって異なり、不必要な挿入による潜在的なパラメーターの非効率性を強調しています。
この目的のために、SSMlora（状態空間モデルの低ランク適応）を提案します。これは、低ランクマトリックスを相互接続するための状態空間モデル（SSM）を組み込んだLORAの拡張です。
Ssmloraは、スパースの挿入があってもパフォーマンスが維持されることを保証します。
Ssmloraを使用すると、モデルは入力を低ランクスペースにマッピングするだけでなく、機能抽出を改善するだけでなく、以前の低ランクスペースからの計算を活用できます。
私たちの方法は、パラメーターの半分のみを使用しながら、一般的な言語理解評価（接着剤）ベンチマークでLORAに匹敵するパフォーマンスを達成します。
さらに、その構造により、Ssmloraは、より長い入力シーケンスでタスクを処理することに有望です。
。ここでコードを見つけることができます：https：//github.com/yuhkalhic/ssmlora。

要約(オリジナル)

Fine-tuning is a key approach for adapting language models to specific downstream tasks, but updating all model parameters becomes impractical as model sizes increase. Parameter-Efficient Fine-Tuning (PEFT) methods, such as Low-Rank Adaptation (LoRA), address this challenge by introducing additional adaptation parameters into pre-trained weight matrices. However, LoRA’s performance varies across different insertion points within the model, highlighting potential parameter inefficiency due to unnecessary insertions. To this end, we propose SSMLoRA (State Space Model Low-Rank Adaptation), an extension of LoRA that incorporates a State Space Model (SSM) to interconnect low-rank matrices. SSMLoRA ensures that performance is maintained even with sparser insertions. SSMLoRA allows the model to not only map inputs to a low-rank space for better feature extraction but also leverage the computations from the previous low-rank space. Our method achieves comparable performance to LoRA on the General Language Understanding Evaluation (GLUE) benchmark while using only half the parameters. Additionally, due to its structure, SSMLoRA shows promise in handling tasks with longer input sequences. .You can find our code here:https://github.com/yuhkalhic/SSMLoRA.

arxiv情報

著者 Jiayang Yu,Yihang Zhang,Bin Wang,Peiqin Lin,Yongkang Liu,Shi Feng
発行日 2025-02-07 14:22:35+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | SSMLoRA: Enhancing Low-Rank Adaptation with State Space Model はコメントを受け付けていません

Commonality and Individuality! Integrating Humor Commonality with Speaker Individuality for Humor Recognition

投稿日: 2025年2月10日 作成者: jarxiv

要約

ユーモア認識は、特定のスピーカーのテキストがユーモラスであるかどうかを特定することを目的としています。
ユーモア認識の現在の方法は、主に2つの制限に悩まされています。（1）ユーモアの多面的な性質を無視して、ユーモアの共通性の1つの側面にのみ焦点を当てています。
（2）彼らは通常、スピーカーの個性の重要な役割を見落としています。これは、ユーモアの表現を包括的に理解するために不可欠です。
これらのギャップを橋渡しするために、マルチフェセットのユーモアの共通性をスピーカーの独特の個性を統合することにより、ユーモア認識を高めるために設計された新しいモデルであるユーモア認識のための共通性と個性組み込みネットワーク（CIHR）を紹介します。
CIHRには、ユーザーテキスト内の多面的なユーモアの共通性のさまざまな視点を探るユーモア共通性分析モジュールと、スピーカーのプロファイルの静的な側面と動的な側面の両方をキャプチャするスピーカーの個性抽出モジュールが特徴的な個性を正確にモデル化します。
さらに、ユーモア認識プロセスにスピーカーの個性とユーモアの共通性を効果的に組み込むために、静的および動的融合モジュールが導入されています。
広範な実験は、CIHRの有効性を実証し、ユーモア認識における多面的なユーモアの共通性と独特のスピーカーの個性の両方に同時に対処することの重要性を強調しています。

要約(オリジナル)

Humor recognition aims to identify whether a specific speaker’s text is humorous. Current methods for humor recognition mainly suffer from two limitations: (1) they solely focus on one aspect of humor commonalities, ignoring the multifaceted nature of humor; and (2) they typically overlook the critical role of speaker individuality, which is essential for a comprehensive understanding of humor expressions. To bridge these gaps, we introduce the Commonality and Individuality Incorporated Network for Humor Recognition (CIHR), a novel model designed to enhance humor recognition by integrating multifaceted humor commonalities with the distinctive individuality of speakers. The CIHR features a Humor Commonality Analysis module that explores various perspectives of multifaceted humor commonality within user texts, and a Speaker Individuality Extraction module that captures both static and dynamic aspects of a speaker’s profile to accurately model their distinctive individuality. Additionally, Static and Dynamic Fusion modules are introduced to effectively incorporate the humor commonality with speaker’s individuality in the humor recognition process. Extensive experiments demonstrate the effectiveness of CIHR, underscoring the importance of concurrently addressing both multifaceted humor commonality and distinctive speaker individuality in humor recognition.

arxiv情報

著者 Haohao Zhu,Junyu Lu,Zeyuan Zeng,Zewen Bai,Xiaokun Zhang,Liang Yang,Hongfei Lin
発行日 2025-02-07 14:23:49+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Commonality and Individuality! Integrating Humor Commonality with Speaker Individuality for Humor Recognition はコメントを受け付けていません

CoCoA: A Generalized Approach to Uncertainty Quantification by Integrating Confidence and Consistency of LLM Outputs

投稿日: 2025年2月10日 作成者: jarxiv

要約

大規模な言語モデル（LLMS）の不確実性定量化（UQ）メソッドにはさまざまなアプローチが含まれ、2つの主要なタイプが特に顕著です。トークン確率として表現されたモデル信頼に焦点を当てた情報ベースと、セマンティックを評価する一貫性ベース
繰り返しサンプリングを使用して生成された複数の出力間の関係。
いくつかの最近の方法がこれらの2つのアプローチを組み合わせて、さまざまなアプリケーションで印象的なパフォーマンスを示しています。
ただし、より単純なベースラインメソッドを上回ることができない場合があります。
私たちの調査では、LLMの特性が確率モデルとしての特徴を明らかにしているため、これらのUQメソッドが特定のタスクでパフォーマンスが低下している理由を説明するのに役立ちます。
これらの調査結果に基づいて、モデルの信頼性と出力の一貫性を合成する新しい方法を提案し、効率的で堅牢なUQメソッドのファミリーにつながります。
質問の回答、抽象的な要約、機械翻訳など、さまざまなタスクにわたってアプローチを評価し、最先端のUQアプローチに関するかなりの改善を実証します。

要約(オリジナル)

Uncertainty quantification (UQ) methods for Large Language Models (LLMs) encompasses a variety of approaches, with two major types being particularly prominent: information-based, which focus on model confidence expressed as token probabilities, and consistency-based, which assess the semantic relationship between multiple outputs generated using repeated sampling. Several recent methods have combined these two approaches and shown impressive performance in various applications. However, they sometimes fail to outperform much simpler baseline methods. Our investigation reveals distinctive characteristics of LLMs as probabilistic models, which help to explain why these UQ methods underperform in certain tasks. Based on these findings, we propose a new way of synthesizing model confidence and output consistency that leads to a family of efficient and robust UQ methods. We evaluate our approach across a variety of tasks such as question answering, abstractive summarization, and machine translation, demonstrating sizable improvements over state-of-the-art UQ approaches.

arxiv情報

著者 Roman Vashurin,Maiya Goloburda,Preslav Nakov,Artem Shelmanov,Maxim Panov
発行日 2025-02-07 14:30:12+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | CoCoA: A Generalized Approach to Uncertainty Quantification by Integrating Confidence and Consistency of LLM Outputs はコメントを受け付けていません

Evaluating Input Feature Explanations through a Unified Diagnostic Evaluation Framework

投稿日: 2025年2月10日 作成者: jarxiv

要約

機械学習モデルの意思決定プロセスを説明することは、エンドユーザーの信頼性と透明性を確保するために重要です。
人気のある説明形式の1つは、i）トークン（Shapley値や統合勾配など）、ii）トークン（たとえば、二変量Shapleyおよび注意ベースの方法）、またはIII）入力間の相互作用などの重要な入力機能を強調しています。
（例えば、ルーバンスパンの相互作用）。
ただし、これらの説明タイプは単独でのみ研究されているため、それぞれの適用性を判断することは困難です。
このギャップを埋めるために、4つの診断特性で構成されるハイライトとインタラクティブな説明の自動化された直接的な比較を促進する統一されたフレームワークを開発します。
2つのデータセットと2つのモデルにわたって、3つの異なる説明手法を使用するこれらの3つのタイプの入力機能説明にわたって広範な分析を実施し、各説明が異なる診断プロパティで異なる強みがあることを明らかにします。
それにもかかわらず、インタラクティブなスパンの説明は、ほとんどの診断特性にわたって他のタイプの入力特徴の説明を上回ります。
比較的研究されているにもかかわらず、私たちの分析は、これらの説明タイプを生成する方法を改善するためのさらなる研究の必要性を強調しています。
さらに、特定の特性でパフォーマンスを向上させる他の説明タイプとそれらを統合すると、全体的な有効性がさらに向上する可能性があります。

要約(オリジナル)

Explaining the decision-making process of machine learning models is crucial for ensuring their reliability and transparency for end users. One popular explanation form highlights key input features, such as i) tokens (e.g., Shapley Values and Integrated Gradients), ii) interactions between tokens (e.g., Bivariate Shapley and Attention-based methods), or iii) interactions between spans of the input (e.g., Louvain Span Interactions). However, these explanation types have only been studied in isolation, making it difficult to judge their respective applicability. To bridge this gap, we develop a unified framework that facilitates an automated and direct comparison between highlight and interactive explanations comprised of four diagnostic properties. We conduct an extensive analysis across these three types of input feature explanations — each utilizing three different explanation techniques — across two datasets and two models, and reveal that each explanation has distinct strengths across the different diagnostic properties. Nevertheless, interactive span explanations outperform other types of input feature explanations across most diagnostic properties. Despite being relatively understudied, our analysis underscores the need for further research to improve methods generating these explanation types. Additionally, integrating them with other explanation types that perform better in certain characteristics could further enhance their overall effectiveness.

arxiv情報

著者 Jingyi Sun,Pepa Atanasova,Isabelle Augenstein
発行日 2025-02-07 15:11:38+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: 68T50, cs.CL, I.2.7 | Evaluating Input Feature Explanations through a Unified Diagnostic Evaluation Framework はコメントを受け付けていません

CollabEdit: Towards Non-destructive Collaborative Knowledge Editing

投稿日: 2025年2月10日 作成者: jarxiv

要約

大規模な言語モデル（LLMS）の共同学習は、さまざまな関係者のプライベートデータを利用して効率とプライバシーを保証するための新しいパラダイムとして浮上しています。
一方、LLMSの知識編集（KE）は、LLMの行動を明示的に操作する能力のために注目を集めていますが、共同のKEケースを残します（複数の関係者の知識編集は、プライバシーを提供し、継続的な方法で集約されます。
）未検証。
この目的のために、この原稿は、知識の重複、知識の対立、知識の忘却など、その中のユニークな3つの課題を慎重に特定することからまず、共同のKEの最初の調査に分かれます。
次に、非破壊的なコラボレーションKEフレームワークであるCollabeditを提案します。このCollabeditは、グローバルなKEの動作を模倣しながら、深刻なパフォーマンスの低下を防ぎながら、グローバルなKEの動作を模倣する新しいモデルを採用しています。
2つの標準データセットでの広範な実験は、他の破壊的なベースラインと比較してCollabeditの優位性を示しており、結果は3つの共同KEの課題と将来のアプリケーションに対処することに光を当てています。
私たちのコードは、https：//github.com/lins-lab/collabeditで入手できます。

要約(オリジナル)

Collaborative learning of large language models (LLMs) has emerged as a new paradigm for utilizing private data from different parties to guarantee efficiency and privacy. Meanwhile, Knowledge Editing (KE) for LLMs has also garnered increased attention due to its ability to manipulate the behaviors of LLMs explicitly, yet leaves the collaborative KE case (in which knowledge edits of multiple parties are aggregated in a privacy-preserving and continual manner) unexamined. To this end, this manuscript dives into the first investigation of collaborative KE, in which we start by carefully identifying the unique three challenges therein, including knowledge overlap, knowledge conflict, and knowledge forgetting. We then propose a non-destructive collaborative KE framework, COLLABEDIT, which employs a novel model merging mechanism to mimic the global KE behavior while preventing the severe performance drop. Extensive experiments on two canonical datasets demonstrate the superiority of COLLABEDIT compared to other destructive baselines, and results shed light on addressing three collaborative KE challenges and future applications. Our code is available at https://github.com/LINs-lab/CollabEdit.

arxiv情報

著者 Jiamu Zheng,Jinghuai Zhang,Tianyu Du,Xuhong Zhang,Jianwei Yin,Tao Lin
発行日 2025-02-07 15:49:58+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.CY | CollabEdit: Towards Non-destructive Collaborative Knowledge Editing はコメントを受け付けていません

nvAgent: Automated Data Visualization from Natural Language via Collaborative Agent Workflow

投稿日: 2025年2月10日 作成者: jarxiv

要約

Natural Language to Visualization（NL2VIS）は、自然言語の説明を与えられたテーブルの視覚的表現に変換し、ユーザーが大規模なデータから洞察を導き出すことを可能にします。
大規模な言語モデル（LLMS）の最近の進歩は、コード生成を自動化して表形式データをアクセス可能な視覚化に変換することを約束しています。
しかし、彼らはしばしば、複数のテーブルにわたって推論を必要とする複雑なクエリに苦労しています。
この制限に対処するために、NL2VISのNVAGENTと呼ばれる共同エージェントワークフローを提案します。
具体的には、Nvagentは3つのエージェントで構成されています。データベース処理とコンテキストフィルタリングのプロセッサエージェント、視覚化生成を計画するための作曲家エージェント、およびコード翻訳と出力検証の有効化エージェントです。
新しいVisevalベンチマークの包括的な評価は、Nvagentが常に最先端のベースラインを上回り、単一テーブルの7.88％の改善とマルチテーブルシナリオの9.23％の改善を達成することを示しています。
定性分析では、Nvagentが以前のモデルで20％近くのパフォーマンスマージンを維持しており、複雑で異種のデータソースから高品質の視覚表現を生成する能力を強調していることを強調しています。

要約(オリジナル)

Natural Language to Visualization (NL2Vis) seeks to convert natural-language descriptions into visual representations of given tables, empowering users to derive insights from large-scale data. Recent advancements in Large Language Models (LLMs) show promise in automating code generation to transform tabular data into accessible visualizations. However, they often struggle with complex queries that require reasoning across multiple tables. To address this limitation, we propose a collaborative agent workflow, termed nvAgent, for NL2Vis. Specifically, nvAgent comprises three agents: a processor agent for database processing and context filtering, a composer agent for planning visualization generation, and a validator agent for code translation and output verification. Comprehensive evaluations on the new VisEval benchmark demonstrate that nvAgent consistently surpasses state-of-the-art baselines, achieving a 7.88% improvement in single-table and a 9.23% improvement in multi-table scenarios. Qualitative analyses further highlight that nvAgent maintains nearly a 20% performance margin over previous models, underscoring its capacity to produce high-quality visual representations from complex, heterogeneous data sources.

arxiv情報

著者 Geliang Ouyang,Jingyao Chen,Zhihe Nie,Yi Gui,Yao Wan,Hongyu Zhang,Dongping Chen
発行日 2025-02-07 16:03:08+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | nvAgent: Automated Data Visualization from Natural Language via Collaborative Agent Workflow はコメントを受け付けていません

Paying Attention to Facts: Quantifying the Knowledge Capacity of Attention Layers

投稿日: 2025年2月10日 作成者: jarxiv

要約

このホワイトペーパーでは、線形代数の観点からデータベースに含まれる事実を記憶するための単一層の注意のみのトランス（すなわち、注意層）の能力を調査します。
各データベースに3テンソルを関連付け、このテンソルのランクをデータベースのサイズの尺度として提案し、データベースのプロパティに関してランクの境界を提供します。
また、注意レイヤーに対応する3テンソルを定義し、おもちゃモデルとランダムデータベースのデータセット上のランクとデータベースランクの関係を経験的に実証します。
価値出力とクエリキーの重みが果たす役割、およびランクに対するArgmaxとSoftmaxの効果を強調することにより、私たちの結果は、変圧器の事実のリコールの「加算モチーフ」に光を当てながら、層を増やす方法を示唆しています。
パラメーターの数を増やすことなく容量。

要約(オリジナル)

In this paper, we investigate the ability of single-layer attention-only transformers (i.e. attention layers) to memorize facts contained in databases from a linear-algebraic perspective. We associate with each database a 3-tensor, propose the rank of this tensor as a measure of the size of the database, and provide bounds on the rank in terms of properties of the database. We also define a 3-tensor corresponding to an attention layer, and empirically demonstrate the relationship between its rank and database rank on a dataset of toy models and random databases. By highlighting the roles played by the value-output and query-key weights, and the effects of argmax and softmax on rank, our results shed light on the `additive motif’ of factual recall in transformers, while also suggesting a way of increasing layer capacity without increasing the number of parameters.

arxiv情報

著者 Liang Ze Wong
発行日 2025-02-07 16:50:27+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG | Paying Attention to Facts: Quantifying the Knowledge Capacity of Attention Layers はコメントを受け付けていません

GiesKaNe: Bridging Past and Present in Grammatical Theory and Practical Application

投稿日: 2025年2月10日 作成者: jarxiv

要約

この記事では、Gieskaneプロジェクト（Giessen University and Kassel、新しい高ドイツ語の構文基本構造）内のコーパス編集の要件を調査します。
このプロジェクトは、3つの中心的な特性によって定義されています。これは、参照コーパス、歴史的なコーパス、および構文的に深く注釈付きのツリーバンクです。
歴史的なコーパスとして、ジエルカネは歴史的および現代的なコーパラの両方とのつながりを確立することを目指しており、時間的および言語的文脈にわたるその関連性を確保しています。
編集プロセスは、革新と基準への順守とのバランスをとっており、内部プロジェクトの目標と研究コミュニティのより広範な関心の両方に取り組んでいます。
このようなプロジェクトの方法論的な複雑さは、人間の専門知識と機械支援プロセスの補完的な相互作用を通じて管理されます。
この記事では、高度な考慮事項とともに、トークン化、正規化、文の定義、タグ付け、解析、アノテーター間契約などの基本的なトピックについて説明します。
これらには、文法モデル、注釈スキーマ、および確立された事実上の注釈基準の比較、および人間と機械のコラボレーションの統合が含まれます。
特に、概念的な口頭とリテラシーの連続体に沿ったマシン支援テキストの分類のための新しい方法が提案されており、テキスト選択に関する新しい視点を提供します。
さらに、この記事では、既存のものから事実上の標準的な注釈を導き出すアプローチを紹介し、標準化と革新を媒介しています。
ワークフローを説明する過程で、この記事は、Gieskaneのような野心的なプロジェクトでさえ、既存の研究インフラストラクチャを使用して効果的に実装できることを示しています。
代わりに、ワークフローは、単純なスプレッドシートの戦略的使用に基づいて、既存のインフラストラクチャの機能を統合できることが示されています。

要約(オリジナル)

This article explores the requirements for corpus compilation within the GiesKaNe project (University of Giessen and Kassel, Syntactic Basic Structures of New High German). The project is defined by three central characteristics: it is a reference corpus, a historical corpus, and a syntactically deeply annotated treebank. As a historical corpus, GiesKaNe aims to establish connections with both historical and contemporary corpora, ensuring its relevance across temporal and linguistic contexts. The compilation process strikes the balance between innovation and adherence to standards, addressing both internal project goals and the broader interests of the research community. The methodological complexity of such a project is managed through a complementary interplay of human expertise and machine-assisted processes. The article discusses foundational topics such as tokenization, normalization, sentence definition, tagging, parsing, and inter-annotator agreement, alongside advanced considerations. These include comparisons between grammatical models, annotation schemas, and established de facto annotation standards as well as the integration of human and machine collaboration. Notably, a novel method for machine-assisted classification of texts along the continuum of conceptual orality and literacy is proposed, offering new perspectives on text selection. Furthermore, the article introduces an approach to deriving de facto standard annotations from existing ones, mediating between standardization and innovation. In the course of describing the workflow the article demonstrates that even ambitious projects like GiesKaNe can be effectively implemented using existing research infrastructure, requiring no specialized annotation tools. Instead, it is shown that the workflow can be based on the strategic use of a simple spreadsheet and integrates the capabilities of the existing infrastructure.

arxiv情報

著者 Volker Emmrich
発行日 2025-02-07 17:35:33+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | GiesKaNe: Bridging Past and Present in Grammatical Theory and Practical Application はコメントを受け付けていません

Interpreting token compositionality in LLMs: A robustness analysis

投稿日: 2025年2月10日 作成者: jarxiv

要約

大規模な言語モデル（LLM）の内部メカニズムを理解することは、信頼性、解釈可能性、および推論プロセスを強化するのに不可欠です。
LLMSが構成の言語構造をどのように処理するかを分析するために設計された方法論であるConstituent-Awareプーリング（CAP）を提示します。
構成性、機械的解釈可能性、情報理論の原則に基づいて、CAPは、さまざまなモデルレベルでの構成要素ベースのプーリングを通じて、モデルの活性化に体系的に介入します。
逆定義モデリング、HyperNym、および同義語の予測に関する実験は、構成の抽象化の処理におけるトランスの制限に関する重要な洞察を明らかにしています。
特定のレイヤーは、構成要素部品に基づいてトークンを統合されたセマンティック表現に統合しません。
断片化された情報処理が観察され、モデルサイズで強化され、より大きなモデルがこれらの介入により多くの闘いを持ち、より多くの情報分散を示すことを示唆しています。
この断片化は、トランスフォーマーのトレーニング目標と建築設計に起因する可能性が高く、体系的でまとまりのある表現を防ぎます。
私たちの調査結果は、これらの課題に対処するためにLLM設計の新しいアプローチの重要なニーズを強調して、構成セマンティクス処理とモデルの解釈性に関する現在の変圧器アーキテクチャの基本的な制限を強調しています。

要約(オリジナル)

Understanding the internal mechanisms of large language models (LLMs) is integral to enhancing their reliability, interpretability, and inference processes. We present Constituent-Aware Pooling (CAP), a methodology designed to analyse how LLMs process compositional linguistic structures. Grounded in principles of compositionality, mechanistic interpretability, and information theory, CAP systematically intervenes in model activations through constituent-based pooling at various model levels. Our experiments on inverse definition modelling, hypernym and synonym prediction reveal critical insights into transformers’ limitations in handling compositional abstractions. No specific layer integrates tokens into unified semantic representations based on their constituent parts. We observe fragmented information processing, which intensifies with model size, suggesting that larger models struggle more with these interventions and exhibit greater information dispersion. This fragmentation likely stems from transformers’ training objectives and architectural design, preventing systematic and cohesive representations. Our findings highlight fundamental limitations in current transformer architectures regarding compositional semantics processing and model interpretability, underscoring the critical need for novel approaches in LLM design to address these challenges.

arxiv情報

著者 Nura Aljaafari,Danilo S. Carvalho,André Freitas
発行日 2025-02-07 17:44:38+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Interpreting token compositionality in LLMs: A robustness analysis はコメントを受け付けていません