Resilience of Large Language Models for Noisy Instructions

要約

自然言語処理 (NLP) の急速に進歩する領域として、大規模言語モデル (LLM) は、人間のコマンドを解釈し、さまざまなタスクにわたってテキストを生成するための強力なツールとして登場しました。
それにもかかわらず、人間の対話や協力システムに起因する固有のエラーを含むテキストを処理する LLM の回復力については、十分に調査されていません。
私たちの研究では、1) ASR (自動音声認識) エラー、2) OCR (光学文字認識) エラー、3) 文法上の間違い、4) 誤植、5) 気を散らすコンテンツを含む 5 つの一般的なタイプの中断に対する LLM の回復力を調査しています。
私たちは、これらのエラーを命令に意図的に埋め込むことで、これらのモデルがどのように反応するかを調査することを目的としています。
私たちの調査結果では、一部の LLM は特定の種類のノイズに対してある程度の耐性を示すものの、全体的なパフォーマンスが大幅に低下することが明らかになりました。
これは、モデルの復元力を強化するためのさらなる調査の重要性を強調しています。
観察されたパフォーマンスの低下に対応して、私たちの研究では、LLM が命令を処理する前に命令のノイズを除去するように設計された「再パス」戦略も評価しています。
私たちの分析では、ノイズの多い命令の修正、特にオープンソース LLM の場合、重大な課題が存在することがわかりました。

要約(オリジナル)

As the rapidly advancing domain of natural language processing (NLP), large language models (LLMs) have emerged as powerful tools for interpreting human commands and generating text across various tasks. Nonetheless, the resilience of LLMs to handle text containing inherent errors, stemming from human interactions and collaborative systems, has not been thoroughly explored. Our study investigates the resilience of LLMs against five common types of disruptions including 1) ASR (Automatic Speech Recognition) errors, 2) OCR (Optical Character Recognition) errors, 3) grammatical mistakes, 4) typographical errors, and 5) distractive content. We aim to investigate how these models react by deliberately embedding these errors into instructions. Our findings reveal that while some LLMs show a degree of resistance to certain types of noise, their overall performance significantly suffers. This emphasizes the importance of further investigation into enhancing model resilience. In response to the observed decline in performance, our study also evaluates a ‘re-pass’ strategy, designed to purify the instructions of noise before the LLMs process them. Our analysis indicates that correcting noisy instructions, particularly for open-source LLMs, presents significant challenges.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google