Complex QA and language models hybrid architectures, Survey

要約

このホワイト ペーパーでは、「複雑な」質問応答 (QA、CQA、CPS) のためのハイブリッド言語モデル アーキテクチャと戦略の最先端の調査を提供します。
非常に大規模な言語モデルは、標準的な問題に関する公開データを活用するのに適していますが、より具体的な複雑な質問や問題に取り組みたい場合は、特定のアーキテクチャ、知識、スキル、タスク、方法、機密データ、パフォーマンス、人間の承認、および多目的なフィードバックが必要になる場合があります。
.. この調査は、堅牢なコミュニティが編集した研究論文 BIG、BLOOM、および HELM からの調査結果を拡張したもので、タスクの複雑さと精度に関する厳密な評価 (公平性、堅牢性、毒性、
…)。
複雑な質問や問題を解決するために大規模言語モデル (LLM) で使用される主要な要素を特定します。
ChatGPT や GALACTICA などの最近のプロジェクトにより、専門家でなくても、複雑な QA における言語モデルの大きな可能性と同様に強い制限を把握できるようになりました。
これらのモデルをさまざまなコンポーネントとハイブリッド化することで、これらのさまざまな制限を克服し、さらに先へ進むことができます。
ドメイン適応、分解と効率的なマルチステップ QA、ロングフォーム QA、ノンファクトイド QA、安全性と多感度データ保護、マルチモーダル検索、幻覚、QA の説明可能性と真実性、時間次元など、複雑な QA に関連するいくつかの課題について説明します。
.
したがって、ハイブリッド LLM アーキテクチャ、ヒューマンインザループ強化学習、プロンプト適応、ニューロシンボリックおよび構造化知識グラウンディング、プログラム統合などの要素を使用して、現在のソリューションと有望な戦略を確認します。
既存のソリューションを分析し、複雑な QA の分野における現在の研究と傾向の概要を提供します。

要約(オリジナル)

This paper provides a survey of the state of the art of hybrid language models architectures and strategies for ‘complex’ question-answering (QA, CQA, CPS). Very large language models are good at leveraging public data on standard problems but once you want to tackle more specific complex questions or problems you may need specific architecture, knowledge, skills, tasks, methods, sensitive data, performance, human approval and versatile feedback… This survey extends findings from the robust community edited research papers BIG, BLOOM and HELM which open source, benchmark and analyze limits and challenges of large language models in terms of tasks complexity and strict evaluation on accuracy (e.g. fairness, robustness, toxicity, …). It identifies the key elements used with Large Language Models (LLM) to solve complex questions or problems. Recent projects like ChatGPT and GALACTICA have allowed non-specialists to grasp the great potential as well as the equally strong limitations of language models in complex QA. Hybridizing these models with different components could allow to overcome these different limits and go much further. We discuss some challenges associated with complex QA, including domain adaptation, decomposition and efficient multi-step QA, long form QA, non-factoid QA, safety and multi-sensitivity data protection, multimodal search, hallucinations, QA explainability and truthfulness, time dimension. Therefore we review current solutions and promising strategies, using elements such as hybrid LLM architectures, human-in-the-loop reinforcement learning, prompting adaptation, neuro-symbolic and structured knowledge grounding, program synthesis, and others. We analyze existing solutions and provide an overview of the current research and trends in the area of complex QA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google