Complex QA and language models hybrid architectures, Survey

要約

このホワイト ペーパーでは、最先端のハイブリッド言語モデル アーキテクチャと「複雑な」質問応答 (QA、CQA、CPS) の戦略について概説します。
大規模言語モデル (LLM) は、標準的な問題に関する公開データを活用するのに適していますが、より具体的な複雑な質問や問題に取り組みたい場合は、特定のアーキテクチャ、知識、スキル、方法、機密データの保護、説明可能性、人間の承認、多目的なフィードバックが必要になる場合があります。
… 複雑な質問や問題を解決するために LLM を強化する重要な要素を特定します。
堅牢なコミュニティが編集した研究論文 BIG、BLOOM、HELM からの発見を拡張します。これらの論文は、タスクの複雑さと精度 (公平性、堅牢性、毒性など) に関する LLM の制限と課題をオープンソース、ベンチマーク、分析します。
ChatGPT や GALACTICA などの最近のプロジェクトにより、専門家でなくても、複雑な QA における言語モデルの大きな可能性と同様に強い制限を把握できるようになりました。
これらのモデルをさまざまなコンポーネントとハイブリッド化することで、これらのさまざまな制限を克服し、さらに先へ進むことができます。
複雑な QA に関連するいくつかの課題について説明します。これには、ドメインの適応、分解と効率的な多段階 QA、長い形式と非ファクトイドの QA、安全性と多感度のデータ保護、マルチモーダル検索、幻覚、説明可能性と真実性、時間的推論が含まれます。
したがって、ハイブリッドLLMアーキテクチャ、AIで監視されたアクティブな人間強化学習、適応の促進、ニューロシンボリックおよび構造化された知識の接地、プログラム合成、反復分解などの要素を使用して、現在のソリューションと有望な研究トレンドを分析します。

要約(オリジナル)

This paper reviews the state-of-the-art of hybrid language models architectures and strategies for ‘complex’ question-answering (QA, CQA, CPS). Large Language Models (LLM) are good at leveraging public data on standard problems but once you want to tackle more specific complex questions or problems you may need specific architecture, knowledge, skills, methods, sensitive data protection, explainability, human approval and versatile feedback… We identify key elements augmenting LLM to solve complex questions or problems. We extend findings from the robust community edited research papers BIG, BLOOM and HELM which open source, benchmark and analyze limits and challenges of LLM in terms of tasks complexity and strict evaluation on accuracy (e.g. fairness, robustness, toxicity, …). Recent projects like ChatGPT and GALACTICA have allowed non-specialists to grasp the great potential as well as the equally strong limitations of language models in complex QA. Hybridizing these models with different components could allow to overcome these different limits and go much further. We discuss some challenges associated with complex QA, including domain adaptation, decomposition and efficient multi-step QA, long form and non-factoid QA, safety and multi-sensitivity data protection, multimodal search, hallucinations, explainability and truthfulness, temproal reasoning. Therefore, we analyze current solutions and promising research trends, using elements such as: hybrid LLM architectures, active human reinforcement learning supervised with AI, prompting adaptation, neuro-symbolic and structured knowledge grounding, program synthesis, iterated decomposition and others.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google