Learning to Guide Human Experts via Personalized Large Language Models

要約

延期することを学習する際、予測器はリスクのある決定を特定し、それを人間の専門家に延期します。
この設定に関する重要な問題の 1 つは、アンカリング バイアスにより、専門家がマシンの決定に過度に依存してしまう可能性があることです。
同時に、マシンが延期オプションを選択するときは常に、専門家は完全に支援なしで決定を下さなければなりません。
解決策として、我々は、既成の意思決定を提案するのではなく、機械が意思決定を導くのに役立つガイダンスを提供し、人間がその決定を下す責任を全うする代替フレームワークである、ラーニング・トゥ・ガイド（LTG）を提案します。
決定。
また、人間による (少量の) 監視を利用して一般的な大規模言語モデルをテキスト ガイダンスを生成できるモジュールに変換し、医療診断タスクに関して暫定的ではあるが有望な結果を提示する LTG 実装である SLOG も紹介します。

要約(オリジナル)

In learning to defer, a predictor identifies risky decisions and defers them to a human expert. One key issue with this setup is that the expert may end up over-relying on the machine’s decisions, due to anchoring bias. At the same time, whenever the machine chooses the deferral option the expert has to take decisions entirely unassisted. As a remedy, we propose learning to guide (LTG), an alternative framework in which — rather than suggesting ready-made decisions — the machine provides guidance useful to guide decision-making, and the human is entirely responsible for coming up with a decision. We also introduce SLOG, an LTG implementation that leverages (a small amount of) human supervision to convert a generic large language model into a module capable of generating textual guidance, and present preliminary but promising results on a medical diagnosis task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google