RLHFとは？
別名： 人間のフィードバックによる強化学習
RLHFは、人がAIの回答を評価し、モデルが好まれる回答を出すように学ぶ学習段階です。
例
評価者が2つの回答からより役立つ方を選び、モデルはその何千もの選択から学びます。
専門家向け
評価から報酬モデルを学習し、それを使って言語モデルを強化学習で最適化します。似た方法にDPOやAIフィードバックによる学習があります。RLHFでモデルは役立ち礼儀正しくなりますが、ユーザーに同調しすぎる傾向が出ることもあります。
AI Compare NinjaがAIの支援を受けて執筆し、編集部が確認しています。すべての解説は独自の文章です。