基于人类反馈的强化学习

机器学习与数据挖掘
范式 监督学习 無監督學習 線上機器學習 元学习（英语：Meta-learning (computer science)） 半监督学习 自监督学习 强化学习 基于规则的机器学习（英语：Rule-based machine learning） 量子機器學習
问题 统计分类 生成模型 迴歸分析 聚类分析 降维 密度估计（英语：density estimation） 异常检测 数据清洗 自动机器学习 关联规则学习 語意分析 结构预测（英语：Structured prediction） 特征工程 表征学习 排序学习（英语：Learning to rank） 语法归纳（英语：Grammar induction） 本体学习（英语：Ontology learning） 多模态学习
监督学习 (分类 · 回归) 学徒学习（英语：Apprenticeship learning） 决策树学习 集成学习 Bagging 提升方法 随机森林 k-NN 線性回歸 朴素贝叶斯 人工神经网络 邏輯斯諦迴歸 感知器 相关向量机（RVM） 支持向量机（SVM） 迁移学习 微调
聚类分析 BIRCH CURE算法（英语：CURE algorithm） 层次 k-平均 Fuzzy 期望最大化（EM） DBSCAN OPTICS 均值飘移（英语：Mean shift）
降维 因素分析 CCA ICA LDA NMF（英语：Non-negative matrix factorization） PCA PGD（英语：Proper generalized decomposition） t-SNE（英语：t-distributed stochastic neighbor embedding） SDL
结构预测（英语：Structured prediction） 圖模式 貝氏網路 條件隨機域 隐马尔可夫模型
异常检测 RANSAC k-NN 局部异常因子（英语：Local outlier factor） 孤立森林（英语：Isolation forest）
人工神经网络 自编码器 認知計算 深度学习 DeepDream（英语：DeepDream） 多层感知器 RNN LSTM GRU（英语：Gated recurrent unit） ESN（英语：Echo state network） 储备池计算（英语：reservoir computing） 受限玻尔兹曼机 GAN SOM CNN U-Net Transformer Vision（英语：Vision transformer） Mamba 脉冲神经网络（英语：Spiking neural network） Memtransistor（英语：Memtransistor） 电化学RAM（英语：Electrochemical RAM）（ECRAM）
强化学习 Q学习 SARSA 时序差分（TD） 多智能体（英语：Multi-agent reinforcement learning） Self-play（英语：Self-play (reinforcement learning technique)） RLHF
与人类学习 主动学习（英语：Active learning (machine learning)） 众包 Human-in-the-loop（英语：Human-in-the-loop）
模型诊断 学习曲线（英语：Learning curve (machine learning)）
数学基础 内核机器（英语：Kernel machines） 偏差–方差困境（英语：Bias–variance tradeoff） 计算学习理论（英语：Computational learning theory） 经验风险最小化 奥卡姆学习（英语：Occam learning） PAC学习（英语：Probably approximately correct learning） 统计学习 VC理论
大会与出版物 NeurIPS ICML（英语：International Conference on Machine Learning） ICLR ML（英语：Machine Learning (journal)） JMLR（英语：Journal of Machine Learning Research）
相关条目 人工智能术语（英语：Glossary of artificial intelligence） 机器学习研究数据集列表（英语：List of datasets for machine-learning research） 机器学习概要（英语：Outline of machine learning）
查 论 编

基于人类反馈的强化学习（英語：reinforcement learning from human feedback，简称RLHF），包括基于人类偏好的强化学习（reinforcement learning from human preferences），是一种直接根据人类反馈训练“奖励模型”的机器学习技术，并使用该模型作为强化学习中的奖励函数，再通过近端策略优化等算法以优化智能体（agent）策略。^[1]奖励模型在进行策略优化之前预先训练，以预测给定的输出是好（高奖励）还是坏（低奖励）。RLHF可以提高强化学习智能体的鲁棒性（robustness）和探索性（exploration），尤其适用于奖励函数稀疏或有噪声（不确定性）的情形。^[2]

人类反馈最常见的收集方式是要求人类对智能体行为的实例进行偏好排序。^[3][4][5]之后可以通过Elo等级分等方式利用排序结果对输出进行评分。^[1]虽然这种偏好判断被广泛采用，但还有其他类型的人类反馈可以提供更丰富的信息，例如数字反馈、自然语言反馈和编辑率等。

标准RLHF假设人类偏好遵循成对比较的布拉德利-特里模型（英语：Bradley–Terry model）或者多重比较的普拉斯基特-卢斯模型（Plackett–Luce model），并通过最小化交叉熵损失以学习奖励模型。^[6]在训练完奖励模型之后，RLHF根据学习到的奖励模型对语言模型进行进一步微调，使模型与人类偏好保持一致。

RLHF适用于模型输出的质量难以用算法清晰定义；但人类可以轻松判断的任务。例如，如果模型的任务是生成一个引人入胜的故事，人类可以对人工智能生成的不同故事的质量进行评分，而模型可以利用人类的反馈来提高其生成新故事的能力。

RLHF已应用于自然语言处理的各个领域，例如对话、文本摘要和自然语言理解。在普通的强化学习中，智能体根据“奖励函数”从自己的行为中学习。但在自然语言处理任务中，奖励通常不容易定义或测量，特别是在处理涉及人类价值观或偏好的复杂任务时尤其如此。在RLHF的帮助下，语言模型能够提供与这些复杂价值观相符的答案，生成更为详细的回复，同时拒绝不适当或超出模型知识空间的问题。^[7]经RLHF训练的语言模型包括OpenAI开发的ChatGPT及其前身InstructGPT^[4]、Google DeepMind的Sparrow等。

除自然语言处理外，RLHF还被应用于视频游戏机器人开发等其他领域。例如，OpenAI和DeepMind训练的智能体能基于人类喜好来玩Atari游戏。^[8][9]这些智能体在多种测试环境中都表现出色，经常能超越人类的水平。^[10]