马尔可夫
|
任一时刻的结果都独立于其他时刻，任意两个时刻的结果不存在依赖关系 
随机过程是用来描述随着时间推移而变化的随机现象的一种模型。 例如，股票价格的变化、天气状况的演变等都可以通过随机过程来建模。
随机过程是一系列随机变量在时间上的演变过程，用于描述随时间变化的随机现象。
随机过程的特点是其在任意时刻观察到的值是不确定的，是一个随机变量。
- 主要特点是，下一时刻的结果与当前时刻的结果没关系，不存在前后依赖关系
- 前面股票的例子，用来说明随机，是因为股票的复杂性，然而针对股票来说，前后的确会有点关系
- 但随机在数学上的意义，两个不同时刻是完全没有关系的，比如抛一枚硬币出现正反的结果
|
马尔可夫过程（Markov Process）是具有马尔可夫性质的随机过程，也被称为马尔可夫链（Markov Chain）。马尔可夫性质指“无记忆”的特质，即下一状态的概率分布只能由当前状态决定，与之前的状态无关。马尔可夫过程通常用元组⟨S,P⟩描述，其中：
S是有限数量的状态集合；
P是状态转移矩阵，定义了所有状态对之间的转移概率，且每一行的概率之和为1。
当前状态只依赖于上一个状态
马尔可夫过程 定义： 马尔可夫过程是一种特殊的随机过程，它满足马尔可夫性（无后效性）。 马尔可夫性是指系统的未来状态只依赖于当前状态，而与过去的状态无关。 换句话说，只要知道当前的状态，就能确定未来状态的概率分布，而不需要考虑之前的历史状态。 举例： 假设有一个天气系统，每天的天气状态是晴天、雨天或多云。如 果这个天气系统是一个马尔可夫过程， 那么明天是晴天的概率只取决于今天是晴天、雨天还是多云， 而与昨天、前天的天气状态无关。 例如，如果今天是晴天， 那么明天是晴天的概率是0.8，是雨天的概率是0.1，是多云的概率是0.1， 这个概率分布只与今天的状态有关。
|
马尔可夫奖励过程（MRP） 定义： 马尔可夫奖励过程是在马尔可夫过程的基础上引入了奖励机制。 它包含一个马尔可夫过程和一个奖励函数。 奖励函数用于衡量在每个状态或状态转移过程中获得的即时奖励。 举例： 还是以天气系统为例，假设在晴天时，人们会感到愉悦，获得的奖励是+1； 在雨天时，人们可能会觉得不便，获得的奖励是-1； 在多云时，奖励是0。 这个天气系统加上奖励函数就构成了一个马尔可夫奖励过程。 通过这个过程，我们可以计算在一段时间内获得的总奖励， 比如连续三天的总奖励，来评估这段时间的天气对人们心情的影响。 Reward 英/rɪˈwɔːd/ 美/rɪˈwɔːrd/ n. 奖励；回报；报酬；悬赏金；赏格 vt. 奖励；奖赏；给以报酬 马尔可夫奖励过程（Markov Reward Process，MRP） 在马尔可夫过程的基础上增加了奖励函数r和折扣因子γ，用于量化状态转移的价值。 MRP由元组⟨S,P,r,γ⟩构成，其中： S是有限状态的集合； P是状态转移矩阵； r是奖励函数，表示转移到某状态时可以获得奖励的期望； γ是折扣因子，取值范围是[0,1)，用于对远期利益进行折扣。 接近1的γ更关注长期的累计奖励，接近0的γ更考虑短期奖励。 
|
马尔可夫决策过程（MDP）是在马尔可夫奖励过程的基础上加入了决策，即增加了动作。 MDP定义为元组⟨S,A,P,R,γ⟩，其中： S是有限状态集合； A是有限动作集合； P是状态转移概率矩阵，表示在某一状态下，采取动作转移到另一状态的概率； R是奖励函数，表示在该状态下执行动作获得的回报，有时由动作和状态共同决定； γ是折扣因子，取值范围是[0,1)。 
举例： 假设有一个机器人在一个迷宫中移动，迷宫的每个房间是一个状态， 机器人可以向上、向下、向左、向右移动，这些移动动作构成了动作集合。 当机器人从一个房间移动到另一个房间时，会根据一定的概率转移到下一个房间， 这个概率就是状态转移概率。 同时，机器人在每个房间中可能会获得一定的奖励， 比如在目标房间获得高奖励，在有陷阱的房间获得负奖励。 通过这些要素，机器人需要决定在每个房间中采取哪个动作，以最大化其获得的总奖励。 |
定义： 在马尔可夫决策过程中，智能体的动作因素是指智能体在每个状态下可以选择的动作。 智能体根据当前状态和策略来选择动作，从而影响系统的状态转移和奖励。 举例： 在机器人迷宫的例子中，智能体就是机器人， 它的动作因素就是向上、向下、向左、向右移动。 机器人根据当前所在的房间（状态）和它的策略（比如随机选择动作、按照某种规则选择动作等） 来决定下一步的移动方向，从而影响它在迷宫中的路径和获得的奖励。 总结来说，马尔可夫决策过程 是研究 智能体 在具有随机性的环境中 如何做出决策以最大化奖励的一种数学模型。 它基于马尔可夫过程的无后效性特点，通过引入奖励机制和智能体的动作因素， 为智能体的决策提供了理论基础和框架。 |
强化学习
|
智能体 强化学习中的智能体，不是大模型开发中的智能体， 它更偏向于机器学习， 强化学习是一种基于试错和环境反馈的学习方法 依据策略，执⾏动作-感知状态-累积奖励
强化学习（Reinforcement Learning，RL）是机器学习的一个关键方法，
它关注智能体如何与环境互动以最大化累积奖励。
大模型中的强化学习是一种将强化学习（Reinforcement Learning, RL）
与大型语言模型（Large Language Models, LLMs）相结合的技术，
旨在通过强化学习优化大模型的输出，使其更符合人类的偏好或特定任务的需求。
以下是大模型中强化学习的关键概念和应用：
在强化学习中，智能体（Agent）与环境（Environment）进行交互，
根据环境的状态（State）采取行动（Action），并从环境中获得奖励（Reward）。
智能体的目标是最大化累积奖励。
强化学习的基本概念
智能体：训练来做正确决策的实体，旨在通过行动来最大化累积奖励。
环境：智能体与之互动的外部系统。
状态：代表智能体在每个时间点的位置或情况。
动作：智能体在每个时间点在环境中可用的可能选择。
奖励：
由环境根据智能体在每个时间点采取的动作提供的信号或反馈，
通常是一个标量值，用于表示该动作的好坏。
策略：
一组决策规则，帮助智能体在每个时间点选择一个动作。
在实践中，策略通常表示为一种概率分布，指导智能体在不同状态下选择不同动作的概率。
|
|
微调预训练好的模型
在大模型中，强化学习主要用于微调预训练好的模型，
使其与期望的行为保持一致，提高其性能，并确保其输出既有效又可靠。
这通常涉及以下步骤：
收集比较数据： 收集一个包含不同输出之间比较的数据集， 其中标注者指出他们对于给定输入更倾向于哪个输出。 训练奖励模型： 使用收集到的数据集来训练一个奖励模型（RM），以预测人类偏好的输出。 这个奖励模型将用于为不同的大模型输出打分。 策略优化： 利用奖励模型的输出来作为一个标量奖励， 并使用强化学习算法（如近端策略优化PPO）微调模型以优化该奖励。 这个过程会不断迭代，直到模型的表现达到某个阈值或不再显著提高。 强化学习在大模型中的具体方法 在大模型中，强化学习的具体方法可以分为两个主要方向： 传统强化学习方法： 如基于人类反馈的强化学习（RLHF）和基于人工智能反馈的强化学习（RLAIF）。 这些方法需要训练一个奖励模型，并涉及复杂且通常不稳定的过程。 它们使用算法如近端策略优化（PPO）来优化策略模型。 简化方法： 如直接偏好优化（DPO）和相对策略优化（RPO）。 这些方法摒弃了奖励模型，提供了一个稳定、高效且计算效率高的解决方案。 它们直接利用人类偏好数据进行对齐，而无需显式地训练一个奖励模型。 人类偏好训练（Reinforcement Learning from Human Feedback, RLHF） RLHF 是一种将人类反馈整合到强化学习中的方法，主要步骤包括： 监督微调（Supervised Fine-tuning, SFT）： 使用标注数据对大模型进行初步微调，使其能够生成初步合理的回答。 奖励模型（Reward Model）： 训练一个奖励模型，将生成的内容与人类偏好对应起来，例如给“安全、有用”的回答更高分。 强化学习微调： 使用强化学习方法，让大模型根据奖励模型的评分来更新策略，从而生成更符合人类期望的内容。 作为生成器和决策者 生成器： 在基于模型的强化学习（Model-Based RL）中，大模型可以作为多模态世界模型， 生成高质量的长期轨迹或学习世界状态转移表征。 决策者： 大模型可以直接作为策略网络，根据建模能力和常识知识生成合理的动作。 改进推理能力
通过强化学习，大模型可以学习更复杂的推理过程。
例如，ReSearch 框架通过强化学习训练大模型在多跳问题中进行推理和搜索，而无需使用监督数据。
|
|
PPO 近端策略优化（Proximal Policy Optimization, PPO） 是一种常用的强化学习算法， 它通过裁剪更新策略来提高训练的稳定性。 PPO 的核心损失函数如下： 
|
一般的强化学习流程可以表示为一个马尔可夫决策过程（MDP）。 具体来说，智能体从初始状态开始， 在每个时间步骤，它基于当前状态选择一个动作， 然后进入一个新状态，并获得奖励。 这个过程会不断重复，直到达到某个终止条件（如达到最大时间步骤数或达到某个目标状态）。 智能体的目标是学习一个最优策略，使得在给定状态下选择的动作能够最大化长期累积奖励。 |
|
强化学习（RL）与监督学习的核心区别 
学习目标 监督学习： 目标： 学习输入（特征）和输出（标签）之间的映射关系。 目的是让模型能够对新的输入数据准确地预测出对应的输出标签。 举例： 在图像分类任务中，输入是图像的像素值，输出是图像所属的类别（如猫、狗等）。 模型的目标是学习图像特征和类别之间的关系，使得对新的图像能够正确分类。 强化学习： 目标： 学习智能体在环境中采取的最优策略，以最大化累积奖励。 智能体需要通过与环境的交互，根据获得的奖励信号来调整自己的行为，以达到长期收益最大化。 举例： 在机器人导航任务中，智能体（机器人）的目标是找到从起点到终点的最优路径。 它通过在环境中移动（采取动作）， 根据环境反馈的奖励（如接近目标获得正奖励，碰到障碍物获得负奖励）来学习如何行动， 最终找到最优路径。 数据来源 监督学习： 数据： 需要大量的带标签的训练数据。这些数据通常是人工标注的，模 型通过学习这些已标注的数据来泛化到新的未标注数据。 举例： 在语音识别任务中，需要大量的语音样本及其对应的文本标签。 模型通过学习这些语音 - 文本对来训练，以便能够识别新的语音输入。 强化学习： 数据： 数据是通过智能体与环境的交互动态生成的。 智能体根据当前的状态选择动作，环境根据动作给出新的状态和奖励， 这些交互数据用于训练智能体的策略。 举例： 在游戏AI训练中，智能体通过不断地玩游戏（与游戏环境交互）， 根据游戏的得分（奖励）来调整自己的策略。 每次游戏的过程和结果都是动态生成的数据，用于训练。 反馈方式 监督学习： 反馈： 提供的是直接的、明确的反馈。 对于每个输入样本，都有一个明确的正确输出标签， 模型通过计算预测值与真实标签之间的差异（如损失函数）来调整参数。 举例： 在房价预测任务中，对于每个房屋的特征（如面积、位置等），都有一个真实的价格标签。 模型通过计算预测价格与真实价格之间的差异来调整参数，以减少误差。 强化学习： 反馈： 提供的是延迟的、稀疏的反馈。 智能体在采取一系列动作后，根据最终获得的累积奖励来评估这些动作的好坏。 奖励信号通常是稀疏的（如在游戏结束时才给出最终得分），智能体需要根据这些延迟的奖励来调整策略。 举例： 在围棋AI训练中，智能体在下一盘棋的过程中， 每一步棋并没有立即的正确或错误的反馈， 只有在棋局结束时，根据胜负（奖励）来评估整个棋局的策略。 学习方式 监督学习： 方式： 通常是一次性学习。模型在训练阶段学习输入 - 输出的映射关系， 训练完成后，模型的参数基本固定，用于对新数据进行预测。 举例： 在文本分类任务中，模型在训练阶段学习文本特征和类别之间的关系， 训练完成后，就可以对新的文本进行分类。 强化学习： 方式： 是持续学习。智能体在与环境的交互过程中不断学习和调整策略。 即使在训练过程中，智能体也会根据新的交互数据动态地更新策略。 举例： 在自动驾驶汽车训练中，汽车（智能体）在道路上行驶（与环境交互）， 根据交通规则和路况（环境反馈）不断调整驾驶策略， 这个学习过程是持续进行的。 
核心区别总结 监督学习依赖于已有标签的数据集，直接模仿“专家答案”； 强化学习则是在没有明确标签的情况下，通过 试错和环境反馈 来学习如何做出最优决策。 |
1. **大模型和智能体Agent的关系** - 大模型（通常指像GPT这样的大型语言模型）主要是基于大量的文本数据进行训练， 通过深度学习算法（如Transformer架构）来学习语言的模式和规律。 它是一种通用的模型，可以用于多种自然语言处理任务，比如文本生成、翻译、问答等。 - 智能体Agent是在特定环境中能够感知环境并通过行动改变环境的实体。 智能体可以基于大模型来构建，也可以采用其他技术。 例如，一个智能客服Agent可能基于大模型来理解用户的问题并生成回答， 但它也可能结合了规则引擎等其他技术来更好地处理特定的业务逻辑。
2. **强化学习中的智能体和大模型开发中的智能体**
- **强化学习中的智能体**：
- 强化学习是一种机器学习范式，智能体在环境中通过试错来学习最优的行为策略。
强化学习中的智能体是通过与环境的交互来学习的，它会根据环境的反馈（奖励或惩罚）来调整自己的行为。
例如，在机器人控制任务中，强化学习智能体
通过不断尝试不同的动作来学习如何让机器人在复杂环境中行走、抓取物体等。
- 这种智能体主要是通过强化学习算法（如Q - learning、Deep Q - Network等）来训练的，
它侧重于学习如何在动态环境中做出一系列最优决策来最大化累积奖励。
- **大模型开发中的智能体**：
- 在大模型开发过程中，智能体的概念可能更偏向于将大模型应用于特定任务的实体。
例如，将大模型封装成一个智能体，用于文档编辑辅助，
它可以理解用户的编辑意图，自动修改文档内容等。
- 它主要是利用大模型强大的语言理解和生成能力来完成任务，
可能也会结合一些额外的技术（如搜索引擎等）来增强功能。
这种智能体主要是基于大模型的预训练能力和微调来实现特定功能的，
它侧重于利用大模型的语言能力来处理各种自然语言相关的任务。
3. **两者之间的联系和区别** - **联系**：强化学习中的智能体和大模型开发中的智能体都是人工智能领域的产物，它们都涉及到智能决策。 而且在一些复杂的任务中，两者可以结合使用。 例如，可以使用强化学习来微调大模型，让大模型在特定任务环境中更好地学习如何做出决策。 - **区别**：强化学习中的智能体主要是通过与环境的交互来学习， 它的学习过程是动态的，侧重于决策序列的优化； 而大模型开发中的智能体主要是基于大模型的语言能力，侧重于语言理解和生成任务， 它的学习过程主要是通过预训练和微调来完成，相对更侧重于语言知识的学习和应用。 所以强化学习中的智能体和大模型开发中的智能体是不同的， 它们在学习方式、应用场景等方面都有明显的差异。 下面是个人对于强化学习的一种理解，请确认是否有妥当的地方， 强化学习是一种机器学习方法，它是基于概率论或者规则构建的一种方法 你的理解有一定道理，但需要进一步完善和澄清。 强化学习（Reinforcement Learning，RL）是一种机器学习方法， 但它并不是基于概率论或者规则构建的方法， 而是基于**试错（trial - and - error）**和**环境反馈（environment feedback）**来学习最优行为策略的方法。以下是更准确的解释： ### 1. **强化学习的核心概念** - **智能体（Agent）**：在环境中采取行动的主体。 - **环境（Environment）**：智能体所处的外部世界，它会根据智能体的行动给出反馈。 - **状态（State）**：环境在某一时刻的描述。 - **动作（Action）**：智能体在某一状态下可以采取的行为。 - **奖励（Reward）**：环境对智能体采取某一动作的反馈，通常是一个数值，用于衡量该动作的好坏。 - **策略（Policy）**：智能体根据当前状态选择动作的规则。 ### 2. **强化学习的工作原理** 强化学习的目标是让智能体学习到一个最优的策略，使得在长期过程中获得的累积奖励最大化。智能体通过不断地与环境交互，尝试不同的动作，根据环境的奖励信号来调整自己的策略。这个过程可以概括为以下步骤： - 智能体观察当前状态 \( s \)。 - 根据当前策略选择一个动作 \( a \)。 - 执行动作 \( a \)，环境给出新的状态 \( s' \) 和奖励 \( r \)。 - 智能体根据奖励 \( r \) 和新状态 \( s' \) 更新策略。 ### 3. **概率论在强化学习中的作用** 概率论在强化学习中确实有重要作用，但并不是强化学习的基础构建方法。具体来说： - **策略表示**：策略可以是确定性的，也可以是随机的。随机策略会根据概率分布选择动作，例如，一个动作 \( a \) 在状态 \( s \) 下被选择的概率是 \( \pi(a|s) \)。 - **环境动态**：环境的转移概率 \( P(s'|s, a) \) 描述了在状态 \( s \) 下采取动作 \( a \) 后转移到新状态 \( s' \) 的概率。 - **奖励分布**：奖励也可能是一个随机变量，其分布 \( R(s, a) \) 描述了在状态 \( s \) 下采取动作 \( a \) 后获得奖励的期望值。 ### 4. **规则在强化学习中的作用** 强化学习并不是基于规则构建的，但它可以结合规则来增强学习效果。例如： - **启发式规则**：在某些情况下，可以使用启发式规则来初始化策略或引导学习过程。这些规则可以基于领域知识或经验。 - **混合方法**：强化学习可以与其他基于规则的方法（如专家系统）结合，以解决更复杂的问题。 ### 5. **总结** 强化学习是一种基于试错和环境反馈的学习方法，而不是基于概率论或规则构建的方法。概率论在强化学习中用于描述策略、环境动态和奖励分布等，而规则可以作为辅助手段来增强学习效果。 你的理解有一定合理性，但需要明确强化学习的核心是试错和环境反馈，而不是概率论或规则本身。 |
|
|
强化学习分类
基于价值的强化学习方法 原理： 这类方法通过学习状态价值函数（V(s)）或状态 - 动作价值函数（Q(s, a)）来指导智能体的行为。 价值函数表示在某个状态或状态 - 动作对下，智能体能够获得的预期累积奖励。 举例： Q - 学习： 通过学习状态 - 动作价值函数Q(s, a)，智能体根据Q值来选择动作。 在每个时间步，智能体选择Q值最高的动作，同时也会进行一定的探索（如采用ε - 贪婪策略）。 例如，在一个简单的网格世界中， 智能体通过学习每个位置（状态）和每个动作（如向上、向下等）对应的Q值，来选择最优路径。 SARSA（State - Action - Reward - State - Action）： 与Q - 学习类似，但它在更新Q值时考虑了实际采取的动作，而不是选择最优动作。 这使得SARSA在策略评估时更加接近实际的策略，适合在策略学习过程中进行在线更新。 基于策略的强化学习方法 原理： 这类方法直接学习智能体的策略函数π(a|s)，即在每个状态下选择动作的概率分布。 通过优化策略函数来最大化累积奖励，而不是通过学习价值函数来间接指导策略。 举例： 策略梯度方法： 通过计算策略函数的梯度来更新策略参数，使得策略函数能够产生更高奖励的动作序列。 例如，在训练一个机器人进行体操动作时， 通过策略梯度方法调整机器人的动作策略， 使其能够完成更复杂的体操动作并获得更高的评分（奖励）。 REINFORCE算法： 是一种简单的策略梯度算法，它通过采样完整的轨迹（从初始状态到终止状态的动作序列）， 根据轨迹的累积奖励来更新策略参数。 例如，在训练一个写作机器人时，REINFORCE算法通过采样机器人生成的文本序列， 根据文本的质量（奖励）来调整写作策略。 策略梯度 
|
基于模型的强化学习方法 原理： 这类方法不仅学习策略或价值函数，还学习环境的模型， 即状态转移概率和奖励函数。 通过学习环境模型，智能体可以在模拟环境中进行规划和策略优化，减少与真实环境的交互次数。 举例： Dyna - Q算法： 结合了Q - 学习和环境模型学习。 智能体在与环境交互的同时，学习环境的状态转移概率和奖励函数。 然后，它可以在模拟环境中进行规划，通过模拟交互来更新Q值。 例如，在一个复杂的交通系统中，Dyna - Q算法可以先学习交通流量的模型， 然后在模拟环境中优化交通信号控制策略。 模型预测控制（MPC）： 通过学习环境模型，在每个时间步预测未来一段时间内的状态和奖励， 然后根据预测结果优化当前的策略。 例如，在无人机飞行控制中，MPC可以根据当前的飞行状态和环境模型， 预测未来一段时间内的飞行轨迹和奖励（如飞行稳定性、能耗等），从而优化飞行控制策略。 |
tabular 英/ˈtæbjələ(r)/ 美/ˈtæbjələr/ adj. 表格式的；制成表的；列成表的 深度强化学习方法 原理： 结合了深度学习和强化学习，利用深度神经网络来表示价值函数、策略函数或环境模型。深 度强化学习能够处理高维、复杂的输入数据，如图像、语音等，并且能够自动提取特征。 举例： 深度Q网络（DQN）： 将深度神经网络用于Q - 学习，能够处理高维的输入状态（如图像）。 例如，在训练一个玩Atari游戏的AI时， DQN通过深度神经网络学习游戏画面（状态）和动作之间的Q值， 从而能够根据游戏画面选择最优动作。 深度确定性策略梯度（DDPG）： 是一种用于连续动作空间的深度强化学习算法，结合了策略梯度方法和深度学习。 例如，在机器人手臂控制任务中， DDPG可以学习机器人手臂在连续的动作空间中（如关节角度的变化）的最优控制策略， 以完成抓取物体等任务。 |
|
|
强化学习 ├── Model-based RL │ └── Dyna, PILCO ├── Model-free RL │ ├── Value-based RL │ │ ├── Tabular: Q-learning, SARSA │ │ └── Deep: DQN, Double DQN, Dueling DQN │ ├── Policy-based RL │ │ ├── Policy Gradient, REINFORCE │ │ └── Actor-Critic: A2C, PPO, TRPO │ └── Model-free + Continuous Actions │ └── DDPG, TD3, SAC └── Imitation Learning / ILHF / RLHF（结合人类反馈） |
|
|
|
|
|
|
强化学习（RL）与监督学习的区别及RL方法的分类 一、强化学习（RL）与监督学习的核心区别 维度 监督学习 强化学习（RL） 目标 预测或分类（基于输入-输出对） 通过试错学习最优策略，最大化累积奖励 数据来源 静态数据集（输入-标签对） 动态交互（智能体与环境实时交互） 反馈机制 即时且明确的标签（如分类正确/错误） 延迟且稀疏的奖励信号（可能仅在任务结束时获得） 决策方式 被动预测（给定输入，输出预测） 主动决策（选择动作以最大化长期奖励） 探索与利用 无探索需求（仅学习已有数据） 需平衡探索（尝试新动作）与利用（选择已知最优动作） 典型应用场景 图像分类、语音识别、自然语言处理 游戏AI、机器人控制、自动驾驶、资源管理 类比说明： 监督学习：学生直接抄写老师给出的标准答案（标签），目标是完全匹配答案。 强化学习：学生通过不断尝试（试错）完成作业，老师根据作业质量给出评分（奖励），学生根据评分调整学习方法（策略）。 二、强化学习方法的分类 强化学习方法可根据策略更新方式、环境模型、探索策略等维度进行分类，以下是主要分类框架： 1. 基于策略更新方式 无模型方法（Model-Free） 特点：不直接学习环境模型（如状态转移概率），仅通过试错学习策略或价值函数。 典型方法： Q-Learning：基于价值函数的无模型方法，通过更新Q值表学习最优策略。 策略梯度（Policy Gradient）：直接优化策略函数，适用于连续动作空间（如机器人控制）。 Actor-Critic：结合价值函数（Critic）和策略函数（Actor），平衡偏差与方差。 深度Q网络（DQN）：将深度学习与Q-Learning结合，处理高维状态空间（如Atari游戏）。 近端策略优化（PPO）：改进策略梯度方法，通过截断更新提高稳定性。 有模型方法（Model-Based） 特点：学习环境模型（如状态转移概率），利用模型进行规划或策略学习。 典型方法： 动态规划（DP）：在已知环境模型时，通过迭代计算最优价值函数。 蒙特卡洛树搜索（MCTS）：结合模拟与环境模型，在规划阶段选择最优动作（如AlphaGo）。 2. 基于环境模型的使用方式 无模型方法（如前所述）：直接从交互中学习策略或价值函数。 有模型方法：通过学习环境模型进行规划或策略学习。 3. 基于探索策略 ε-贪心策略：以概率ε随机探索，以概率1-ε选择当前最优动作。 Softmax策略：根据动作的价值函数选择动作，价值高的动作被选中的概率更高。 上置信界（UCB）：在多臂老虎机问题中，平衡探索与利用。 4. 基于策略与价值函数的结合方式 价值迭代方法：通过迭代更新价值函数，间接得到最优策略（如Q-Learning）。 策略迭代方法：直接优化策略函数（如策略梯度）。 Actor-Critic方法：结合价值函数（Critic）和策略函数（Actor），同时优化两者。 5. 基于环境状态的处理方式 基于表格的方法：适用于状态空间较小的问题（如网格世界）。 基于函数近似的方法：适用于状态空间较大的问题（如深度强化学习）。 三、强化学习方法的选择依据 状态空间大小： 小状态空间：基于表格的方法（如Q-Learning）。 大状态空间：基于函数近似的方法（如DQN、PPO）。 动作空间类型： 离散动作空间：Q-Learning、DQN。 连续动作空间：策略梯度、PPO。 环境模型是否已知： 已知：动态规划。 未知：无模型方法（如Q-Learning、策略梯度）。 探索与利用的平衡需求： 需要高效探索：ε-贪心、UCB。 侧重利用：策略梯度、PPO。 四、总结 监督学习适用于静态数据集的预测或分类任务，依赖明确的标签反馈。 强化学习适用于动态交互场景，通过试错学习最优策略，依赖延迟且稀疏的奖励信号。 强化学习方法分类可根据策略更新方式、环境模型、探索策略等维度进行，选择方法时需考虑状态空间大小、动作空间类型、环境模型是否已知等因素。 通过合理选择强化学习方法，可以高效解决复杂决策问题，如游戏AI、机器人控制、自动驾驶等。 |
RLHF
大模型中的RLHF（Reinforcement Learning from Human Feedback，简称RLHF）
是一种结合了强化学习和人类反馈的技术，
旨在提高语言模型（如ChatGPT等）的性能和与人类价值观的对齐程度。
具体来说，RLHF通过以下几个步骤实现：
1. 预训练语言模型
首先，在大的数据集上预训练一个初始的语言模型。
这个模型通常是通过自监督方式在一般文本数据集上进行训练的，
使用简单的损失函数（Loss function）来优化模型参数。
然而，这种训练方式生成的内容往往与人类的期望存在差距。
2. 训练奖励模型
接下来，训练一个奖励模型（Reward Model），该模型用于对初始语言模型的行为进行打分。
在强化学习中，给初始模型输入一条指令X，模型生成相应的语句Y，
奖励模型则对这对指令和生成语句（X,Y）进行打分。
这个分数是一个数值，表示人类的偏好程度。
奖励模型的训练数据通常是通过让人类对不同模型生成的文本进行排名或打分来获得的。
3. 使用RL技术进行微调
最后，利用强化学习（Reinforcement Learning，简称RL）技术对初始语言模型进行微调。
在微调过程中，模型会根据奖励模型提供的反馈来优化其参数，以生成更符合人类偏好的语句。
具体来说，模型会尝试生成能够获得更高奖励分数的语句，
从而逐渐学会如何根据人类的反馈来改进其行为。
|
|
RLHF的优势
提高性能：
通过结合强化学习和人类反馈，RLHF可以显著提高语言模型的性能，
使其生成的内容更加准确、流畅和有用。
促进对齐：
RLHF有助于语言模型更好地理解和适应人类的需求和价值观，
从而使其输出更加符合人类的期望和标准。
减少错误决策：
通过人类反馈的引导，RLHF可以减少因环境噪声或数据偏差导致的错误决策，
提高模型的可靠性和稳定性。
|
|
实际应用
RLHF技术已被广泛应用于各种大型语言模型中，如ChatGPT等。
这些模型通过RLHF技术的训练，能够在多个领域提供高质量的文本生成和对话交互服务，
为用户带来更加智能和个性化的体验。
综上所述，大模型中的RLHF是一种结合了强化学习和人类反馈的先进技术，
它对于提高语言模型的性能和与人类价值观的对齐程度具有重要意义。
|
|
|
|
|
SFT
大模型中的SFT（Supervised Fine-Tuning，监督微调） 是一种对已经预训练的模型进行特定任务训练的方法，旨在提高模型在该任务上的表现。 SFT的定义 SFT是指利用有标签的数据集对预训练模型进行进一步训练，以使其更好地适应特定任务的过程。 预训练模型通常在大量无标签或弱标签的数据上进行训练，以学习到广泛的语言知识和特征。 而SFT则是在这些预训练模型的基础上， 通过引入特定任务的有标签数据，对模型进行有针对性的调整和优化。
|
提升模型性能：
通过SFT，模型能够利用预训练阶段学到的通用知识，
并结合新数据的标签信息，在特定任务上表现更好。
这有助于提升模型在文本分类、情感分析、机器翻译等任务上的准确性和效率。
减少标注数据需求： 由于预训练模型已经在大量数据上进行过训练， 因此SFT通常只需要较少的标注数据即可达到良好的效果。 这降低了数据标注的成本和时间。 灵活性： SFT可以应用于各种任务，如文本生成、问答系统、对话系统等。 它使得模型能够根据不同的需求进行定制化训练，从而满足多样化的应用场景。 |
数据准备： 收集并整理特定任务的有标签数据集。 这些数据集应包含足够的样本以覆盖任务的各种情况。 模型加载： 加载预训练模型，并将其作为SFT的起点。 预训练模型应已经具备较好的语言理解和生成能力。 训练设置： 配置训练参数，如学习率、批处理大小、训练轮次等。 这些参数的设置会影响模型的训练效果和训练时间。
训练过程：
使用有标签数据集对预训练模型进行训练。
在训练过程中，模型会根据数据的标签信息调整其参数，以优化在特定任务上的表现。
评估与调整：
训练完成后，使用测试数据集对模型进行评估。
根据评估结果，可以对模型进行进一步的调整和优化。
|
SFT在自然语言处理领域有广泛的应用，如： 文本分类： 使用预训练模型进行情感分析或主题分类等任务。 问答系统： 通过微调模型，使其能够回答特定领域的问题。 对话系统： 通过SFT，使模型能够生成更符合人类对话习惯的回复。 |
优点： 提升模型在特定任务上的性能。 减少标注数据需求。 灵活性高，可应用于多种任务。 缺点： 需要一定的计算资源和时间来进行训练。 数据集的质量和多样性对模型性能有重要影响。 过度训练可能导致模型过拟合。 另外，强化某一方面的能力有可能导致整体的理解推理能力下降， 当然，如果只是应用于特定的任务，这不算是缺点。 |
参考