sheng的学习笔记-AI-强化学习（Reinforcement Learning, RL）
AI目录：sheng的学习笔记-AI目录-CSDN博客
基础知识
什么是强化学习
强化学习（Reinforcement Learning, RL），又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题
举例说明
以种西瓜举例
种瓜有许多步骤，从一开始的选种，到定期浇水、施肥、除草、杀虫，经过一段时间才能收获西瓜。通常要等到收获后，我们才知道种出的瓜好不好。若将得到好瓜作为辛勤种瓜劳动的奖赏，则在种瓜过程中当我们执行某个操作（例如，施肥）时，并不能立即获得这个最终奖赏，甚至难以判断当前操作对最终奖赏的影响，仅能得到一个当前反馈（例如，瓜苗看起来更健壮了）。我们需多次种瓜，在种瓜过程中不断摸索，然后才能总结出较好的种瓜策略。这个过程抽象出来，就是“强化学习”
原理
强化学习任务通常用马尔可夫决策过程（Markov Decision Process，简称MDP）来描述：
机器处于环境E中，状态空间为X，其中每个状态x∈X是机器感知到的环境的描述，如在种瓜任务上这就是当前瓜苗长势的描述；
机器能采取的动作构成了动作空间A，如种瓜过程中有浇水、施不同的肥、使用不同的农药等多种可供选择的动作；若某个动作α∈A作用在当前状态x上，则潜在的转移函数P将使得环境从当前状态按某种概率转移到另一个状态，如瓜苗状态为缺水，若选择动作浇水，则瓜苗长势会发生变化，瓜苗有一定的概率恢复健康，也有一定的概率无法恢复；在转移到另一个状态的同时，环境会根据潜在的“奖赏”(reward)函数R反馈给机器一个奖赏，如保持瓜苗健康对应奖赏+1，瓜苗凋零对应奖赏-10，最终种出了好瓜对应奖赏+100.
综合起来，强化学习任务对应了四元组E=〈X,A,P,R〉，其中P指定了状态转移概率，R指定了奖赏；在有的应用中，奖赏函数可能仅与状态转移有关。
给西瓜浇水的马尔可夫决策过程
该任务中只有四个状态（健康、缺水、溢水、凋亡）和两个动作（浇水、不浇水）
在每一步转移后，若状态是保持瓜苗健康则获得奖赏1，瓜苗缺水或溢水奖赏为-1，这时通过浇水或不浇水可以恢复健康状态，当瓜苗凋亡时奖赏是最小值-100且无法恢复。
图中箭头表示状态转移，箭头旁的α,p,r分别表示导致状态转移的动作、转移概率以及返回的奖赏。容易看出，最优策略在“健康”状态选择动作“浇水”、在“溢水”状态选择动作“不浇水”、在“缺水”状态选择动作“浇水”、在“凋亡”状态可选择任意动作。
需注意“机器”与“环境”的界限
- 例如在种西瓜任务中，环境是西瓜生长的自然世界；
- 在下棋对弈中，环境是棋盘与对手；
- 在机器人控制中，环境是机器人的躯体与物理世界。
总之，在环境中状态的转移、奖赏的返回是不受机器控制的，机器只能通过选择要执行的动作来影响环境，也只能通过观察转移后的状态和返回的奖赏来感知环境。
在强化学习中并没有监督学习中的有标记样本（即“示例-标记”对），换言之，没有人直接告诉机器在什么状态下应该做什么动作，只有等到最终结果揭晓，才能通过“反思”之前的动作是否正确来进行学习。因此，强化学习在某种意义上可看作具有“延迟标记信息”的监督学习问题。