強化學習
強化學習（reinforcement learning，RL）研究的是：一個代理人（agent）在環境中反覆嘗試，只靠環境回饋的「報酬」好壞，自己學會怎麼做決定。沒有人告訴它每一步的正確答案（這是和監督式學習最大的不同），它必須自己在「試沒試過的動作」與「用已知最好的動作」之間取捨，而且好的決定常常要很多步之後才看得出效果。
強化學習與控制 RL and Control
把代理人換成控制器、環境換成受控體、報酬換成負的成本，強化學習就是控制問題：找一個由狀態決定動作的策略（回授律），讓長期的累積成本最小。兩者有共同的根源：Bellman 在 1950 年代提出的動態規劃。差別在於假設知道多少：
| 最佳控制（如 LQR、MPC） | 強化學習 | |
|---|---|---|
| 受控體模型 | 已知（通常是微分方程式） | 不需要，直接從互動的資料學習 |
| 成本／報酬 | 多為二次式，可解析求解 | 任意，可以是「到達終點 +1」這種稀疏的報酬 |
| 解法 | 解 Riccati 方程式、線上最佳化 | 試誤、估計價值函數或直接調整策略 |
| 保證 | 穩定性、強健性有理論保證 | 一般沒有保證，要靠大量模擬驗證 |
馬可夫決策過程一頁會證明：對線性系統與二次成本，強化學習的 Bellman 方程式恰好就是 LQR 的 Riccati 方程式。
發展 Milestones
| 年 | 里程碑 |
|---|---|
| 1957 | Bellman 的動態規劃與 Bellman 方程式 |
| 1988–1989 | 時間差分學習（Sutton）、Q-learning（Watkins） |
| 1992 | TD-Gammon：用時間差分學習加類神經網路，西洋雙陸棋達到頂尖人類水準 |
| 2013–2015 | DQN：同一個深度網路只看畫面，學會玩幾十種 Atari 遊戲 |
| 2016 | AlphaGo 擊敗圍棋世界冠軍 |
| 2017 | PPO 等策略梯度方法成為機器人與連續控制的主流 |
| 2020 年代 | 四足機器人在模擬中學習、直接移植到實體（sim-to-real）；以人類回饋強化學習（RLHF）調整大型語言模型 |
本章內容 In This Chapter
馬可夫決策過程與動態規劃MDP、價值函數、Bellman 方程式、值迭代與策略迭代；Bellman 方程式與 LQR
時間差分學習與 Q-learning不需要模型的學習、探索與利用、Q-learning 與 SARSA（懸崖行走）
深度 Q 網路 DQN函數近似、經驗回放與目標網路；DQN 學會平衡倒單擺
策略梯度與 PPOREINFORCE、演員–評論家、PPO；與 LQR 比較
參考書：R. S. Sutton and A. G. Barto, Reinforcement Learning: An Introduction, 2nd ed., 2018（作者網站提供免費電子版）。