第1章　強化學習簡介 1
1.1　強化學習 1
1.2　強化學習中的MDP 6
1.3　強化學習中的學習函數 9
1.4　深度強化學習算法 11
1.4.1　基于策略的算法 12
1.4.2　基于值的算法 13
1.4.3　基于模型的算法 13
1.4.4　組合方法 15
1.4.5　本書中的算法 15
1.4.6　同策略和異策略算法 16
1.4.7　小結 16
1.5　強化學習中的深度學習 17
1.6　強化學習與監(jiān)督學習 19
1.6.1　缺乏先知 19
1.6.2　反饋稀疏性 20
1.6.3　數據生成 20
1.7　總結 21
第一部分　基于策略的算法和基于值的算法
第2章　REINFORCE 25
2.1　策略 26
2.2　目標函數 26
2.3　策略梯度 27
2.3.1　策略梯度推導 28
2.4　蒙特卡羅采樣 30
2.5　REINFORCE算法 31
2.5.1　改進的REINFORCE算法 32
2.6　實現(xiàn)REINFORCE 33
2.6.1　一種最小化REINFORCE的實現(xiàn) 33
2.6.2　用PyTorch構建策略 36
2.6.3　采樣動作 38
2.6.4　計算策略損失 39
2.6.5　REINFORCE訓練循環(huán) 40
2.6.6　同策略內存回放 41
2.7　訓練REINFORCE智能體 44
2.8　實驗結果 47
2.8.1　實驗：評估折扣因子的影響 47
2.8.2　實驗：評估基準線的影響 49
2.9　總結 51
2.10　擴展閱讀 51
2.11　歷史回顧 51
第3章　SARSA 53
3.1　Q函數和V函數 54
3.2　時序差分學習 56
3.2.1　時序差分學習示例 59
3.3　SARSA中的動作選擇 65
3.3.1　探索和利用 66
3.4　SARSA算法 67
3.4.1　同策略算法 68
3.5　實現(xiàn)SARSA 69
3.5.1　動作函數：ε-貪婪 69
3.5.2　計算Q損失 70
3.5.3　SARSA訓練循環(huán) 71
3.5.4　同策略批處理內存回放 72
3.6　訓練SARSA智能體 74
3.7　實驗結果 76
3.7.1　實驗：評估學習率的影響 77
3.8　總結 78
3.9　擴展閱讀 79
3.10　歷史回顧 79
第4章　深度Q網絡 81
4.1　學習DQN中的Q函數 82
4.2　DQN中的動作選擇 83
4.2.1　Boltzmann策略 86
4.3　經驗回放 88
4.4　DQN算法 89
4.5　實現(xiàn)DQN 91
4.5.1　計算Q損失 91
4.5.2　DQN訓練循環(huán) 92
4.5.3　內存回放 93
4.6　訓練DQN智能體 96
4.7　實驗結果 99
4.7.1　實驗：評估網絡架構的影響 99
4.8　總結 101
4.9　擴展閱讀 102
4.10　歷史回顧 102
第5章　改進的深度Q網絡 103
5.1　目標網絡 104
5.2　雙重DQN 106
5.3　優(yōu)先級經驗回放 109
5.3.1　重要性抽樣 111
5.4　實現(xiàn)改進的DQN 112
5.4.1　網絡初始化 113
5.4.2　計算Q損失 113
5.4.3　更新目標網絡 115
5.4.4　包含目標網絡的DQN 116
5.4.5　雙重DQN 116
5.4.6　優(yōu)先級經驗回放 117
5.5　訓練DQN智能體玩Atari游戲 123
5.6　實驗結果 128
5.6.1　實驗：評估雙重DQN與PER的影響 128
5.7　總結 132
5.8　擴展閱讀 132
第二部分　組合方法
第6章　優(yōu)勢演員–評論家算法 135
6.1　演員 136
6.2　評論家 136
6.2.1　優(yōu)勢函數 136
6.2.2　學習優(yōu)勢函數 140
6.3　A2C算法 141
6.4　實現(xiàn)A2C 143
6.4.1　優(yōu)勢估計 144
6.4.2　計算價值損失和策略損失 147
6.4.3　演員–評論家訓練循環(huán) 147
6.5　網絡架構 148
6.6　訓練A2C智能體 150
6.6.1　在Pong上使用n步回報的A2C算法 150
6.6.2　在Pong上使用GAE的A2C算法 153
6.6.3　在BipedalWalker上使用n步回報的A2C算法 155
6.7　實驗結果 157
6.7.1　實驗：評估n步回報的影響 158
6.7.2　實驗：評估GAE中的影響 159
6.8　總結 161
6.9　擴展閱讀 162
6.10　歷史回顧 162
第7章　近端策略優(yōu)化算法 165
7.1　替代目標函數 165
7.1.1　性能突然下降 166
7.1.2　修改目標函數 168
7.2　近端策略優(yōu)化 174
7.3　PPO算法 177
7.4　實現(xiàn)PPO 179
7.4.1　計算PPO的策略損失 179
7.4.2　PPO訓練循環(huán) 180
7.5　訓練PPO智能體 182
7.5.1　在Pong上使用PPO算法 182
7.5.2　在BipedalWalker上使用PPO算法 185
7.6　實驗結果 188
7.6.1　實驗：評估GAE中的影響 188
7.6.2　實驗：評估裁剪變量的影響 190
7.7　總結 192
7.8　擴展閱讀 192
第8章　并行方法 195
8.1　同步并行 196
8.2　異步并行 197
8.2.1　Hogwild!算法 198
8.3　訓練A3C智能體 200
8.4　總結 203
8.5　擴展閱讀 204
第9章　算法總結 205
第三部分　實踐細節(jié)
第10章　深度強化學習工程實踐 209
10.1　軟件工程實踐 209
10.1.1　單元測試 210
10.1.2　代碼質量 215
10.1.3　Git工作流 216
10.2　調試技巧 218
10.2.1　生命跡象 219
10.2.2　策略梯度診斷 219
10.2.3　數據診斷 220
10.2.4　預處理器 222
10.2.5　內存 222
10.2.6　算法函數 222
10.2.7　神經網絡 222
10.2.8　算法簡化 225
10.2.9　問題簡化 226
10.2.10　超參數 226
10.2.11　實驗室工作流 226
10.3　Atari技巧 228
10.4　深度強化學習小結 231
10.4.1　超參數表 231
10.4.2　算法性能比較 234
10.5　總結 238
第11章　SLM Lab 239
11.1　SLM Lab算法實現(xiàn) 239
11.2　 Spec文件 241
11.2.1　搜索Spec語法 243
11.3　運行SLM Lab 246
11.3.1　SLM Lab指令 246
11.4　分析實驗結果 247
11.4.1　實驗數據概述 247
11.5　總結 249
第12章　神經網絡架構 251
12.1　神經網絡的類型 251
12.1.1　多層感知機 252
12.1.2　卷積神經網絡 253
12.1.3　循環(huán)神經網絡 255
12.2　選擇網絡族的指導方法 256
12.2.1　MDP與POMDP 256
12.2.2　根據環(huán)境選擇網絡 259
12.3　網絡API 262
12.3.1　輸入層和輸出層形狀推斷 264
12.3.2　自動構建網絡 266
12.3.3　訓練步驟 269
12.3.4　基礎方法的使用 270
12.4　總結 271
12.5　擴展閱讀 271
第13章　硬件 273
13.1　計算機 273
13.2　數據類型 278
13.3　在強化學習中優(yōu)化數據類型 280
13.4　選擇硬件 285
13.5　總結 285
第四部分　環(huán)境設計
第14章　狀態(tài) 289
14.1　狀態(tài)示例 289
14.2　狀態(tài)完整性 296
14.3　狀態(tài)復雜性 297
14.4　狀態(tài)信息損失 301
14.4.1　圖像灰度 301
14.4.2　離散化 302
14.4.3　散列沖突 303
14.4.4　元信息損失 303
14.5　預處理 306
14.5.1　標準化 307
14.5.2　圖像預處理 308
14.5.3　時間預處理 310
14.6　總結 313
第15章　動作 315
15.1　動作示例 315
15.2　動作完整性 318
15.3　動作復雜性 319
15.4　總結 323
15.5　擴展閱讀：日常事務中的動作設計 324
第16章　獎勵 327
16.1　獎勵的作用 327
16.2　獎勵設計準則 328
16.3　總結 332
第17章　轉換函數 333
17.1　可行性檢測 333
17.2　真實性檢測 335
17.3　總結 337
后記 339
附錄A　深度強化學習時間線 343
附錄B　示例環(huán)境 345
B.1　離散環(huán)境 346
B.1.1　CartPole-v0 346
B.1.2　MountainCar-v0 347
B.1.3　LunarLander-v2 347
B.1.4　PongNoFrameskip-v4 348
B.1.5　BreakoutNoFrameskip-v4 349
B.2　連續(xù)環(huán)境 350
B.2.1　Pendulum-v0 350
B.2.2　BipedalWalker-v2 350
參考文獻 353


Contents
1IntroductiontoReinforcementLearning1
1.1ReinforcementLearning1
1.2ReinforcementLearningasMDP6
1.3LearnableFunctionsinReinforcementLearning9
1.4DeepReinforcementLearningAlgorithms11
1.4.1Policy-BasedAlgorithms12
1.4.2Value-BasedAlgorithms13
1.4.3Model-BasedAlgorithms13
1.4.4CombinedMethods15
1.4.5AlgorithmsCoveredinThisBook15
1.4.6On-PolicyandOff-PolicyAlgorithms16
1.4.7Summary16
1.5DeepLearningforReinforcementLearning17
1.6ReinforcementLearningandSupervisedLearning19
1.6.1LackofanOracle19
1.6.2SparsityofFeedback20
1.6.3DataGeneration201.7
Summary21
IPolicy-BasedandValue-BasedAlgorithms232REINFORCE25
2.1Policy26
2.2TheObjectiveFunction26
2.3ThePolicyGradient27
2.3.1PolicyGradientDerivation28
2.4MonteCarloSampling30
2.5REINFORCEAlgorithm31
2.5.1ImprovingREINFORCE32
2.6ImplementingREINFORCE33
2.6.1AMinimalREINFORCEImplementation33
2.6.2ConstructingPolicieswithPyTorch36
2.6.3SamplingActions38
2.6.4CalculatingPolicyLoss39
2.6.5REINFORCETrainingLoop40
2.6.6On-PolicyReplayMemory41
2.7TrainingaREINFORCEAgent44
2.8ExperimentalResults47
2.8.1Experiment:TheEffectofDiscountFactor
472.8.2Experiment:TheEffectofBaseline49
2.9Summary51
2.10FurtherReading51
2.11History51
3SARSA53
3.1TheQ-andV-Functions54
3.2TemporalDifferenceLearning56
3.2.1IntuitionforTemporalDifferenceLearning59
3.3ActionSelectioninSARSA65
3.3.1ExplorationandExploitation66
3.4SARSAAlgorithm67
3.4.1On-PolicyAlgorithms68
3.5ImplementingSARSA69
3.5.1ActionFunction:"-Greedy69
3.5.2CalculatingtheQ-Loss70
3.5.3SARSATrainingLoop71
3.5.4On-PolicyBatchedReplayMemory72
3.6TrainingaSARSAAgent74
3.7ExperimentalResults76
3.7.1Experiment:TheEffectofLearningRate77
3.8Summary78
3.9FurtherReading79
3.10History79
4DeepQ-Networks(DQN)81
4.1LearningtheQ-FunctioninDQN82
4.2ActionSelectioninDQN83
4.2.1TheBoltzmannPolicy86
4.3ExperienceReplay88
4.4DQNAlgorithm89
4.5ImplementingDQN91
4.5.1CalculatingtheQ-Loss91
4.5.2DQNTrainingLoop92
4.5.3ReplayMemory93
4.6TrainingaDQNAgent96
4.7ExperimentalResults99
4.7.1Experiment:TheEffectofNetworkArchitecture99
4.8Summary101
4.9FurtherReading102
4.10History102
5ImprovingDQN103
5.1TargetNetworks104
5.2DoubleDQN106
5.3PrioritizedExperienceReplay(PER)109
5.3.1ImportanceSampling111
5.4ModifiedDQNImplementation112
5.4.1NetworkInitialization113
5.4.2CalculatingtheQ-Loss113
5.4.3UpdatingtheTargetNetwork115
5.4.4DQNwithTargetNetworks116
5.4.5DoubleDQN116
5.4.6PrioritizedExperiencedReplay117
5.5TrainingaDQNAgenttoPlayAtariGames123
5.6ExperimentalResults128
5.6.1Experiment:TheEffectofDoubleDQNandPER128
5.7Summary132
5.8FurtherReading132
IICombinedMethods133
6AdvantageActor-Critic(A2C)135
6.1TheActor136
6.2TheCritic136
6.2.1TheAdvantageFunction136
6.2.2LearningtheAdvantageFunction140
6.3A2CAlgorithm141
6.4ImplementingA2C143
6.4.1AdvantageEstimation144
6.4.2CalculatingValueLossandPolicyLoss147
5NetworkArchitecture148
6.6TraininganA2CAgent150
6.6.1A2Cwithn-StepReturnsonPong150
6.6.2A2CwithGAEonPong153
6.6.3A2Cwithn-StepReturnsonBipedalWalker155
6.7ExperimentalResults157
6.7.1Experiment:TheEffectofn-StepReturns158
6.7.2Experiment:TheEffectofofGAE159
6.8Summary161
6.9FurtherReading162
6.10History162
7ProximalPolicyOptimization(PPO)165
7.1SurrogateObjective165
7.1.1PerformanceCollapse166
7.1.2ModifyingtheObjective168
7.2ProximalPolicyOptimization(PPO)174
7.3PPOAlgorithm177
7.4ImplementingPPO179
7.4.1CalculatingthePPOPolicyLoss179
7.4.2PPOTrainingLoop180
7.5TrainingaPPOAgent182
7.5.1PPOonPong182
7.5.2PPOonBipedalWalker185
7.6ExperimentalResults188
7.6.1Experiment:TheEffectofofGAE188
7.6.2Experiment:TheEffectofClippingVariable"190
7.7Summary192
7.8FurtherReading192
8ParallelizationMethods195
8.1SynchronousParallelization196
8.2AsynchronousParallelization197
8.2.1Hogwild!198
8.3TraininganA3CAgent200
8.4Summary203
8.5FurtherReading2049Algorithm
Summary205
IIIPracticalDetails207
10GettingDeepRLtoWork20
910.1SoftwareEngineeringPractices209
10.1.1UnitTests210
10.1.2CodeQuality215
10.1.3GitWorkflow216
10.2DebuggingTips218
10.2.1SignsofLife219
10.2.2PolicyGradientDiagnoses219
10.2.3DataDiagnoses220
10.2.4Preprocessor222
10.2.5Memory222
10.2.6AlgorithmicFunctions222
10.2.7NeuralNetworks222
10.2.8AlgorithmSimplification225
10.2.9ProblemSimplification226
10.2.10Hyperparameters226
10.2.11LabWorkflow226
10.3AtariTricks228
10.4DeepRLAlmanac231
10.4.1HyperparameterTables231
10.4.2AlgorithmPerformanceComparison234
10.5Summary238
11SLMLab239
11.1AlgorithmsImplementedinSLMLab239
11.2SpecFile241
11.2.1SearchSpecSyntax243
11.3RunningSLMLab246
11.3.1SLMLabCommands246
11.4AnalyzingExperimentResults247
11.4.1OverviewoftheExperimentData247
11.5Summary249
12NetworkArchitectures251
12.1TypesofNeuralNetworks251
12.1.1MultilayerPerceptrons(MLPs)252
12.1.2ConvolutionalNeuralNetworks(CNNs)253
12.1.3RecurrentNeuralNetworks(RNNs)255
12.2GuidelinesforChoosingaNetworkFamily256
12.2.1MDPsvs.POMDPs256
12.2.2ChoosingNetworksforEnvironments259
12.3TheNetAPI262
12.3.1InputandOutputLayerShapeInference264
12.3.2AutomaticNetworkConstruction266
12.3.3TrainingStep269
12.3.4ExposureofUnderlyingMethods270
12.4Summary271
12.5FurtherReading271
13Hardware273
13.1Computer273
13.2DataTypes278
13.3OptimizingDataTypesinRL280
13.4ChoosingHardware285
13.5Summary285
IVEnvironmentDesign287
14States289
14.1ExamplesofStates289
14.2StateCompleteness296
14.3StateComplexity297
14.4StateInformationLoss301
14.4.1ImageGrayscaling301
14.4.2Discretization302
14.4.3HashConflict303
14.4.4MetainformationLoss303
14.5Preprocessing306
14.5.1Standardization307
14.5.2ImagePreprocessing308
14.5.3TemporalPreprocessing310
14.6Summary313
15Actions315
15.1ExamplesofActions315
15.2ActionCompleteness318
15.3ActionComplexity319
15.4Summary323
15.5FurtherReading:ActionDesigninEverydayThings324
16Rewards327
16.1TheRoleofRewards327
16.2RewardDesignGuidelines328
16.3Summary332
17TransitionFunction333
17.1FeasibilityChecks333
17.2RealityCheck335
17.3Summary337
Epilogue339
ADeepReinforcementLearningTimeline343
BExampleEnvironments345B.1DiscreteEnvironments346
B.1.1CartPole-v0346
B.1.2MountainCar-v0347
B.1.3LunarLander-v2347
B.1.4PongNoFrameskip-v4348
B.1.5BreakoutNoFrameskip-v4349
B.2ContinuousEnvironments350
B.2.1Pendulum-v0350
B.2.2BipedalWalker-v2350References353
Index363