絡(luò)進(jìn)階技巧全解：DDQN、Dueling DQN、PER、Noisy Net、分布式Q函數(shù)與Rainbow)
教程機(jī)器學(xué)習(xí)深度學(xué)習(xí)【免費(fèi)下載鏈接】easy-rl強(qiáng)化學(xué)習(xí)中文教程蘑菇書(shū)在線閱讀地址https://datawhalechina.github.io/easy-rl/項(xiàng)目地址https://gitcode.com/gh_mirrors/ea/easy-rl點(diǎn)擊查看免費(fèi)下載本章第7章講解深度Q網(wǎng)絡(luò)DQN訓(xùn)練中的一系列進(jìn)階技巧雙深度Q網(wǎng)絡(luò)Double DQN、競(jìng)爭(zhēng)深度Q網(wǎng)絡(luò)Dueling DQN、優(yōu)先級(jí)經(jīng)驗(yàn)回放Prioritized Experience Replay, PER、多步方法、噪聲網(wǎng)絡(luò)Noisy Net、分布式Q函數(shù)Distributional Q-function以及將它們組合起來(lái)的彩虹Rainbow。這些技巧解決DQN在實(shí)踐中的典型問(wèn)題——Q值過(guò)估計(jì)、樣本利用效率低、探索方式不合理、獎(jiǎng)勵(lì)不確定性被忽視等且彼此之間沒(méi)有沖突可以疊加使用。本文以蘑菇書(shū)Easy-RL第7章為骨架結(jié)合倉(cāng)庫(kù)中 notebooks 目錄下的可運(yùn)行實(shí)現(xiàn)DoubleDQN.ipynb、DuelingDQN.ipynb、PER_DQN.ipynb、NoisyDQN.ipynb與 第7章實(shí)踐項(xiàng)目逐項(xiàng)拆解每個(gè)技巧的原理、公式、實(shí)現(xiàn)要點(diǎn)與調(diào)參建議幫助讀者真正把進(jìn)階DQN跑起來(lái)。7.1 雙深度Q網(wǎng)絡(luò)解決Q值被高估的問(wèn)題7.1.1 為什么Q值總是被高估在實(shí)現(xiàn)上Q值往往是被高估的。以 4 個(gè)不同的小游戲?yàn)槔?jiàn)原文檔圖 7.1橫軸代表迭代輪次紅色鋸齒狀曲線表示Q函數(shù)對(duì)大量不同狀態(tài)采樣后取平均的 Q 值。由于Q函數(shù)取決于策略學(xué)習(xí)過(guò)程中策略越來(lái)越強(qiáng)同一狀態(tài)下期望獎(jiǎng)勵(lì)越來(lái)越大因此Q值整體呈上升趨勢(shì)——但這是深度Q網(wǎng)絡(luò)預(yù)估出來(lái)的值。隨后用策略實(shí)際去玩例如100萬(wàn)次統(tǒng)計(jì)真實(shí)獲得的累積獎(jiǎng)勵(lì)會(huì)發(fā)現(xiàn)預(yù)估出來(lái)的值遠(yuǎn)比真實(shí)值大且大很多在每一個(gè)游戲中都是如此。原因在于式(7.1)的訓(xùn)練目標(biāo)本身我們希望左側(cè)與右側(cè)目標(biāo)越接近越好但目標(biāo)很容易被設(shè)得過(guò)高因?yàn)橛?jì)算目標(biāo)時(shí)實(shí)際上做的是看哪一個(gè)動(dòng)作 $a$ 可以得到最大的Q值就把它加上去變成目標(biāo)$$ Q\left(s_{t}, a_{t}\right) \longleftrightarrow r_{t}\max{a} Q\left(s{t1}, a\right) \tag{7.1} $$例如有 4 個(gè)動(dòng)作本來(lái)它們得到的Q值與獎(jiǎng)勵(lì)都差不多但網(wǎng)絡(luò)估計(jì)有誤差。如圖 7.2(a) 所示若第一個(gè)動(dòng)作被高估智能體就會(huì)選它用被高估的 Q 值加 $r_t$ 當(dāng)目標(biāo)若第四個(gè)動(dòng)作被高估圖 7.2(b)就會(huì)選第四個(gè)。智能體總是會(huì)選那個(gè) Q 值被高估的動(dòng)作所以目標(biāo)值總是太大。7.1.2 DDQN 的解法動(dòng)作選擇與價(jià)值計(jì)算解耦在DDQN中選動(dòng)作的Q函數(shù)與計(jì)算值的Q函數(shù)不是同一個(gè)。原DQN窮舉所有 $a$ 代入Q函數(shù)把Q值最高的 $a$ 對(duì)應(yīng)的Q值加 $r_t$DDQN 則有兩個(gè)Q網(wǎng)絡(luò)第一個(gè)Q網(wǎng)絡(luò) $Q$ 決定哪一個(gè)動(dòng)作的Q值最大決定動(dòng)作后Q值用 $Q$ 算出來(lái)式 7.2$$ Q\left(s_{t}, a_{t}\right) \longleftrightarrow r_{t}Q^{\prime}\left(s_{t1}, \arg \max{a} Q\left(s{t1}, a\right)\right) \tag{7.2} $$如果 $Q$ 高估了它選出的動(dòng)作 $a$只要 $Q$ 沒(méi)有高估這個(gè)動(dòng)作的值算出來(lái)的就還是正常值反過(guò)來(lái)若 $Q$ 高估了某個(gè)動(dòng)作只要 $Q$ 不選它就沒(méi)問(wèn)題。DDQN 相較于DQN的更改最少幾乎沒(méi)有增加任何運(yùn)算量也不需要新網(wǎng)絡(luò)原來(lái)就有兩個(gè)網(wǎng)絡(luò)只需把用目標(biāo)網(wǎng)絡(luò) $Q$ 找使 Q 值最大的 $a$改為用另一個(gè)會(huì)更新的Q網(wǎng)絡(luò)找使 Q 值最大的 $a$。如果只選一個(gè)技巧一般都會(huì)選DDQN因?yàn)槠錁O易實(shí)現(xiàn)。7.1.3 源碼對(duì)照DoubleDQN 的更新核心倉(cāng)庫(kù) notebooks/DoubleDQN.ipynb 完整實(shí)現(xiàn)了該邏輯核心更新代碼1.3 節(jié)DoubleDQN.update為q_value_batch self.policy_net(state_batch).gather(dim1, indexaction_batch) # 實(shí)際Q值 next_q_value_batch self.policy_net(next_state_batch) # 策略網(wǎng)絡(luò)選動(dòng)作 next_target_value_batch self.target_net(next_state_batch) # 目標(biāo)網(wǎng)絡(luò)算價(jià)值 # 將策略網(wǎng)絡(luò)Q值最大的動(dòng)作對(duì)應(yīng)的目標(biāo)網(wǎng)絡(luò)Q值作為期望的Q值 next_target_q_value_batch next_target_value_batch.gather( 1, torch.max(next_q_value_batch, 1)[1].unsqueeze(1)) expected_q_value_batch reward_batch self.gamma * next_target_q_value_batch * (1 - done_batch) loss nn.MSELoss()(q_value_batch, expected_q_value_batch)其中policy_net會(huì)更新負(fù)責(zé)torch.max(next_q_value_batch, 1)[1]選出最優(yōu)動(dòng)作target_net固定住負(fù)責(zé)取該動(dòng)作的Q值——正是式(7.2)的代碼形態(tài)。其余部分MLP網(wǎng)絡(luò)、ReplayBuffer、ε-貪心采樣、目標(biāo)網(wǎng)絡(luò)定期load_state_dict拷貝參數(shù)與DQN完全一致印證了更改最少的說(shuō)法。該 notebook 在 CartPole-v1 上的一組默認(rèn)超參數(shù)第 4 節(jié)Config可直接參考algo_name DoubleDQN; env_name CartPole-v1; seed 1 train_eps 100; test_eps 10; max_steps 200 gamma 0.99; lr 0.0001 epsilon_start 0.95; epsilon_end 0.01; epsilon_decay 500 buffer_size 10000; batch_size 64; target_update 4; hidden_dim 256 device cuda if torch.cuda.is_available() else cpu其中epsilon按epsilon_end (epsilon_start - epsilon_end) * exp(-sample_count / epsilon_decay)指數(shù)衰減target_update為策略網(wǎng)絡(luò)參數(shù)拷貝到目標(biāo)網(wǎng)絡(luò)的頻率以采樣次數(shù)計(jì)。訓(xùn)練 100 回合后測(cè)試 10 回合基本可穩(wěn)定拿到 200 分滿(mǎn)分。7.2 競(jìng)爭(zhēng)深度Q網(wǎng)絡(luò)拆分為狀態(tài)價(jià)值與優(yōu)勢(shì)7.2.1 網(wǎng)絡(luò)結(jié)構(gòu)V(s) 與 A(s,a) 兩條路徑競(jìng)爭(zhēng)深度Q網(wǎng)絡(luò)與原始DQN唯一的差別是改變了網(wǎng)絡(luò)架構(gòu)。原DQN輸入狀態(tài)直接輸出每個(gè)動(dòng)作的Q值Dueling DQN 不直接輸出Q值而是分成兩條路徑第一條路徑輸出一個(gè)與輸入 $s$ 有關(guān)的標(biāo)量 $V(\boldsymbol{s})$第二條路徑輸出一個(gè)向量 $\boldsymbol{A}(\boldsymbol{s},\boldsymbol{a})$每個(gè)動(dòng)作一個(gè)值。二者相加得到 $\boldsymbol{Q}(\boldsymbol{s},\boldsymbol{a})$$$ \boldsymbol{Q}(\boldsymbol{s},\boldsymbol{a}) V(\boldsymbol{s}) \boldsymbol{A}(\boldsymbol{s},\boldsymbol{a}) $$假設(shè)只有 4 個(gè)狀態(tài)、3 個(gè)動(dòng)作$\boldsymbol{Q}(\boldsymbol{s},\boldsymbol{a})$ 可看成一個(gè)表格原文檔圖 7.4把 $V(\boldsymbol{s})$ 加到 $\boldsymbol{A}(\boldsymbol{s},\boldsymbol{a})$ 的每一列就得到 Q 值。7.2.2 為什么更有效率訓(xùn)練網(wǎng)絡(luò)時(shí)我們真正能修改的是 $V(\boldsymbol{s})$ 與 $\boldsymbol{A}(\boldsymbol{s},\boldsymbol{a})$ 的值。假設(shè)希望 Q 表格中第一行第二列由 3 變 4、第二行第二列由 ?1 變 0此時(shí)可能只改 $V(\boldsymbol{s})$ 即可從 0 變 1于是 Q 表格中第三個(gè)動(dòng)作的值?2→?1也被順帶修改了。也就是說(shuō)即使某個(gè)狀態(tài)只采樣到兩個(gè)動(dòng)作、沒(méi)采樣到第三個(gè)動(dòng)作第三個(gè)動(dòng)作的 Q 值也會(huì)被更新——不需要把所有的狀態(tài)-動(dòng)作對(duì)都采樣就能用更高效的方式估計(jì) Q 值。因此 Dueling DQN 是一個(gè)使用數(shù)據(jù)比較有效率的方法。7.2.3 可辨識(shí)性問(wèn)題與零均值化約束一個(gè)潛在問(wèn)題是智能體可能學(xué)到 $V(\boldsymbol{s})0$、$\boldsymbol{A}(\boldsymbol{s},\boldsymbol{a})Q$那樣Dueling結(jié)構(gòu)就退化成原DQN毫無(wú)好處。為避免這個(gè)問(wèn)題要給 $\boldsymbol{A}(\boldsymbol{s},\boldsymbol{a})$ 加約束讓它的更新比較麻煩從而迫使網(wǎng)絡(luò)傾向于用 $V(\boldsymbol{s})$ 解決問(wèn)題。最直覺(jué)的約束是讓 $\boldsymbol{A}(\boldsymbol{s},\boldsymbol{a})$ 每一列的和為 0此時(shí) $V(\boldsymbol{s})$ 可理解為每列 Q 值的平均值由于每列和恒為 0無(wú)法讓某列所有元素都加 1網(wǎng)絡(luò)就被迫去更新 $V(\boldsymbol{s})$。實(shí)現(xiàn)上就是零均值化假設(shè) 3 個(gè)動(dòng)作輸出 $[7,3,2]^{\mathrm{T}}$先求均值 (732)/34每個(gè)元素減 4 得 $[3,-1,2]^{\mathrm{T}}$再與 $V(\boldsymbol{s})$ 相加得到Q值。該步驟沒(méi)有參數(shù)、是網(wǎng)絡(luò)的一部分可以隨網(wǎng)絡(luò)一起反向傳播訓(xùn)練。7.2.4 源碼對(duì)照DuelingNet 的結(jié)構(gòu)與組合公式倉(cāng)庫(kù) notebooks/DuelingDQN.ipynb 的DuelingNet正是共享隱藏層 價(jià)值/優(yōu)勢(shì)兩個(gè)分支的實(shí)現(xiàn)class DuelingNet(nn.Module): def __init__(self, n_states, n_actions, hidden_dim128): super(DuelingNet, self).__init__() self.hidden_layer nn.Sequential(nn.Linear(n_states, hidden_dim), nn.ReLU()) # advantage 分支 self.advantage_layer nn.Sequential( nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, n_actions)) # value 分支 self.value_layer nn.Sequential( nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, 1)) def forward(self, state): x self.hidden_layer(state) advantage self.advantage_layer(x) value self.value_layer(x) return value advantage - advantage.mean() # 零均值化forward末尾的value advantage - advantage.mean()即帶約束的組合公式notebook 中給出的可辨識(shí)形式$$ Q(S, A, w, \alpha, \beta)V(S, w, \alpha)\left(A(S, A, w, \beta)-\frac{1}{\mathcal{A}} \sum_{a^{\prime} \in \mathcal{A}} A\left(S, a^{\prime}, w, \beta\right)\right) $$模型結(jié)構(gòu)圖可參考 notebooks/figs/duelingdqn_model.png左普通三層MLP右Dueling 雙分支結(jié)構(gòu)。該 notebook 在 CartPole-v1 上使用gamma0.95、lr0.0001、memory_capacity10000、batch_size64、target_update800、hidden_dim256訓(xùn)練 100 回合后測(cè)試 10 回合同樣能達(dá)到 200 滿(mǎn)分驗(yàn)證了數(shù)據(jù)利用效率更高的實(shí)際效果。7.3 優(yōu)先級(jí)經(jīng)驗(yàn)回放讓難樣本更大概率被采樣7.3.1 動(dòng)機(jī)原來(lái)從回放緩沖區(qū)采樣訓(xùn)練Q網(wǎng)絡(luò)時(shí)是均勻采樣這不一定是最好策略。有些數(shù)據(jù)之前采樣過(guò)、發(fā)現(xiàn)其時(shí)序差分誤差TD誤差特別大——即網(wǎng)絡(luò)的輸出與目標(biāo)之間的差距大說(shuō)明這些數(shù)據(jù)比較不好訓(xùn)練。既然不好訓(xùn)練就應(yīng)該給它們更大的被采樣概率優(yōu)先權(quán)。需要注意的是PER不僅改變了采樣數(shù)據(jù)的分布還改變了更新參數(shù)的方法訓(xùn)練過(guò)程因?yàn)椴蓸臃植甲兞吮仨氂弥匾圆蓸訖?quán)重修正梯度偏差。7.3.2 源碼對(duì)照SumTree 與優(yōu)先級(jí)更新倉(cāng)庫(kù) notebooks/PER_DQN.ipynb 給出了完整的 PER 實(shí)現(xiàn)核心數(shù)據(jù)結(jié)構(gòu)是SumTree線段樹(shù)/求和樹(shù)用于按優(yōu)先級(jí)快速采樣。關(guān)鍵設(shè)計(jì)第 2 節(jié)PrioritizedReplayBuffer如下self.alpha 0.6 # 優(yōu)先級(jí)指數(shù)控制優(yōu)先級(jí)對(duì)采樣的影響程度 self.beta 0.4 # 重要性采樣權(quán)重指數(shù)IS weights self.epsilon 0.01 # 避免零優(yōu)先級(jí)的常數(shù) self.abs_err_upper 1. # 用于對(duì)TD誤差進(jìn)行截?cái)?... p (np.abs(error) self.epsilon) ** self.alpha # 由TD誤差計(jì)算優(yōu)先級(jí) ... self.beta np.min([1., self.beta self.beta_increment_per_sampling]) # beta隨采樣逐步增大 is_weights np.power(self.tree.n_entries * sampling_probabilities, -self.beta) # 重要性采樣權(quán)重要點(diǎn)SumTree 采樣根據(jù)根節(jié)點(diǎn)優(yōu)先級(jí)和采樣樣本數(shù)劃分采樣區(qū)間逐層與節(jié)點(diǎn)優(yōu)先級(jí)對(duì)比最終得到要采樣的葉子樣本notebook 中 1.2 節(jié)有圖解說(shuō)明優(yōu)先級(jí)更新采樣后用本批 TD 誤差ps np.power(clipped_errors, self.alpha)回寫(xiě)樹(shù)節(jié)點(diǎn)重要性采樣權(quán)重由于改變了采樣分布更新時(shí)必須乘以is_weights以修正偏差beta從 0.4 隨采樣逐步線性增至 1.0abs_err_upper1.用于把 TD 誤差截?cái)嘣?$[-1,1]$防止個(gè)別異常樣本優(yōu)先級(jí)過(guò)大。7.4 多步方法在蒙特卡洛與時(shí)序差分之間取得平衡蒙特卡洛方法與時(shí)序差分方法各有優(yōu)劣多步方法multi-step在二者之間取得平衡。TD 方法只走一步在狀態(tài) $s_t$ 采取動(dòng)作 $a_t$ 得到獎(jiǎng)勵(lì) $r_t$進(jìn)入 $s_{t1}$多步方法則保存 $N$ 個(gè)步驟的數(shù)據(jù)一直記錄到在 $s_{tN}$ 采取 $a_{tN}$、得到 $r_{tN}$、進(jìn)入 $s_{tN1}$。更新時(shí)讓 $Q(s_t,a_t)$ 與目標(biāo)值越接近越好其中 $\hat{Q}$ 計(jì)算的不是 $s_{t1}$ 而是 $s_{tN1}$ 的獎(jiǎng)勵(lì)目標(biāo)值再加上多步獎(jiǎng)勵(lì)之和$$ \sum_{t^{\prime}t}^{tN} r_{t^{\prime}} $$即從時(shí)間 $t$ 到 $tN$ 共 $N1$ 個(gè)獎(jiǎng)勵(lì)的和。好處TD 只采樣一步接下來(lái)都是Q值估測(cè)出來(lái)的多步方法采樣 $N$ 步才估測(cè)估測(cè)部分造成的影響更小壞處與蒙特卡洛方法一樣$N$ 項(xiàng)獎(jiǎng)勵(lì)加起來(lái)方差會(huì)變大權(quán)衡$N$ 是一個(gè)可調(diào)的超參數(shù)例如 3 步還是 5 步用于在方差與Q值不精確之間取得平衡。7.5 噪聲網(wǎng)絡(luò)在參數(shù)空間而非動(dòng)作空間探索7.5.1 基本思想$\varepsilon$-貪心是在動(dòng)作空間上加噪聲做探索。噪聲網(wǎng)絡(luò)Noisy Net則是在參數(shù)空間上加噪聲每個(gè)回合開(kāi)始、智能體與環(huán)境交互之前給Q函數(shù)網(wǎng)絡(luò)的每個(gè)參數(shù)加一個(gè)高斯噪聲Gaussian noise把原Q函數(shù)變成噪聲Q函數(shù) $\tilde{Q}$。使用噪聲網(wǎng)絡(luò)執(zhí)行的動(dòng)作為$$ a\underset{a}{\arg \max} \tilde{Q}(s, a) $$關(guān)鍵約定每個(gè)回合開(kāi)始時(shí)采樣噪聲隨后用固定的噪聲網(wǎng)絡(luò)玩完整個(gè)回合直到游戲結(jié)束才重新采樣噪聲在一個(gè)回合內(nèi)不能改變。OpenAI 與 DeepMind 幾乎同時(shí)提出該方法兩篇論文均發(fā)表于 ICLR 2018區(qū)別僅在于加噪聲的方式——OpenAI 直接給每個(gè)權(quán)重加高斯噪聲較簡(jiǎn)單DeepMind 的噪聲由一組參數(shù)控制、網(wǎng)絡(luò)可以自己決定噪聲加多大較復(fù)雜但概念一致。7.5.2 依賴(lài)狀態(tài)的探索與ε-貪心的本質(zhì)差異這帶來(lái)了與動(dòng)作空間采樣方法的本質(zhì)差異。在 $\varepsilon$-貪心中給定同樣的狀態(tài)智能體可能執(zhí)行不同的動(dòng)作有時(shí)用Q函數(shù)、有時(shí)隨機(jī)這在真實(shí)世界中是不正常的——真實(shí)策略給定相同狀態(tài)應(yīng)有相同回應(yīng)。而在參數(shù)上加噪聲時(shí)同一個(gè)回合內(nèi)網(wǎng)絡(luò)參數(shù)固定看到相同或類(lèi)似的狀態(tài)就會(huì)采取相同的動(dòng)作這被稱(chēng)為依賴(lài)狀態(tài)的探索state-dependent exploration動(dòng)作噪聲只是隨機(jī)亂試參數(shù)噪聲則是系統(tǒng)地嘗試——比如某狀態(tài)每次向左試下個(gè)回合看到同樣狀態(tài)再向右試是系統(tǒng)性地探索環(huán)境。7.5.3 源碼對(duì)照NoisyLinear 與回合級(jí)噪聲重置倉(cāng)庫(kù) notebooks/NoisyDQN.ipynb 實(shí)現(xiàn)了NoisyLinear帶噪聲的全連接層與噪聲網(wǎng)絡(luò)NoisyNetnoisy_fc1/2/3并在forward中應(yīng)用噪聲。回合級(jí)噪聲重置邏輯體現(xiàn)在self.policy_net.reset_noise() # 訓(xùn)練每回合開(kāi)始時(shí)重置策略網(wǎng)絡(luò)噪聲 self.target_net.reset_noise() # 目標(biāo)網(wǎng)絡(luò)同樣重置reset_noise內(nèi)部用_scale_noise生成與參數(shù)同形狀的高斯噪聲epsilon_in/epsilon_out拷貝到weight_epsilon、bias_epsilon上。noise 在網(wǎng)絡(luò)訓(xùn)練時(shí)作為可學(xué)習(xí)的參數(shù)一起反向傳播——這正是網(wǎng)絡(luò)可以自己決定噪聲要加多大的實(shí)現(xiàn)基礎(chǔ)。該 notebook 的配置中epsilon_start0.95, epsilon_end0.01, epsilon_decay500依然保留但探索主要依賴(lài)網(wǎng)絡(luò)內(nèi)部噪聲默認(rèn)還提供gamma0.95, lr0.0001, buffer_size100000, batch_size64, target_update4, hidden_dim256等參數(shù)。7.6 分布式Q函數(shù)對(duì)獎(jiǎng)勵(lì)分布而非期望建模7.6.1 為什么只建模期望不夠Q函數(shù)是累積獎(jiǎng)勵(lì)的期望值但環(huán)境有隨機(jī)性在某狀態(tài)采取某動(dòng)作游戲結(jié)束時(shí)統(tǒng)計(jì)所有可能獎(jiǎng)勵(lì)得到的是一個(gè)分布例如獎(jiǎng)勵(lì)為 0 的概率很高?10 和 10 的概率較低。對(duì)這個(gè)分布取平均才是Q值。不同的分布可以有相同的平均值——假設(shè)只用Q值的期望代表整個(gè)獎(jiǎng)勵(lì)會(huì)丟失信息無(wú)法對(duì)獎(jiǎng)勵(lì)分布進(jìn)行建模見(jiàn)原文檔圖 7.8平均值相同但形狀不同的兩個(gè)分布。7.6.2 做法輸出落在某個(gè)長(zhǎng)條中的概率分布式Q函數(shù)直接對(duì)分布建模假設(shè)獎(jiǎng)勵(lì)分布落在某個(gè)范圍內(nèi)如 ?10 ~ 10把它拆成一個(gè)個(gè)長(zhǎng)條例如每個(gè)動(dòng)作的獎(jiǎng)勵(lì)空間拆成 5 個(gè)長(zhǎng)條Q函數(shù)的輸出變成預(yù)測(cè)在某狀態(tài)采取某動(dòng)作得到的獎(jiǎng)勵(lì)落在某一個(gè)長(zhǎng)條內(nèi)的概率。以 3 個(gè)動(dòng)作 $a_1,a_2,a_3$ 為例輸入一個(gè)狀態(tài)分別輸出三組概率綠色/紅色/藍(lán)色長(zhǎng)條每組概率之和為 1高度代表落在該長(zhǎng)條內(nèi)的概率。測(cè)試時(shí)選平均值最大的動(dòng)作執(zhí)行。額外的好處是還可以利用分布信息比如方差大的動(dòng)作風(fēng)險(xiǎn)高——在兩個(gè)動(dòng)作平均值差不多時(shí)可以選風(fēng)險(xiǎn)更小的動(dòng)作執(zhí)行從而訓(xùn)練出規(guī)避風(fēng)險(xiǎn)的策略。7.7 彩虹把全部技巧組合起來(lái)7.7.1 組合與消融彩虹Rainbow把前述方法全部組合使用原DQN算一種顏色加上 DDQN、PER、Dueling、多步、Noisy、分布式Q函數(shù)共 7 種顏色原文檔圖 7.10。橫軸是訓(xùn)練幀數(shù)縱軸是十幾個(gè)雅達(dá)利小游戲分?jǐn)?shù)的中位數(shù)取中位數(shù)而非平均是因?yàn)椴煌螒蚍謹(jǐn)?shù)差距很大取平均會(huì)讓某幾個(gè)游戲控制結(jié)果。單看各種方法灰色普通DQN性能較差噪聲DQNnoisy DQN比DQN好很多紫色DDQN挺有效優(yōu)先級(jí)雙DQNprioritized DDQN、競(jìng)爭(zhēng)雙DQNdueling DDQN、分布式DQNdistributional DQN性能都較高異步優(yōu)勢(shì)演員-評(píng)論員A3C屬于演員-評(píng)論員方法將在本書(shū)第九章詳細(xì)介紹A3C 內(nèi)部本身就含多步方法所以圖 7.10 中沒(méi)有單獨(dú)的多步方法曲線——實(shí)現(xiàn)A3C 就等于實(shí)現(xiàn)了多步方法。這些方法彼此不沖突全部疊加就是彩虹方法性能很好。7.7.2 去掉一種方法會(huì)怎樣把全部方法組合后逐一去掉其中一種方法可以判斷它的貢獻(xiàn)原文檔圖 7.11虛線為去掉某方法后的結(jié)果去掉多步方法后性能掉很多去掉優(yōu)先級(jí)經(jīng)驗(yàn)回放后掉下來(lái)去掉**分布分布式Q函數(shù)**后也掉下來(lái)——有趣的是訓(xùn)練初期分布方法與其他方法速度差不多去掉它訓(xùn)練不會(huì)變慢但最終性能收斂在比較差的地方去掉噪聲網(wǎng)絡(luò)后性能差一點(diǎn)去掉競(jìng)爭(zhēng)深度Q網(wǎng)絡(luò)后性能差一點(diǎn)去掉雙深度Q網(wǎng)絡(luò)卻沒(méi)什么差別。為什么 DDQN 在組合中作用變小因?yàn)榉植际紻QN本質(zhì)上就不會(huì)高估獎(jiǎng)勵(lì)它輸出的是分布的范圍范圍必然受限如 ?10 ~ 10若真實(shí)獎(jiǎng)勵(lì)超過(guò) 10比如 100就會(huì)被當(dāng)作沒(méi)看到而丟棄因此極端的大值獎(jiǎng)勵(lì)被丟棄不會(huì)高估獎(jiǎng)勵(lì)、反而會(huì)低估獎(jiǎng)勵(lì)。既然用了分布式Q函數(shù)后已無(wú)高估問(wèn)題DDQN 的用武之地就變小了。7.8 綜合實(shí)踐把進(jìn)階技巧用在 CartPole 上7.8.1 實(shí)踐項(xiàng)目環(huán)境CartPole-v0倉(cāng)庫(kù) 第7章實(shí)踐項(xiàng)目project2.md建議使用 Double-DQN 解決 CartPole-v0即建立兩個(gè)初始參數(shù)相同的全連接網(wǎng)絡(luò)target_net與policy_net。CartPole-v0 是 OpenAI Gym 經(jīng)典環(huán)境通過(guò)向左action0或向右action1推車(chē)保持平衡動(dòng)作空間由兩個(gè)動(dòng)作組成每進(jìn)行一個(gè) step 得 1 獎(jiǎng)勵(lì)無(wú)法保持平衡時(shí)doneTrue本次 episode 失敗。理想狀態(tài)下每個(gè) episode 至少進(jìn)行 200 個(gè) step即每個(gè) episode 的獎(jiǎng)勵(lì)總和至少 200、step 數(shù)至少 200。環(huán)境建立如下import gym env gym.make(CartPole-v0) env.seed(1) # 設(shè)置env隨機(jī)種子 n_states env.observation_space.shape[0] # 總狀態(tài)數(shù) n_actions env.action_space.n # 總動(dòng)作數(shù)7.8.2 強(qiáng)化學(xué)習(xí)基本訓(xùn)練循環(huán)項(xiàng)目文檔給出的訓(xùn)練主循環(huán)結(jié)構(gòu)記錄獎(jiǎng)勵(lì)、滑動(dòng)平均、每回合更新目標(biāo)網(wǎng)絡(luò)rewards [] # 記錄總的rewards moving_average_rewards [] # 記錄滑動(dòng)平均處理后的rewards ep_steps [] for i_episode in range(1, cfg.max_episodes1): # cfg.max_episodes 最大訓(xùn)練episode數(shù) state env.reset() # reset環(huán)境狀態(tài) ep_reward 0 for i_step in range(1, cfg.max_steps1): # cfg.max_steps 每episode最大步數(shù) action agent.select_action(state) # 根據(jù)當(dāng)前state選擇action next_state, reward, done, _ env.step(action) # 更新環(huán)境參數(shù) ep_reward reward agent.memory.push(state, action, reward, next_state, done) # transition存入memory state next_state # 跳轉(zhuǎn)到下一個(gè)狀態(tài) agent.update() # 每步更新網(wǎng)絡(luò) if done: break # 更新target network復(fù)制DQN中的所有weights and biases if i_episode % cfg.target_update 0: # cfg.target_update 目標(biāo)網(wǎng)絡(luò)更新頻率 agent.target_net.load_state_dict(agent.policy_net.state_dict()) print(Episode:, i_episode, Reward: %i % int(ep_reward), n_steps:, i_step, done: , done, Explore: %.2f % agent.epsilon) ep_steps.append(i_step) rewards.append(ep_reward) # 計(jì)算滑動(dòng)窗口的reward if i_episode 1: moving_average_rewards.append(ep_reward) else: moving_average_rewards.append( 0.9*moving_average_rewards[-1]0.1*ep_reward)7.8.3 結(jié)果可視化與超參數(shù)記錄訓(xùn)練后應(yīng)繪制reward 及滑動(dòng)平均 reward 隨 episode 的變化曲線并記錄超參數(shù)寫(xiě)成報(bào)告。項(xiàng)目文檔在 docs/chapter7/assets 目錄給出了訓(xùn)練train與測(cè)試eval的參考曲線圖訓(xùn)練曲線rewards_train.png、moving_average_rewards_train.png、steps_train.png評(píng)估曲線rewards_eval.png、moving_average_rewards_eval.png、steps_eval.png。其中滑動(dòng)平均的遞推式0.9 * moving_average_rewards[-1] 0.1 * ep_reward與 DoubleDQN.ipynb、DuelingDQN.ipynb 中smooth(data, weight0.9)的平滑方式一致即指數(shù)加權(quán)滑動(dòng)平均。此外也可以用 TensorBoard 查看訓(xùn)練過(guò)程的獎(jiǎng)勵(lì)與步數(shù)曲線見(jiàn) project2.md 末尾的截圖說(shuō)明。7.9 總結(jié)與選型建議技巧解決的核心問(wèn)題改動(dòng)點(diǎn)實(shí)現(xiàn)成本Double DQNQ值過(guò)估計(jì)目標(biāo)Q值的計(jì)算方式選動(dòng)作與算價(jià)值解耦極低只改幾行Dueling DQN數(shù)據(jù)利用效率低網(wǎng)絡(luò)結(jié)構(gòu)拆成 V(s) A(s,a) 并零均值化低改網(wǎng)絡(luò)結(jié)構(gòu)Prioritized Replay難樣本采樣不足采樣分布 重要性采樣權(quán)重中需 SumTreeMulti-stepTD偏差與MC方差折中保存并累加 N 步獎(jiǎng)勵(lì)低$N$ 為超參數(shù)Noisy Net探索不合理參數(shù)空間加噪聲、回合級(jí)重置中需自定義帶噪聲層Distributional Q忽視獎(jiǎng)勵(lì)分布信息輸出分布而非期望較高需分布投影Rainbow綜合上述全部收益全部疊加高工程量大若只選一個(gè)技巧首選 DDQN改動(dòng)最少、幾乎不增加運(yùn)算量卻最直接地緩解Q值高估Dueling DQN 與 PER 通常都能帶來(lái)穩(wěn)定收益且互不沖突多步方法N≈3~5是低成本高收益的折中A3C 等演員-評(píng)論員方法內(nèi)部本身就包含多步Noisy Net 與分布式Q函數(shù)更進(jìn)階后者還能支持風(fēng)險(xiǎn)敏感選低方差動(dòng)作的策略Rainbow 是這些方法的組合上限消融實(shí)驗(yàn)表明多步、PER、分布式貢獻(xiàn)最大而在使用分布式Q函數(shù)后 DDQN 的邊際收益變小。所有技巧的完整可運(yùn)行實(shí)現(xiàn)與默認(rèn)超參數(shù)均可從倉(cāng)庫(kù) notebooks 目錄下對(duì)應(yīng)的DoubleDQN、DuelingDQN、PER_DQN、NoisyDQN等 notebook 中直接獲取并在 CartPole 系列環(huán)境中驗(yàn)證配套的章節(jié)關(guān)鍵詞與習(xí)題含面試題見(jiàn) 第7章問(wèn)答文檔可進(jìn)一步自測(cè)對(duì)每個(gè)技巧原理的掌握程度。贊分享教程機(jī)器學(xué)習(xí)深度學(xué)習(xí)【免費(fèi)下載鏈接】easy-rl強(qiáng)化學(xué)習(xí)中文教程蘑菇書(shū)在線閱讀地址https://datawhalechina.github.io/easy-rl/項(xiàng)目地址https://gitcode.com/gh_mirrors/ea/easy-rl點(diǎn)擊查看免費(fèi)下載相關(guān)推薦easy-rl 蘑菇書(shū)第七章深度Q網(wǎng)絡(luò)進(jìn)階技巧全解——Double DQN、Dueling DQN、PER、噪聲網(wǎng)絡(luò)與彩虹easy rl 蘑菇書(shū)第七章深度Q網(wǎng)絡(luò)進(jìn)階技巧全解——Double DQN、Dueling DQN、PER、噪聲網(wǎng)絡(luò)與彩虹 本文以蘑菇書(shū)easy rl 第教程機(jī)器學(xué)習(xí)深度學(xué)習(xí)Easy-RL深度Q網(wǎng)絡(luò)DQN及其進(jìn)階技巧全解析Easy RL深度Q網(wǎng)絡(luò)DQN及其進(jìn)階技巧全解析 本文全面解析了深度Q網(wǎng)絡(luò)DQN及其核心改進(jìn)技術(shù)。DQN通過(guò)結(jié)合深度學(xué)習(xí)與Q學(xué)習(xí)解決了高維狀態(tài)空間下的價(jià)人工智能強(qiáng)化學(xué)習(xí)深度學(xué)習(xí)教程Easy-RL項(xiàng)目深度Q網(wǎng)絡(luò)進(jìn)階技巧詳解Easy RL項(xiàng)目深度Q網(wǎng)絡(luò)進(jìn)階技巧詳解 深度Q網(wǎng)絡(luò) DQN 作為強(qiáng)化學(xué)習(xí)中的重要算法在實(shí)際應(yīng)用中存在多種改進(jìn)方法。本文將系統(tǒng)介紹Easy RL項(xiàng)目中提出的7教程機(jī)器學(xué)習(xí)深度學(xué)習(xí)上一篇Factorio藍(lán)圖可視化工具打造你的工廠藝術(shù)下一篇從0到1掌握ahk2_lib解放Windows自動(dòng)化潛能的全棧工具庫(kù)創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 Easy-RL 深度Q網(wǎng)絡(luò)進(jìn)階技巧全解：DDQN、Dueling DQN、PER、Noisy Net、分布式Q函數(shù)與Rainbow
教程機(jī)器學(xué)習(xí)深度學(xué)習(xí)【免費(fèi)下載鏈接】easy-rl強(qiáng)化學(xué)習(xí)中文教程蘑菇書(shū)在線閱讀地址https://datawhalechina.github.io/easy-rl/項(xiàng)目地址https://gitcode.com/gh_mirrors/ea/easy-rl點(diǎn)擊查看免費(fèi)下載本章第7章講解深度Q網(wǎng)絡(luò)DQN訓(xùn)練中的一系列進(jìn)階技巧雙深度Q網(wǎng)絡(luò)Double DQN、競(jìng)爭(zhēng)深度Q網(wǎng)絡(luò)Dueling DQN、優(yōu)先級(jí)經(jīng)驗(yàn)回放Prioritized Experience Replay, PER、多步方法、噪聲網(wǎng)絡(luò)Noisy Net、分布式Q函數(shù)Distributional Q-function以及將它們組合起來(lái)的彩虹Rainbow。這些技巧解決DQN在實(shí)踐中的典型問(wèn)題——Q值過(guò)估計(jì)、樣本利用效率低、探索方式不合理、獎(jiǎng)勵(lì)不確定性被忽視等且彼此之間沒(méi)有沖突可以疊加使用。本文以蘑菇書(shū)Easy-RL第7章為骨架結(jié)合倉(cāng)庫(kù)中 notebooks 目錄下的可運(yùn)行實(shí)現(xiàn)DoubleDQN.ipynb、DuelingDQN.ipynb、PER_DQN.ipynb、NoisyDQN.ipynb與 第7章實(shí)踐項(xiàng)目逐項(xiàng)拆解每個(gè)技巧的原理、公式、實(shí)現(xiàn)要點(diǎn)與調(diào)參建議幫助讀者真正把進(jìn)階DQN跑起來(lái)。7.1 雙深度Q網(wǎng)絡(luò)解決Q值被高估的問(wèn)題7.1.1 為什么Q值總是被高估在實(shí)現(xiàn)上Q值往往是被高估的。以 4 個(gè)不同的小游戲?yàn)槔?jiàn)原文檔圖 7.1橫軸代表迭代輪次紅色鋸齒狀曲線表示Q函數(shù)對(duì)大量不同狀態(tài)采樣后取平均的 Q 值。由于Q函數(shù)取決于策略學(xué)習(xí)過(guò)程中策略越來(lái)越強(qiáng)同一狀態(tài)下期望獎(jiǎng)勵(lì)越來(lái)越大因此Q值整體呈上升趨勢(shì)——但這是深度Q網(wǎng)絡(luò)預(yù)估出來(lái)的值。隨后用策略實(shí)際去玩例如100萬(wàn)次統(tǒng)計(jì)真實(shí)獲得的累積獎(jiǎng)勵(lì)會(huì)發(fā)現(xiàn)預(yù)估出來(lái)的值遠(yuǎn)比真實(shí)值大且大很多在每一個(gè)游戲中都是如此。原因在于式(7.1)的訓(xùn)練目標(biāo)本身我們希望左側(cè)與右側(cè)目標(biāo)越接近越好但目標(biāo)很容易被設(shè)得過(guò)高因?yàn)橛?jì)算目標(biāo)時(shí)實(shí)際上做的是看哪一個(gè)動(dòng)作 $a$ 可以得到最大的Q值就把它加上去變成目標(biāo)$$ Q\left(s_{t}, a_{t}\right) \longleftrightarrow r_{t}\max{a} Q\left(s{t1}, a\right) \tag{7.1} $$例如有 4 個(gè)動(dòng)作本來(lái)它們得到的Q值與獎(jiǎng)勵(lì)都差不多但網(wǎng)絡(luò)估計(jì)有誤差。如圖 7.2(a) 所示若第一個(gè)動(dòng)作被高估智能體就會(huì)選它用被高估的 Q 值加 $r_t$ 當(dāng)目標(biāo)若第四個(gè)動(dòng)作被高估圖 7.2(b)就會(huì)選第四個(gè)。智能體總是會(huì)選那個(gè) Q 值被高估的動(dòng)作所以目標(biāo)值總是太大。7.1.2 DDQN 的解法動(dòng)作選擇與價(jià)值計(jì)算解耦在DDQN中選動(dòng)作的Q函數(shù)與計(jì)算值的Q函數(shù)不是同一個(gè)。原DQN窮舉所有 $a$ 代入Q函數(shù)把Q值最高的 $a$ 對(duì)應(yīng)的Q值加 $r_t$DDQN 則有兩個(gè)Q網(wǎng)絡(luò)第一個(gè)Q網(wǎng)絡(luò) $Q$ 決定哪一個(gè)動(dòng)作的Q值最大決定動(dòng)作后Q值用 $Q$ 算出來(lái)式 7.2$$ Q\left(s_{t}, a_{t}\right) \longleftrightarrow r_{t}Q^{\prime}\left(s_{t1}, \arg \max{a} Q\left(s{t1}, a\right)\right) \tag{7.2} $$如果 $Q$ 高估了它選出的動(dòng)作 $a$只要 $Q$ 沒(méi)有高估這個(gè)動(dòng)作的值算出來(lái)的就還是正常值反過(guò)來(lái)若 $Q$ 高估了某個(gè)動(dòng)作只要 $Q$ 不選它就沒(méi)問(wèn)題。DDQN 相較于DQN的更改最少幾乎沒(méi)有增加任何運(yùn)算量也不需要新網(wǎng)絡(luò)原來(lái)就有兩個(gè)網(wǎng)絡(luò)只需把用目標(biāo)網(wǎng)絡(luò) $Q$ 找使 Q 值最大的 $a$改為用另一個(gè)會(huì)更新的Q網(wǎng)絡(luò)找使 Q 值最大的 $a$。如果只選一個(gè)技巧一般都會(huì)選DDQN因?yàn)槠錁O易實(shí)現(xiàn)。7.1.3 源碼對(duì)照DoubleDQN 的更新核心倉(cāng)庫(kù) notebooks/DoubleDQN.ipynb 完整實(shí)現(xiàn)了該邏輯核心更新代碼1.3 節(jié)DoubleDQN.update為q_value_batch self.policy_net(state_batch).gather(dim1, indexaction_batch) # 實(shí)際Q值 next_q_value_batch self.policy_net(next_state_batch) # 策略網(wǎng)絡(luò)選動(dòng)作 next_target_value_batch self.target_net(next_state_batch) # 目標(biāo)網(wǎng)絡(luò)算價(jià)值 # 將策略網(wǎng)絡(luò)Q值最大的動(dòng)作對(duì)應(yīng)的目標(biāo)網(wǎng)絡(luò)Q值作為期望的Q值 next_target_q_value_batch next_target_value_batch.gather( 1, torch.max(next_q_value_batch, 1)[1].unsqueeze(1)) expected_q_value_batch reward_batch self.gamma * next_target_q_value_batch * (1 - done_batch) loss nn.MSELoss()(q_value_batch, expected_q_value_batch)其中policy_net會(huì)更新負(fù)責(zé)torch.max(next_q_value_batch, 1)[1]選出最優(yōu)動(dòng)作target_net固定住負(fù)責(zé)取該動(dòng)作的Q值——正是式(7.2)的代碼形態(tài)。其余部分MLP網(wǎng)絡(luò)、ReplayBuffer、ε-貪心采樣、目標(biāo)網(wǎng)絡(luò)定期load_state_dict拷貝參數(shù)與DQN完全一致印證了更改最少的說(shuō)法。該 notebook 在 CartPole-v1 上的一組默認(rèn)超參數(shù)第 4 節(jié)Config可直接參考algo_name DoubleDQN; env_name CartPole-v1; seed 1 train_eps 100; test_eps 10; max_steps 200 gamma 0.99; lr 0.0001 epsilon_start 0.95; epsilon_end 0.01; epsilon_decay 500 buffer_size 10000; batch_size 64; target_update 4; hidden_dim 256 device cuda if torch.cuda.is_available() else cpu其中epsilon按epsilon_end (epsilon_start - epsilon_end) * exp(-sample_count / epsilon_decay)指數(shù)衰減target_update為策略網(wǎng)絡(luò)參數(shù)拷貝到目標(biāo)網(wǎng)絡(luò)的頻率以采樣次數(shù)計(jì)。訓(xùn)練 100 回合后測(cè)試 10 回合基本可穩(wěn)定拿到 200 分滿(mǎn)分。7.2 競(jìng)爭(zhēng)深度Q網(wǎng)絡(luò)拆分為狀態(tài)價(jià)值與優(yōu)勢(shì)7.2.1 網(wǎng)絡(luò)結(jié)構(gòu)V(s) 與 A(s,a) 兩條路徑競(jìng)爭(zhēng)深度Q網(wǎng)絡(luò)與原始DQN唯一的差別是改變了網(wǎng)絡(luò)架構(gòu)。原DQN輸入狀態(tài)直接輸出每個(gè)動(dòng)作的Q值Dueling DQN 不直接輸出Q值而是分成兩條路徑第一條路徑輸出一個(gè)與輸入 $s$ 有關(guān)的標(biāo)量 $V(\boldsymbol{s})$第二條路徑輸出一個(gè)向量 $\boldsymbol{A}(\boldsymbol{s},\boldsymbol{a})$每個(gè)動(dòng)作一個(gè)值。二者相加得到 $\boldsymbol{Q}(\boldsymbol{s},\boldsymbol{a})$$$ \boldsymbol{Q}(\boldsymbol{s},\boldsymbol{a}) V(\boldsymbol{s}) \boldsymbol{A}(\boldsymbol{s},\boldsymbol{a}) $$假設(shè)只有 4 個(gè)狀態(tài)、3 個(gè)動(dòng)作$\boldsymbol{Q}(\boldsymbol{s},\boldsymbol{a})$ 可看成一個(gè)表格原文檔圖 7.4把 $V(\boldsymbol{s})$ 加到 $\boldsymbol{A}(\boldsymbol{s},\boldsymbol{a})$ 的每一列就得到 Q 值。7.2.2 為什么更有效率訓(xùn)練網(wǎng)絡(luò)時(shí)我們真正能修改的是 $V(\boldsymbol{s})$ 與 $\boldsymbol{A}(\boldsymbol{s},\boldsymbol{a})$ 的值。假設(shè)希望 Q 表格中第一行第二列由 3 變 4、第二行第二列由 ?1 變 0此時(shí)可能只改 $V(\boldsymbol{s})$ 即可從 0 變 1于是 Q 表格中第三個(gè)動(dòng)作的值?2→?1也被順帶修改了。也就是說(shuō)即使某個(gè)狀態(tài)只采樣到兩個(gè)動(dòng)作、沒(méi)采樣到第三個(gè)動(dòng)作第三個(gè)動(dòng)作的 Q 值也會(huì)被更新——不需要把所有的狀態(tài)-動(dòng)作對(duì)都采樣就能用更高效的方式估計(jì) Q 值。因此 Dueling DQN 是一個(gè)使用數(shù)據(jù)比較有效率的方法。7.2.3 可辨識(shí)性問(wèn)題與零均值化約束一個(gè)潛在問(wèn)題是智能體可能學(xué)到 $V(\boldsymbol{s})0$、$\boldsymbol{A}(\boldsymbol{s},\boldsymbol{a})Q$那樣Dueling結(jié)構(gòu)就退化成原DQN毫無(wú)好處。為避免這個(gè)問(wèn)題要給 $\boldsymbol{A}(\boldsymbol{s},\boldsymbol{a})$ 加約束讓它的更新比較麻煩從而迫使網(wǎng)絡(luò)傾向于用 $V(\boldsymbol{s})$ 解決問(wèn)題。最直覺(jué)的約束是讓 $\boldsymbol{A}(\boldsymbol{s},\boldsymbol{a})$ 每一列的和為 0此時(shí) $V(\boldsymbol{s})$ 可理解為每列 Q 值的平均值由于每列和恒為 0無(wú)法讓某列所有元素都加 1網(wǎng)絡(luò)就被迫去更新 $V(\boldsymbol{s})$。實(shí)現(xiàn)上就是零均值化假設(shè) 3 個(gè)動(dòng)作輸出 $[7,3,2]^{\mathrm{T}}$先求均值 (732)/34每個(gè)元素減 4 得 $[3,-1,2]^{\mathrm{T}}$再與 $V(\boldsymbol{s})$ 相加得到Q值。該步驟沒(méi)有參數(shù)、是網(wǎng)絡(luò)的一部分可以隨網(wǎng)絡(luò)一起反向傳播訓(xùn)練。7.2.4 源碼對(duì)照DuelingNet 的結(jié)構(gòu)與組合公式倉(cāng)庫(kù) notebooks/DuelingDQN.ipynb 的DuelingNet正是共享隱藏層 價(jià)值/優(yōu)勢(shì)兩個(gè)分支的實(shí)現(xiàn)class DuelingNet(nn.Module): def __init__(self, n_states, n_actions, hidden_dim128): super(DuelingNet, self).__init__() self.hidden_layer nn.Sequential(nn.Linear(n_states, hidden_dim), nn.ReLU()) # advantage 分支 self.advantage_layer nn.Sequential( nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, n_actions)) # value 分支 self.value_layer nn.Sequential( nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, 1)) def forward(self, state): x self.hidden_layer(state) advantage self.advantage_layer(x) value self.value_layer(x) return value advantage - advantage.mean() # 零均值化forward末尾的value advantage - advantage.mean()即帶約束的組合公式notebook 中給出的可辨識(shí)形式$$ Q(S, A, w, \alpha, \beta)V(S, w, \alpha)\left(A(S, A, w, \beta)-\frac{1}{\mathcal{A}} \sum_{a^{\prime} \in \mathcal{A}} A\left(S, a^{\prime}, w, \beta\right)\right) $$模型結(jié)構(gòu)圖可參考 notebooks/figs/duelingdqn_model.png左普通三層MLP右Dueling 雙分支結(jié)構(gòu)。該 notebook 在 CartPole-v1 上使用gamma0.95、lr0.0001、memory_capacity10000、batch_size64、target_update800、hidden_dim256訓(xùn)練 100 回合后測(cè)試 10 回合同樣能達(dá)到 200 滿(mǎn)分驗(yàn)證了數(shù)據(jù)利用效率更高的實(shí)際效果。7.3 優(yōu)先級(jí)經(jīng)驗(yàn)回放讓難樣本更大概率被采樣7.3.1 動(dòng)機(jī)原來(lái)從回放緩沖區(qū)采樣訓(xùn)練Q網(wǎng)絡(luò)時(shí)是均勻采樣這不一定是最好策略。有些數(shù)據(jù)之前采樣過(guò)、發(fā)現(xiàn)其時(shí)序差分誤差TD誤差特別大——即網(wǎng)絡(luò)的輸出與目標(biāo)之間的差距大說(shuō)明這些數(shù)據(jù)比較不好訓(xùn)練。既然不好訓(xùn)練就應(yīng)該給它們更大的被采樣概率優(yōu)先權(quán)。需要注意的是PER不僅改變了采樣數(shù)據(jù)的分布還改變了更新參數(shù)的方法訓(xùn)練過(guò)程因?yàn)椴蓸臃植甲兞吮仨氂弥匾圆蓸訖?quán)重修正梯度偏差。7.3.2 源碼對(duì)照SumTree 與優(yōu)先級(jí)更新倉(cāng)庫(kù) notebooks/PER_DQN.ipynb 給出了完整的 PER 實(shí)現(xiàn)核心數(shù)據(jù)結(jié)構(gòu)是SumTree線段樹(shù)/求和樹(shù)用于按優(yōu)先級(jí)快速采樣。關(guān)鍵設(shè)計(jì)第 2 節(jié)PrioritizedReplayBuffer如下self.alpha 0.6 # 優(yōu)先級(jí)指數(shù)控制優(yōu)先級(jí)對(duì)采樣的影響程度 self.beta 0.4 # 重要性采樣權(quán)重指數(shù)IS weights self.epsilon 0.01 # 避免零優(yōu)先級(jí)的常數(shù) self.abs_err_upper 1. # 用于對(duì)TD誤差進(jìn)行截?cái)?... p (np.abs(error) self.epsilon) ** self.alpha # 由TD誤差計(jì)算優(yōu)先級(jí) ... self.beta np.min([1., self.beta self.beta_increment_per_sampling]) # beta隨采樣逐步增大 is_weights np.power(self.tree.n_entries * sampling_probabilities, -self.beta) # 重要性采樣權(quán)重要點(diǎn)SumTree 采樣根據(jù)根節(jié)點(diǎn)優(yōu)先級(jí)和采樣樣本數(shù)劃分采樣區(qū)間逐層與節(jié)點(diǎn)優(yōu)先級(jí)對(duì)比最終得到要采樣的葉子樣本notebook 中 1.2 節(jié)有圖解說(shuō)明優(yōu)先級(jí)更新采樣后用本批 TD 誤差ps np.power(clipped_errors, self.alpha)回寫(xiě)樹(shù)節(jié)點(diǎn)重要性采樣權(quán)重由于改變了采樣分布更新時(shí)必須乘以is_weights以修正偏差beta從 0.4 隨采樣逐步線性增至 1.0abs_err_upper1.用于把 TD 誤差截?cái)嘣?$[-1,1]$防止個(gè)別異常樣本優(yōu)先級(jí)過(guò)大。7.4 多步方法在蒙特卡洛與時(shí)序差分之間取得平衡蒙特卡洛方法與時(shí)序差分方法各有優(yōu)劣多步方法multi-step在二者之間取得平衡。TD 方法只走一步在狀態(tài) $s_t$ 采取動(dòng)作 $a_t$ 得到獎(jiǎng)勵(lì) $r_t$進(jìn)入 $s_{t1}$多步方法則保存 $N$ 個(gè)步驟的數(shù)據(jù)一直記錄到在 $s_{tN}$ 采取 $a_{tN}$、得到 $r_{tN}$、進(jìn)入 $s_{tN1}$。更新時(shí)讓 $Q(s_t,a_t)$ 與目標(biāo)值越接近越好其中 $\hat{Q}$ 計(jì)算的不是 $s_{t1}$ 而是 $s_{tN1}$ 的獎(jiǎng)勵(lì)目標(biāo)值再加上多步獎(jiǎng)勵(lì)之和$$ \sum_{t^{\prime}t}^{tN} r_{t^{\prime}} $$即從時(shí)間 $t$ 到 $tN$ 共 $N1$ 個(gè)獎(jiǎng)勵(lì)的和。好處TD 只采樣一步接下來(lái)都是Q值估測(cè)出來(lái)的多步方法采樣 $N$ 步才估測(cè)估測(cè)部分造成的影響更小壞處與蒙特卡洛方法一樣$N$ 項(xiàng)獎(jiǎng)勵(lì)加起來(lái)方差會(huì)變大權(quán)衡$N$ 是一個(gè)可調(diào)的超參數(shù)例如 3 步還是 5 步用于在方差與Q值不精確之間取得平衡。7.5 噪聲網(wǎng)絡(luò)在參數(shù)空間而非動(dòng)作空間探索7.5.1 基本思想$\varepsilon$-貪心是在動(dòng)作空間上加噪聲做探索。噪聲網(wǎng)絡(luò)Noisy Net則是在參數(shù)空間上加噪聲每個(gè)回合開(kāi)始、智能體與環(huán)境交互之前給Q函數(shù)網(wǎng)絡(luò)的每個(gè)參數(shù)加一個(gè)高斯噪聲Gaussian noise把原Q函數(shù)變成噪聲Q函數(shù) $\tilde{Q}$。使用噪聲網(wǎng)絡(luò)執(zhí)行的動(dòng)作為$$ a\underset{a}{\arg \max} \tilde{Q}(s, a) $$關(guān)鍵約定每個(gè)回合開(kāi)始時(shí)采樣噪聲隨后用固定的噪聲網(wǎng)絡(luò)玩完整個(gè)回合直到游戲結(jié)束才重新采樣噪聲在一個(gè)回合內(nèi)不能改變。OpenAI 與 DeepMind 幾乎同時(shí)提出該方法兩篇論文均發(fā)表于 ICLR 2018區(qū)別僅在于加噪聲的方式——OpenAI 直接給每個(gè)權(quán)重加高斯噪聲較簡(jiǎn)單DeepMind 的噪聲由一組參數(shù)控制、網(wǎng)絡(luò)可以自己決定噪聲加多大較復(fù)雜但概念一致。7.5.2 依賴(lài)狀態(tài)的探索與ε-貪心的本質(zhì)差異這帶來(lái)了與動(dòng)作空間采樣方法的本質(zhì)差異。在 $\varepsilon$-貪心中給定同樣的狀態(tài)智能體可能執(zhí)行不同的動(dòng)作有時(shí)用Q函數(shù)、有時(shí)隨機(jī)這在真實(shí)世界中是不正常的——真實(shí)策略給定相同狀態(tài)應(yīng)有相同回應(yīng)。而在參數(shù)上加噪聲時(shí)同一個(gè)回合內(nèi)網(wǎng)絡(luò)參數(shù)固定看到相同或類(lèi)似的狀態(tài)就會(huì)采取相同的動(dòng)作這被稱(chēng)為依賴(lài)狀態(tài)的探索state-dependent exploration動(dòng)作噪聲只是隨機(jī)亂試參數(shù)噪聲則是系統(tǒng)地嘗試——比如某狀態(tài)每次向左試下個(gè)回合看到同樣狀態(tài)再向右試是系統(tǒng)性地探索環(huán)境。7.5.3 源碼對(duì)照NoisyLinear 與回合級(jí)噪聲重置倉(cāng)庫(kù) notebooks/NoisyDQN.ipynb 實(shí)現(xiàn)了NoisyLinear帶噪聲的全連接層與噪聲網(wǎng)絡(luò)NoisyNetnoisy_fc1/2/3并在forward中應(yīng)用噪聲。回合級(jí)噪聲重置邏輯體現(xiàn)在self.policy_net.reset_noise() # 訓(xùn)練每回合開(kāi)始時(shí)重置策略網(wǎng)絡(luò)噪聲 self.target_net.reset_noise() # 目標(biāo)網(wǎng)絡(luò)同樣重置reset_noise內(nèi)部用_scale_noise生成與參數(shù)同形狀的高斯噪聲epsilon_in/epsilon_out拷貝到weight_epsilon、bias_epsilon上。noise 在網(wǎng)絡(luò)訓(xùn)練時(shí)作為可學(xué)習(xí)的參數(shù)一起反向傳播——這正是網(wǎng)絡(luò)可以自己決定噪聲要加多大的實(shí)現(xiàn)基礎(chǔ)。該 notebook 的配置中epsilon_start0.95, epsilon_end0.01, epsilon_decay500依然保留但探索主要依賴(lài)網(wǎng)絡(luò)內(nèi)部噪聲默認(rèn)還提供gamma0.95, lr0.0001, buffer_size100000, batch_size64, target_update4, hidden_dim256等參數(shù)。7.6 分布式Q函數(shù)對(duì)獎(jiǎng)勵(lì)分布而非期望建模7.6.1 為什么只建模期望不夠Q函數(shù)是累積獎(jiǎng)勵(lì)的期望值但環(huán)境有隨機(jī)性在某狀態(tài)采取某動(dòng)作游戲結(jié)束時(shí)統(tǒng)計(jì)所有可能獎(jiǎng)勵(lì)得到的是一個(gè)分布例如獎(jiǎng)勵(lì)為 0 的概率很高?10 和 10 的概率較低。對(duì)這個(gè)分布取平均才是Q值。不同的分布可以有相同的平均值——假設(shè)只用Q值的期望代表整個(gè)獎(jiǎng)勵(lì)會(huì)丟失信息無(wú)法對(duì)獎(jiǎng)勵(lì)分布進(jìn)行建模見(jiàn)原文檔圖 7.8平均值相同但形狀不同的兩個(gè)分布。7.6.2 做法輸出落在某個(gè)長(zhǎng)條中的概率分布式Q函數(shù)直接對(duì)分布建模假設(shè)獎(jiǎng)勵(lì)分布落在某個(gè)范圍內(nèi)如 ?10 ~ 10把它拆成一個(gè)個(gè)長(zhǎng)條例如每個(gè)動(dòng)作的獎(jiǎng)勵(lì)空間拆成 5 個(gè)長(zhǎng)條Q函數(shù)的輸出變成預(yù)測(cè)在某狀態(tài)采取某動(dòng)作得到的獎(jiǎng)勵(lì)落在某一個(gè)長(zhǎng)條內(nèi)的概率。以 3 個(gè)動(dòng)作 $a_1,a_2,a_3$ 為例輸入一個(gè)狀態(tài)分別輸出三組概率綠色/紅色/藍(lán)色長(zhǎng)條每組概率之和為 1高度代表落在該長(zhǎng)條內(nèi)的概率。測(cè)試時(shí)選平均值最大的動(dòng)作執(zhí)行。額外的好處是還可以利用分布信息比如方差大的動(dòng)作風(fēng)險(xiǎn)高——在兩個(gè)動(dòng)作平均值差不多時(shí)可以選風(fēng)險(xiǎn)更小的動(dòng)作執(zhí)行從而訓(xùn)練出規(guī)避風(fēng)險(xiǎn)的策略。7.7 彩虹把全部技巧組合起來(lái)7.7.1 組合與消融彩虹Rainbow把前述方法全部組合使用原DQN算一種顏色加上 DDQN、PER、Dueling、多步、Noisy、分布式Q函數(shù)共 7 種顏色原文檔圖 7.10。橫軸是訓(xùn)練幀數(shù)縱軸是十幾個(gè)雅達(dá)利小游戲分?jǐn)?shù)的中位數(shù)取中位數(shù)而非平均是因?yàn)椴煌螒蚍謹(jǐn)?shù)差距很大取平均會(huì)讓某幾個(gè)游戲控制結(jié)果。單看各種方法灰色普通DQN性能較差噪聲DQNnoisy DQN比DQN好很多紫色DDQN挺有效優(yōu)先級(jí)雙DQNprioritized DDQN、競(jìng)爭(zhēng)雙DQNdueling DDQN、分布式DQNdistributional DQN性能都較高異步優(yōu)勢(shì)演員-評(píng)論員A3C屬于演員-評(píng)論員方法將在本書(shū)第九章詳細(xì)介紹A3C 內(nèi)部本身就含多步方法所以圖 7.10 中沒(méi)有單獨(dú)的多步方法曲線——實(shí)現(xiàn)A3C 就等于實(shí)現(xiàn)了多步方法。這些方法彼此不沖突全部疊加就是彩虹方法性能很好。7.7.2 去掉一種方法會(huì)怎樣把全部方法組合后逐一去掉其中一種方法可以判斷它的貢獻(xiàn)原文檔圖 7.11虛線為去掉某方法后的結(jié)果去掉多步方法后性能掉很多去掉優(yōu)先級(jí)經(jīng)驗(yàn)回放后掉下來(lái)去掉**分布分布式Q函數(shù)**后也掉下來(lái)——有趣的是訓(xùn)練初期分布方法與其他方法速度差不多去掉它訓(xùn)練不會(huì)變慢但最終性能收斂在比較差的地方去掉噪聲網(wǎng)絡(luò)后性能差一點(diǎn)去掉競(jìng)爭(zhēng)深度Q網(wǎng)絡(luò)后性能差一點(diǎn)去掉雙深度Q網(wǎng)絡(luò)卻沒(méi)什么差別。為什么 DDQN 在組合中作用變小因?yàn)榉植际紻QN本質(zhì)上就不會(huì)高估獎(jiǎng)勵(lì)它輸出的是分布的范圍范圍必然受限如 ?10 ~ 10若真實(shí)獎(jiǎng)勵(lì)超過(guò) 10比如 100就會(huì)被當(dāng)作沒(méi)看到而丟棄因此極端的大值獎(jiǎng)勵(lì)被丟棄不會(huì)高估獎(jiǎng)勵(lì)、反而會(huì)低估獎(jiǎng)勵(lì)。既然用了分布式Q函數(shù)后已無(wú)高估問(wèn)題DDQN 的用武之地就變小了。7.8 綜合實(shí)踐把進(jìn)階技巧用在 CartPole 上7.8.1 實(shí)踐項(xiàng)目環(huán)境CartPole-v0倉(cāng)庫(kù) 第7章實(shí)踐項(xiàng)目project2.md建議使用 Double-DQN 解決 CartPole-v0即建立兩個(gè)初始參數(shù)相同的全連接網(wǎng)絡(luò)target_net與policy_net。CartPole-v0 是 OpenAI Gym 經(jīng)典環(huán)境通過(guò)向左action0或向右action1推車(chē)保持平衡動(dòng)作空間由兩個(gè)動(dòng)作組成每進(jìn)行一個(gè) step 得 1 獎(jiǎng)勵(lì)無(wú)法保持平衡時(shí)doneTrue本次 episode 失敗。理想狀態(tài)下每個(gè) episode 至少進(jìn)行 200 個(gè) step即每個(gè) episode 的獎(jiǎng)勵(lì)總和至少 200、step 數(shù)至少 200。環(huán)境建立如下import gym env gym.make(CartPole-v0) env.seed(1) # 設(shè)置env隨機(jī)種子 n_states env.observation_space.shape[0] # 總狀態(tài)數(shù) n_actions env.action_space.n # 總動(dòng)作數(shù)7.8.2 強(qiáng)化學(xué)習(xí)基本訓(xùn)練循環(huán)項(xiàng)目文檔給出的訓(xùn)練主循環(huán)結(jié)構(gòu)記錄獎(jiǎng)勵(lì)、滑動(dòng)平均、每回合更新目標(biāo)網(wǎng)絡(luò)rewards [] # 記錄總的rewards moving_average_rewards [] # 記錄滑動(dòng)平均處理后的rewards ep_steps [] for i_episode in range(1, cfg.max_episodes1): # cfg.max_episodes 最大訓(xùn)練episode數(shù) state env.reset() # reset環(huán)境狀態(tài) ep_reward 0 for i_step in range(1, cfg.max_steps1): # cfg.max_steps 每episode最大步數(shù) action agent.select_action(state) # 根據(jù)當(dāng)前state選擇action next_state, reward, done, _ env.step(action) # 更新環(huán)境參數(shù) ep_reward reward agent.memory.push(state, action, reward, next_state, done) # transition存入memory state next_state # 跳轉(zhuǎn)到下一個(gè)狀態(tài) agent.update() # 每步更新網(wǎng)絡(luò) if done: break # 更新target network復(fù)制DQN中的所有weights and biases if i_episode % cfg.target_update 0: # cfg.target_update 目標(biāo)網(wǎng)絡(luò)更新頻率 agent.target_net.load_state_dict(agent.policy_net.state_dict()) print(Episode:, i_episode, Reward: %i % int(ep_reward), n_steps:, i_step, done: , done, Explore: %.2f % agent.epsilon) ep_steps.append(i_step) rewards.append(ep_reward) # 計(jì)算滑動(dòng)窗口的reward if i_episode 1: moving_average_rewards.append(ep_reward) else: moving_average_rewards.append( 0.9*moving_average_rewards[-1]0.1*ep_reward)7.8.3 結(jié)果可視化與超參數(shù)記錄訓(xùn)練后應(yīng)繪制reward 及滑動(dòng)平均 reward 隨 episode 的變化曲線并記錄超參數(shù)寫(xiě)成報(bào)告。項(xiàng)目文檔在 docs/chapter7/assets 目錄給出了訓(xùn)練train與測(cè)試eval的參考曲線圖訓(xùn)練曲線rewards_train.png、moving_average_rewards_train.png、steps_train.png評(píng)估曲線rewards_eval.png、moving_average_rewards_eval.png、steps_eval.png。其中滑動(dòng)平均的遞推式0.9 * moving_average_rewards[-1] 0.1 * ep_reward與 DoubleDQN.ipynb、DuelingDQN.ipynb 中smooth(data, weight0.9)的平滑方式一致即指數(shù)加權(quán)滑動(dòng)平均。此外也可以用 TensorBoard 查看訓(xùn)練過(guò)程的獎(jiǎng)勵(lì)與步數(shù)曲線見(jiàn) project2.md 末尾的截圖說(shuō)明。7.9 總結(jié)與選型建議技巧解決的核心問(wèn)題改動(dòng)點(diǎn)實(shí)現(xiàn)成本Double DQNQ值過(guò)估計(jì)目標(biāo)Q值的計(jì)算方式選動(dòng)作與算價(jià)值解耦極低只改幾行Dueling DQN數(shù)據(jù)利用效率低網(wǎng)絡(luò)結(jié)構(gòu)拆成 V(s) A(s,a) 并零均值化低改網(wǎng)絡(luò)結(jié)構(gòu)Prioritized Replay難樣本采樣不足采樣分布 重要性采樣權(quán)重中需 SumTreeMulti-stepTD偏差與MC方差折中保存并累加 N 步獎(jiǎng)勵(lì)低$N$ 為超參數(shù)Noisy Net探索不合理參數(shù)空間加噪聲、回合級(jí)重置中需自定義帶噪聲層Distributional Q忽視獎(jiǎng)勵(lì)分布信息輸出分布而非期望較高需分布投影Rainbow綜合上述全部收益全部疊加高工程量大若只選一個(gè)技巧首選 DDQN改動(dòng)最少、幾乎不增加運(yùn)算量卻最直接地緩解Q值高估Dueling DQN 與 PER 通常都能帶來(lái)穩(wěn)定收益且互不沖突多步方法N≈3~5是低成本高收益的折中A3C 等演員-評(píng)論員方法內(nèi)部本身就包含多步Noisy Net 與分布式Q函數(shù)更進(jìn)階后者還能支持風(fēng)險(xiǎn)敏感選低方差動(dòng)作的策略Rainbow 是這些方法的組合上限消融實(shí)驗(yàn)表明多步、PER、分布式貢獻(xiàn)最大而在使用分布式Q函數(shù)后 DDQN 的邊際收益變小。所有技巧的完整可運(yùn)行實(shí)現(xiàn)與默認(rèn)超參數(shù)均可從倉(cāng)庫(kù) notebooks 目錄下對(duì)應(yīng)的DoubleDQN、DuelingDQN、PER_DQN、NoisyDQN等 notebook 中直接獲取并在 CartPole 系列環(huán)境中驗(yàn)證配套的章節(jié)關(guān)鍵詞與習(xí)題含面試題見(jiàn) 第7章問(wèn)答文檔可進(jìn)一步自測(cè)對(duì)每個(gè)技巧原理的掌握程度。贊分享教程機(jī)器學(xué)習(xí)深度學(xué)習(xí)【免費(fèi)下載鏈接】easy-rl強(qiáng)化學(xué)習(xí)中文教程蘑菇書(shū)在線閱讀地址https://datawhalechina.github.io/easy-rl/項(xiàng)目地址https://gitcode.com/gh_mirrors/ea/easy-rl點(diǎn)擊查看免費(fèi)下載相關(guān)推薦easy-rl 蘑菇書(shū)第七章深度Q網(wǎng)絡(luò)進(jìn)階技巧全解——Double DQN、Dueling DQN、PER、噪聲網(wǎng)絡(luò)與彩虹easy rl 蘑菇書(shū)第七章深度Q網(wǎng)絡(luò)進(jìn)階技巧全解——Double DQN、Dueling DQN、PER、噪聲網(wǎng)絡(luò)與彩虹 本文以蘑菇書(shū)easy rl 第教程機(jī)器學(xué)習(xí)深度學(xué)習(xí)Easy-RL深度Q網(wǎng)絡(luò)DQN及其進(jìn)階技巧全解析Easy RL深度Q網(wǎng)絡(luò)DQN及其進(jìn)階技巧全解析 本文全面解析了深度Q網(wǎng)絡(luò)DQN及其核心改進(jìn)技術(shù)。DQN通過(guò)結(jié)合深度學(xué)習(xí)與Q學(xué)習(xí)解決了高維狀態(tài)空間下的價(jià)人工智能強(qiáng)化學(xué)習(xí)深度學(xué)習(xí)教程Easy-RL項(xiàng)目深度Q網(wǎng)絡(luò)進(jìn)階技巧詳解Easy RL項(xiàng)目深度Q網(wǎng)絡(luò)進(jìn)階技巧詳解 深度Q網(wǎng)絡(luò) DQN 作為強(qiáng)化學(xué)習(xí)中的重要算法在實(shí)際應(yīng)用中存在多種改進(jìn)方法。本文將系統(tǒng)介紹Easy RL項(xiàng)目中提出的7教程機(jī)器學(xué)習(xí)深度學(xué)習(xí)上一篇Factorio藍(lán)圖可視化工具打造你的工廠藝術(shù)下一篇從0到1掌握ahk2_lib解放Windows自動(dòng)化潛能的全棧工具庫(kù)創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考