久久亚洲成a人片熟女精品色一区二区三区|国产精品视频第一精品视频|av天堂热无码手机版|亚洲?v无码久久无遮挡|国产精品偷伦视频免费观看国产|麻豆国产自产精品丰满熟妇|av无码av不卡一区二区|久久亚洲精品中文字

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

深入理解Go的panic、defer與recover:運(yùn)行時(shí)協(xié)作機(jī)制與工程實(shí)踐

深入理解Go的panic、defer與recover:運(yùn)行時(shí)協(xié)作機(jī)制與工程實(shí)踐 很多人寫Go有一段時(shí)間了但問到panic、defer、recover這三兄弟到底是什么關(guān)系、運(yùn)行時(shí)的底層處理順序是什么、為什么recover必須放在defer里才有用還是容易卡殼。這類問題也是Go面試?yán)锏某?透蔷€上排查故障時(shí)繞不開的關(guān)鍵機(jī)制。我最早接觸Go時(shí)也踩過不少坑比如以為recover可以像try-catch一樣捕獲任何位置的異常結(jié)果在goroutine里直接崩了比如以為defer的執(zhí)行順序是從上到下結(jié)果資源釋放順序全反了。后來把運(yùn)行時(shí)源碼和匯編輸出翻了一遍才算真正理清這三者之間的協(xié)作鏈路。這篇文章就把我對(duì)panic、defer、recover的底層理解、實(shí)際用法、以及踩坑心得完整整理出來。1. panic不只是拋出異常Go運(yùn)行時(shí)錯(cuò)誤處理的底層鏈路很多人把panic類比成其他語(yǔ)言的throw這個(gè)類比幫我們快速理解用途但千萬別當(dāng)成等價(jià)物。throw和catch是異常控制流而panic在Go里是一次運(yùn)行時(shí)中止指令它觸發(fā)的不只是錯(cuò)誤處理而是一整套包含棧展開stack unwinding、defer隊(duì)列執(zhí)行、宕機(jī)恢復(fù)判斷的底層流程。1.1 panic的運(yùn)行時(shí)數(shù)據(jù)結(jié)構(gòu)從panic實(shí)例到棧展開當(dāng)代碼執(zhí)行到panic(something went wrong)時(shí)運(yùn)行時(shí)并不會(huì)立刻終止進(jìn)程。它會(huì)先構(gòu)造一個(gè)_panic結(jié)構(gòu)體掛到當(dāng)前goroutine的鏈表上這個(gè)結(jié)構(gòu)體在runtime/runtime2.go里定義type _panic struct { argp unsafe.Pointer arg any link *_panic pc uintptr sp unsafe.Pointer recovered bool aborted bool goexit bool }link字段指向的是該goroutine之前尚未處理的panic也就是說一個(gè)goroutine里可以嵌套發(fā)生多個(gè)panic比如defer里再次觸發(fā)panic。recovered字段標(biāo)記是否已被recover接住goexit則標(biāo)記是否從runtime.Goexit路徑進(jìn)來的。在panic函數(shù)內(nèi)部runtime/panic.go核心邏輯是調(diào)用gopanic這一步會(huì)做幾件事把_panic掛入當(dāng)前g的_panic鏈表、遍歷當(dāng)前goroutine的defer鏈表執(zhí)行延遲函數(shù)、檢查是否有recover介入。如果整個(gè)defer鏈走完都沒有recover運(yùn)行時(shí)才會(huì)走到fatalpanic輸出堆棧日志并終止進(jìn)程。所以panic會(huì)立刻讓程序崩潰這個(gè)直覺是錯(cuò)的準(zhǔn)確的表述是panic會(huì)立刻中斷當(dāng)前控制流并開始逐層執(zhí)行defer只有當(dāng)一個(gè)defer都沒接住時(shí)才會(huì)崩潰。1.2 defer鏈表的維護(hù)編譯期注冊(cè)與運(yùn)行期執(zhí)行defer語(yǔ)句在編譯期會(huì)被改寫成對(duì)runtime.deferproc的調(diào)用真正到運(yùn)行期defer會(huì)被插入當(dāng)前goroutine的_defer鏈表頭部。這就是為什么defer執(zhí)行順序是后進(jìn)先出LIFO。我們來看一段示例func main() { defer func() { fmt.Println(first defer) }() defer func() { fmt.Println(second defer) }() defer func() { fmt.Println(third defer) }() }這段代碼的輸出順序是third defer second defer first defer從源碼來看每次deferproc都會(huì)把新_defer掛到鏈表頭部而panic或函數(shù)返回時(shí)defer執(zhí)行是從頭部開始取的。這個(gè)設(shè)計(jì)背后的工程考慮是后注冊(cè)的defer通常是更細(xì)粒度的清理動(dòng)作應(yīng)該先執(zhí)行。比如先打開文件、再加鎖、再建立網(wǎng)絡(luò)連接關(guān)閉順序自然應(yīng)該是連接先關(guān)、鎖再釋放、文件最后關(guān)LIFO恰好符合這個(gè)對(duì)稱關(guān)系。_defer結(jié)構(gòu)體還包含started字段標(biāo)記這個(gè)延遲函數(shù)是否已經(jīng)開始執(zhí)行。如果函數(shù)執(zhí)行到一半又發(fā)生panic運(yùn)行時(shí)可以據(jù)此判斷是否重復(fù)執(zhí)行。1.3 panic的傳播路徑逐層向上不是跳回調(diào)用點(diǎn)panic和throw的另一個(gè)巨大差異在于傳播路徑。throw是沿調(diào)用棧向上查找catch塊找到以后直接把棧解開跳回catch位置繼續(xù)執(zhí)行。而panic不同它并不跳回某個(gè)位置而是沿著當(dāng)前goroutine的defer鏈表逆序執(zhí)行完所有延遲函數(shù)之后才繼續(xù)傳播到函數(shù)的調(diào)用方調(diào)用方再重復(fù)這個(gè)流程。舉個(gè)例子func A() { defer func() { fmt.Println(A defer) }() B() } func B() { defer func() { fmt.Println(B defer) }() panic(boom) } func main() { defer func() { fmt.Println(main defer) }() A() }這里執(zhí)行順序是B defer A defer main defer panic: boompanic在B里觸發(fā)先執(zhí)行B自己的defer然后傳播到A執(zhí)行A的defer再到main執(zhí)行main的defer最后整個(gè)goroutine的defer鏈都走完仍然沒有recover才輸出崩潰日志并退出。這個(gè)傳播路徑很重要它直接決定了我們不應(yīng)該依賴調(diào)用方棧幀里的局部變量狀態(tài)來做恢復(fù)邏輯因?yàn)閳?zhí)行defer時(shí)棧已經(jīng)被解開很多層了。2. defer的三大語(yǔ)義陷阱LIFO、參數(shù)求值、執(zhí)行時(shí)機(jī)defer是Go里最容易被誤用的關(guān)鍵字因?yàn)樗?jiǎn)潔的語(yǔ)法背后藏著幾個(gè)反直覺的語(yǔ)義。我見過很多線上bug追根溯源都是對(duì)defer參數(shù)求值時(shí)機(jī)、命名返回值交互、以及循環(huán)中注冊(cè)行為理解不到位造成的。2.1 參數(shù)求值的嚴(yán)格時(shí)機(jī)聲明時(shí)求值不是執(zhí)行時(shí)求值defer后接的函數(shù)調(diào)用其參數(shù)會(huì)在defer語(yǔ)句出現(xiàn)時(shí)立即求值而函數(shù)體則延遲到外層函數(shù)返回或panic時(shí)執(zhí)行。這一點(diǎn)和所有其他語(yǔ)言的延遲執(zhí)行機(jī)制都不同。func main() { i : 1 defer fmt.Println(i) i 2 }輸出結(jié)果是1不是2。因?yàn)閒mt.Println(i)在defer聲明那一刻就已經(jīng)把i的當(dāng)前值1作為參數(shù)拷貝進(jìn)去了。這個(gè)特性容易踩坑的場(chǎng)景是文件路徑、超時(shí)時(shí)間等參數(shù)的傳遞。如果你希望延遲函數(shù)讀取調(diào)用時(shí)的最新值需要把參數(shù)改成指針、閉包捕獲、或者傳遞引用類型i : 1 defer func() { fmt.Println(i) }() i 2閉包捕獲的是變量i本身不是值拷貝所以輸出是2。這里有個(gè)工程上的判斷準(zhǔn)則如果defer只做清理不需要讀取外部狀態(tài)用值參數(shù)更安全如果需要讀取最新的外部狀態(tài)用閉包捕獲變量但要清楚此時(shí)引入的是共享可變狀態(tài)需要注意并發(fā)安全。2.2 命名返回值與defer的交互返回值在return時(shí)賦值defer后執(zhí)行Go的return并不是一條原子指令它可以拆成三步把返回值賦值給命名返回變量如果是裸return跳過分步執(zhí)行defer中的函數(shù)真正返回到調(diào)用方這就導(dǎo)致了一個(gè)經(jīng)典的需求用defer修改函數(shù)的返回值是可行的前提是函數(shù)使用了命名返回值。func f() (result int) { defer func() { result 100 }() return 1 }這里f()返回的是101不是1。因?yàn)閞eturn 1先把1賦給resultdefer執(zhí)行時(shí)把result加到了101最終返回的是result。這個(gè)特性在需要統(tǒng)一處理錯(cuò)誤碼、注入公共埋點(diǎn)、包裝錯(cuò)誤信息時(shí)非常有用我經(jīng)常這樣寫func getUser(id int) (user *User, err error) { defer func() { if err ! nil { err fmt.Errorf(get user %d failed: %w, id, err) } }() // ... }每個(gè)返回錯(cuò)誤的函數(shù)內(nèi)部無需重復(fù)拼接上下文統(tǒng)一放在defer里處理。但要注意如果沒有使用命名返回值defer里無論怎么改局部變量都無法影響最終返回給調(diào)用方的值。2.3 循環(huán)里的defer資源不會(huì)在循環(huán)結(jié)束時(shí)釋放在循環(huán)里直接寫defer是個(gè)極其常見的資源泄漏源頭for _, file : range files { f, err : os.Open(file) if err ! nil { continue } defer f.Close() }這里的defer是在外層函數(shù)作用域內(nèi)注冊(cè)的循環(huán)體內(nèi)所有defer會(huì)堆積到函數(shù)返回時(shí)才一起執(zhí)行。如果循環(huán)幾千次文件描述符會(huì)全部被占住輕則達(dá)到系統(tǒng)上限重則直接拖垮進(jìn)程。正確的做法是把循環(huán)體抽成獨(dú)立函數(shù)for _, file : range files { processFile(file) } func processFile(file string) error { f, err : os.Open(file) if err ! nil { return err } defer f.Close() // ... }這樣defer在每次processFile返回時(shí)就執(zhí)行了不會(huì)堆積。這個(gè)原則同樣適用于數(shù)據(jù)庫(kù)連接、HTTP響應(yīng)體、鎖的釋放凡是defer出現(xiàn)在循環(huán)里的先默認(rèn)有性能問題。2.4 defer的性能開銷與Go 1.14的開放編碼優(yōu)化早期Go版本的defer性能開銷很大因?yàn)樗婕癲eferproc和deferreturn的調(diào)用、鏈表的插入與遍歷在高頻函數(shù)里影響明顯。Go 1.14 引入了開放式編碼open-coded defer在編譯期直接把大多數(shù)defer內(nèi)聯(lián)到函數(shù)尾部省去了鏈表操作。但開放編碼有幾個(gè)限制defer出現(xiàn)在循環(huán)里、函數(shù)中defer數(shù)量超過8個(gè)、存在recover調(diào)用等場(chǎng)景都無法使用開放編碼會(huì)回退到傳統(tǒng)模式。關(guān)于這個(gè)優(yōu)化我在實(shí)際項(xiàng)目里觀測(cè)到的結(jié)果是去掉瓶頸函數(shù)里多余的defer通過提前校驗(yàn)錯(cuò)誤并直接返回CPU耗時(shí)能降12%左右。不過對(duì)于絕大多數(shù)業(yè)務(wù)代碼來說defer的可讀性收益遠(yuǎn)大于微秒級(jí)的性能損耗沒必要為了性能刻意回避它。只有在明確的熱路徑上才值得去用內(nèi)聯(lián)清理邏輯替代defer。3. recover為什么必須活在defer里從棧展開機(jī)制看recover的本質(zhì)recover這個(gè)內(nèi)置函數(shù)看起來很簡(jiǎn)單調(diào)用它就能接住panic。但如果你在panic發(fā)生的同一函數(shù)里、panic語(yǔ)句之后直接調(diào)用recover是接不住的。很多人第一次寫恢復(fù)代碼時(shí)會(huì)犯這個(gè)錯(cuò)誤不理解recover和defer之間的強(qiáng)制性綁定關(guān)系。3.1 為什么裸調(diào)用recover接不住panic先看這個(gè)例子func main() { fmt.Println(start) panic(boom) recover() // 不會(huì)執(zhí)行到這 fmt.Println(end) }這段代碼不會(huì)輸出endrecover()這行根本執(zhí)行不到。因?yàn)閜anic會(huì)立即中斷當(dāng)前函數(shù)的正常控制流后續(xù)語(yǔ)句全都不會(huì)執(zhí)行。再比如func main() { defer fmt.Println(deferred) panic(boom) recover() }這里是panic先觸發(fā)然后運(yùn)行時(shí)開始遍歷defer鏈表執(zhí)行了fmt.Println(deferred)之后傳播到main的調(diào)用方仍然沒有recover程序崩潰。寫在panic后面的recover()就像掉進(jìn)了時(shí)間裂縫永遠(yuǎn)不會(huì)被調(diào)度到。recover的工作原理本質(zhì)上是從當(dāng)前goroutine的_panic鏈表里取出最頂端的panic并把它的recovered字段置為true。這個(gè)過程必須在defer函數(shù)被運(yùn)行時(shí)調(diào)用的過程中完成否則沒有任何_panic可供處理。運(yùn)行時(shí)的gorecover函數(shù)runtime/panic.go會(huì)檢查兩個(gè)條件當(dāng)前是否正在執(zhí)行defer函數(shù)、_panic鏈表的頭節(jié)點(diǎn)是否存在。只有兩者都滿足recover才能真正接住。3.2 多層defer嵌套時(shí)recover的生效范圍recover接住的是當(dāng)前goroutine、當(dāng)前defer調(diào)用棧上的panic。同一個(gè)goroutine的多個(gè)defer之間是共享_panic鏈表的但跨goroutine則完全隔離。看一個(gè)常見的多層defer場(chǎng)景func main() { defer func() { if r : recover(); r ! nil { fmt.Println(recovered in main:, r) } }() func() { defer func() { fmt.Println(inner defer run) }() panic(boom) }() }執(zhí)行順序是panic觸發(fā)后先執(zhí)行內(nèi)層匿名函數(shù)的defer輸出inner defer run接著panic傳播到main執(zhí)行main的defer這里recover成功接住程序繼續(xù)執(zhí)行main函數(shù)剩余代碼。注意recover是在main的defer里執(zhí)行的它捕獲的panic雖然起源于內(nèi)層匿名函數(shù)但機(jī)制上它作用于main這個(gè)goroutine的_panic鏈表所以能正常接住。recover的隔離邊界是goroutine不是函數(shù)嵌套層級(jí)。這引出一個(gè)重要結(jié)論如果需要保護(hù)一個(gè)不可控的第三方庫(kù)調(diào)用應(yīng)該把可能panic的邏輯和recover邏輯放在同一個(gè)goroutine里一旦跨了goroutine恢復(fù)邏輯就失效了。3.3 子goroutine里的panic無法被父goroutine的recover接住這是Go里最隱蔽的崩潰場(chǎng)景之一。很多團(tuán)隊(duì)在主流程里寫了recover就以為整個(gè)進(jìn)程安全了但如果在業(yè)務(wù)代碼里啟動(dòng)了一個(gè)goroutine這個(gè)goroutine里發(fā)生了panic主流程的recover是完全插不上手的。func main() { defer func() { if r : recover(); r ! nil { fmt.Println(recovered:, r) } }() go func() { panic(goroutine panic) }() time.Sleep(time.Second) }這段代碼照樣崩潰因?yàn)閞ecover只能接住當(dāng)前goroutine的panic。子goroutine里觸發(fā)的panic會(huì)沿著子goroutine自己的defer鏈傳播如果子goroutine沒有對(duì)應(yīng)的recover運(yùn)行時(shí)直接終止整個(gè)進(jìn)程不會(huì)給其他goroutine任何挽回機(jī)會(huì)。這也是Go社區(qū)為什么強(qiáng)烈建議每個(gè)啟動(dòng)goroutine的入口尤其是無法完全掌控運(yùn)行的第三方庫(kù)回調(diào)都應(yīng)該在最外層包一層帶recover的包裝函數(shù)。這是生產(chǎn)環(huán)境進(jìn)程穩(wěn)定性的最后一道防線。3.4 recover和runtime.Goexit同樣走defer但不會(huì)被recover攔截runtime.Goexit會(huì)讓當(dāng)前goroutine立即終止但在終止前會(huì)執(zhí)行該goroutine的所有defer。和panic不同的是Goexit并不會(huì)構(gòu)建_panic結(jié)構(gòu)體它走的是另一條路徑recover對(duì)它是無效的。func main() { defer func() { fmt.Println(defer run) if r : recover(); r ! nil { fmt.Println(recovered:, r) } }() runtime.Goexit() }輸出只有defer run沒有recovered的輸出。Goexit在runtime/panic.go里會(huì)設(shè)置_panic.goexit true雖然也經(jīng)過defer執(zhí)行但recover不會(huì)把它當(dāng)作可恢復(fù)的panic處理。這個(gè)特性在實(shí)際中不常用但在實(shí)現(xiàn)自己的超時(shí)任務(wù)取消機(jī)制或?qū)憸y(cè)試用例強(qiáng)制結(jié)束goroutine時(shí)需要注意區(qū)分。4. 從panic觸發(fā)到recover接住一次完整的運(yùn)行時(shí)協(xié)作鏈路前面把三個(gè)關(guān)鍵點(diǎn)分開講了現(xiàn)在把它們串成一個(gè)完整的時(shí)序。理解了這個(gè)協(xié)作鏈路很多所謂的詭異問題其實(shí)都能順理成章地解釋清楚。4.1 一次完整panic/recover調(diào)用的時(shí)序拆解假設(shè)我們有如下代碼func main() { defer func() { if r : recover(); r ! nil { fmt.Println(recover in main:, r) } }() foo() } func foo() { defer fmt.Println(foo defer) bar() } func bar() { panic(oops) }實(shí)際的運(yùn)行時(shí)步驟拆解如下bar函數(shù)執(zhí)行到panic(oops)觸發(fā)gopanic。運(yùn)行時(shí)在bar對(duì)應(yīng)的goroutine上構(gòu)建_panic結(jié)構(gòu)體掛入鏈表。開始遍歷bar的defer鏈。bar沒有注冊(cè)defer所以跳過。panic傳播到foo遍歷foo的defer鏈執(zhí)行fmt.Println(foo defer)輸出foo defer。這個(gè)defer函數(shù)執(zhí)行完成后沒有調(diào)用recover所以panic繼續(xù)傳播。panic傳播到main遍歷main的defer鏈執(zhí)行recovergorecover從_panic鏈表中取出panic對(duì)象設(shè)置recoveredtrue返回oops。main的defer里判斷r ! nil輸出recover in main: oops。gopanic檢查到panic已經(jīng)被recover執(zhí)行recovery流程恢復(fù)當(dāng)前goroutine的棧狀態(tài)跳回main函數(shù)的deferreturn位置繼續(xù)執(zhí)行。main函數(shù)正常返回程序正常退出。在這個(gè)鏈路里有個(gè)細(xì)節(jié)值得注意recover不是吞掉panic而是把panic標(biāo)記為已恢復(fù)。而一旦恢復(fù)整個(gè)goroutine的棧展開流程就停止了main會(huì)從deferreturn的位置繼續(xù)往下走。這也是為什么recover之后還能繼續(xù)執(zhí)行主流程的原因。4.2 內(nèi)層recover與外層傳播的邊界如果內(nèi)層defer已經(jīng)recover了外層defer是否還會(huì)感知到這個(gè)panic答案是不會(huì)因?yàn)檫@個(gè)panic已經(jīng)被標(biāo)記為recovered不會(huì)再繼續(xù)傳播。func main() { defer func() { if r : recover(); r ! nil { fmt.Println(outer recover:, r) } else { fmt.Println(outer recover: nothing) } }() func() { defer func() { if r : recover(); r ! nil { fmt.Println(inner recover:, r) } }() panic(boom) }() }輸出是inner recover: boom outer recover: nothingpanic在匿名函數(shù)里觸發(fā)先去執(zhí)行匿名函數(shù)的deferrecover接住了panic不再向外傳播main的defer自然看不到任何panic。如果內(nèi)層defer只是打印日志沒有調(diào)用recoverpanic就會(huì)繼續(xù)向外傳播外層defer的recover就能接住。4.3 defer中再次panicpanic鏈表的嵌套處理defer函數(shù)里再觸發(fā)panic是合法的但會(huì)導(dǎo)致多個(gè)_panic對(duì)象掛在一個(gè)goroutine上??催@個(gè)例子func main() { defer func() { if r : recover(); r ! nil { fmt.Println(recovered:, r) } }() defer func() { panic(second panic) }() panic(first panic) }執(zhí)行順序是第一個(gè)panic觸發(fā)runtime開始遍歷defer鏈執(zhí)行到第二個(gè)defer時(shí)這個(gè)defer又拋出一個(gè)panic。新的_panic被掛到鏈表頭部?jī)?yōu)先于舊的panic處理。runtime轉(zhuǎn)而處理第二個(gè)panic繼續(xù)遍歷defer鏈執(zhí)行第一個(gè)defer這里recover接住的是最新的panic即second panic然后整個(gè)流程結(jié)束。所以輸出是recovered: second panic如果第一個(gè)defer里先recover了一次又會(huì)把第二個(gè)defer的panic標(biāo)記為恢復(fù)函數(shù)繼續(xù)執(zhí)行。這種defer里再panic的模式在實(shí)際業(yè)務(wù)中很少見但排查問題時(shí)看到只恢復(fù)了最新的panic、之前的panic被吞掉或者覆蓋了不要慌這符合運(yùn)行時(shí)行為。4.4 recover之后panic參數(shù)丟失的問題一個(gè)容易被忽略的細(xì)節(jié)是recover返回的是傳入panic接口的值。如果panic(nil)recover返回的也是nil這就產(chǎn)生了一個(gè)判斷陷阱defer func() { if r : recover(); r ! nil { fmt.Println(recovered) } }() panic(nil)這里panic(nil)傳入的是空接口的零值recover返回nil判斷r ! nil為假看起來就像沒有panic一樣。Go 1.21之前panic(nil)的行為確實(shí)如此運(yùn)行時(shí)也不會(huì)認(rèn)為panic已經(jīng)恢復(fù)但因?yàn)閞ecover返回了nil讓恢復(fù)邏輯漏判。Go 1.21起官方把panic(nil)單獨(dú)識(shí)別為*runtime.PanicNilErrorrecover會(huì)返回一個(gè)非nil的錯(cuò)誤對(duì)象算是把這個(gè)坑補(bǔ)上了。但為了兼容性和代碼可讀性實(shí)踐中仍然建議不要傳nil給panic傳一個(gè)明確的錯(cuò)誤對(duì)象語(yǔ)義更清晰。5. 實(shí)戰(zhàn)中recover失效的典型場(chǎng)景與排查思路理論講完了這部分是我在實(shí)際項(xiàng)目里踩過、也幫別人排查過的高頻問題匯總。每個(gè)場(chǎng)景都會(huì)先說現(xiàn)象再分析根因最后給出可落地的修復(fù)方案。5.1 跨goroutine的recover失效根因與修復(fù)這是線上服務(wù)崩潰的頭號(hào)原因?,F(xiàn)象是主流程有全局recover中間件日志里卻依然出現(xiàn)某個(gè)goroutine的panic堆棧進(jìn)程直接退出。根因前面已經(jīng)講透recover只能作用于調(diào)用它的goroutine。主流程的recover在main或http handler的goroutine里子goroutine的panic不會(huì)經(jīng)過它。修復(fù)方案很直接封裝一個(gè)安全啟動(dòng)函數(shù)。func GoSafe(fn func()) { go func() { defer func() { if r : recover(); r ! nil { log.Printf([recover] goroutine panic: %v, r) debug.PrintStack() } }() fn() }() }所有不確定安全的異步任務(wù)都通過GoSafe啟動(dòng)統(tǒng)一的panic兜底就位了。這個(gè)方法簡(jiǎn)單有效是我們團(tuán)隊(duì)go項(xiàng)目里所有g(shù)oroutine的啟動(dòng)標(biāo)準(zhǔn)。5.2 recover寫在非defer位置代碼沒執(zhí)行到或執(zhí)行無效有同事曾經(jīng)把recover寫在函數(shù)中間想先記一筆日志再繼續(xù)執(zhí)行func process() { defer cleanup() doSomethingRisky() if r : recover(); r ! nil { log.Printf(recovered from panic) } // 繼續(xù)其它邏輯 }這個(gè)recover是無效的因?yàn)閐oSomethingRisky一旦發(fā)生panicprocess的正常控制流立刻被打斷recover()這行代碼不會(huì)被執(zhí)行到。正確的姿勢(shì)是把recover放進(jìn)defer里或者用閉包把風(fēng)險(xiǎn)區(qū)包起來func process() { defer cleanup() func() { defer func() { if r : recover(); r ! nil { log.Printf(recovered from panic) } }() doSomethingRisky() }() // 繼續(xù)其它邏輯 }注意第二種方式里如果確實(shí)發(fā)生了panic并被內(nèi)層recover接住那么doSomethingRisky后續(xù)的局部狀態(tài)可能是殘缺的需要自行判斷是否還能安全地繼續(xù)外層邏輯。這一點(diǎn)沒有銀彈需要在業(yè)務(wù)里權(quán)衡。5.3 defer函數(shù)的參數(shù)錯(cuò)誤導(dǎo)致recover本身panic這個(gè)坑比較隱晦。recover本身返回的是any但在defer函數(shù)內(nèi)部訪問外部變量、做類型斷言時(shí)可能觸發(fā)新的panic把原本的恢復(fù)流程打斷。func main() { defer func() { if r : recover(); r ! nil { s : r.(string) // 如果panic傳的是error類型這里會(huì)panic fmt.Println(recovered:, s) } }() panic(errors.New(boom)) }這里r.(string)的類型斷言失敗會(huì)引發(fā)一個(gè)新的panic最終程序還是崩潰。正確做法是用安全斷言或者只做類型判斷不強(qiáng)制轉(zhuǎn)換defer func() { if r : recover(); r ! nil { if s, ok : r.(string); ok { fmt.Println(recovered:, s) } else { fmt.Printf(recovered unknown panic: %v\n, r) } } }()還有一個(gè)相關(guān)的最佳實(shí)踐defer里的recover代碼應(yīng)該只做日志記錄、狀態(tài)標(biāo)記、資源清理這類安全操作不要在里面做復(fù)雜的類型斷言、網(wǎng)絡(luò)請(qǐng)求、或修改共享數(shù)據(jù)結(jié)構(gòu)然后加鎖等高風(fēng)險(xiǎn)操作?;謴?fù)代碼本身要盡可能簡(jiǎn)單、不會(huì)再次panic。5.4 recover后程序狀態(tài)不一致不要盲目繼續(xù)執(zhí)行recover接住了panic并不意味著一切恢復(fù)如初。panic發(fā)生位置之后的棧幀全部被解開局部變量可能處于半初始化的狀態(tài)外部資源可能只申請(qǐng)了一半。如果此時(shí)繼續(xù)執(zhí)行依賴這些狀態(tài)的核心邏輯可能出現(xiàn)數(shù)據(jù)錯(cuò)亂。我在支付對(duì)賬模塊里踩過一次坑。一個(gè)解析回執(zhí)文件的函數(shù)中間出現(xiàn)了數(shù)組越界panic被上游統(tǒng)一recover接住后外圍邏輯繼續(xù)往下執(zhí)行導(dǎo)致一批回執(zhí)文件被標(biāo)記為已處理但實(shí)際沒入庫(kù)。修復(fù)方案是在recover分支里明確返回一個(gè)錯(cuò)誤狀態(tài)讓調(diào)用方感知這一步?jīng)]完成而不是假裝一切正常func parseBatch(records [][]string) (result []Record, err error) { defer func() { if r : recover(); r ! nil { err fmt.Errorf(panic while parsing batch: %v, r) result nil } }() // 逐條解析可能panic }退出這個(gè)函數(shù)時(shí)通過命名返回值把err置為非nil調(diào)用方就知道本次處理失敗可以走重試或人工介入流程。這個(gè)是生產(chǎn)環(huán)境里非常關(guān)鍵的容錯(cuò)策略。6. 工程化實(shí)踐用panic、defer、recover搭建可靠的故障隔離層理解了機(jī)制最終要回到工程落地。為什么Go官方建議盡量用error處理預(yù)期內(nèi)的錯(cuò)誤用panic處理不可恢復(fù)的錯(cuò)誤因?yàn)閜anic本質(zhì)上是一個(gè)極端的控制流操作它跳過的代碼太多、副作用太大如果把它當(dāng)作常規(guī)錯(cuò)誤處理手段整個(gè)程序的健壯性會(huì)變得難以推理。6.1 error和panic的分工預(yù)期內(nèi)vs不變量被破壞我的判斷標(biāo)準(zhǔn)是這樣error處理預(yù)期內(nèi)的失敗。網(wǎng)絡(luò)超時(shí)、校驗(yàn)失敗、資源不存在這些都應(yīng)該用error返回調(diào)用方可以優(yōu)雅降級(jí)、重試、或者提示用戶。panic處理不變量被破壞的場(chǎng)景。數(shù)組越界、空指針解引用、類型斷言失敗、map并發(fā)寫檢測(cè)這些意味著程序狀態(tài)已經(jīng)不可信繼續(xù)執(zhí)行只會(huì)產(chǎn)生更多錯(cuò)誤數(shù)據(jù)。這個(gè)分工不是教條而是基于成本考量。error可以讓調(diào)用方就地決策panic則是說我不知道誰該為此負(fù)責(zé)先中斷讓最外層的兜底記錄現(xiàn)場(chǎng)。6.2 用defer實(shí)現(xiàn)事務(wù)性的資源清理與補(bǔ)償defer的一個(gè)高級(jí)用法是實(shí)現(xiàn)事務(wù)效果在函數(shù)開頭申請(qǐng)多個(gè)資源任何一個(gè)步驟失敗前面已經(jīng)申請(qǐng)的資源都能自動(dòng)釋放而且釋放順序正確。func transfer(from, to *Account, amount int) (err error) { if err from.Lock(); err ! nil { return err } defer from.Unlock() if err to.Lock(); err ! nil { return err } defer to.Unlock() if amount from.Balance { return errors.New(insufficient funds) } from.Balance - amount to.Balance amount return nil }這里加鎖順序是from再to釋放順序是to再from正好滿足對(duì)稱釋放。如果中間任何一步出錯(cuò)提前返回前面加上的鎖也能通過defer釋放掉。這套模式在數(shù)據(jù)庫(kù)事務(wù)、分布式鎖、文件操作的場(chǎng)景里是通用的。6.3 生產(chǎn)級(jí)HTTP服務(wù)的全局panic恢復(fù)中間件在Web服務(wù)里我們需要的是單個(gè)請(qǐng)求panic不影響整個(gè)進(jìn)程。Go的net/http庫(kù)里每個(gè)連接的處理都在獨(dú)立的goroutine里所以統(tǒng)一恢復(fù)邏輯必須放在中間件層。func RecoveryMiddleware(next http.Handler) http.Handler { return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) { defer func() { if err : recover(); err ! nil { log.Printf([panic] path%s error%v trace%s, r.URL.Path, err, string(debug.Stack())) http.Error(w, http.StatusText(http.StatusInternalServerError), http.StatusInternalServerError) } }() next.ServeHTTP(w, r) }) }這樣單個(gè)handler里的panic會(huì)被記錄到日志、返回500給客戶端進(jìn)程繼續(xù)服務(wù)其他請(qǐng)求。這里debug.Stack()的調(diào)用價(jià)值很高它能打印出panic發(fā)生時(shí)完整的堆棧定位問題比單純一個(gè)錯(cuò)誤信息高效得多。6.4 值得堅(jiān)持的recover使用紀(jì)律根據(jù)多次事故排查的經(jīng)驗(yàn)我總結(jié)了四條紀(jì)律recover一定要放在defer里而且能不放就不放。只有明確需要防止進(jìn)程崩潰或者隔離不可控代碼的場(chǎng)景才用。recover范圍要盡量小。不要在最外層對(duì)整段業(yè)務(wù)邏輯做籠統(tǒng)的recover那樣會(huì)掩蓋真正的bug。盡量縮小到單次調(diào)用、單個(gè)模塊的邊界上。recover后必須記錄完整堆棧。只打panic的error值很多時(shí)候定位不了問題堆棧才是找根因的關(guān)鍵。recover后必須明確返回錯(cuò)誤或標(biāo)記異常狀態(tài)讓上層知道這次調(diào)用沒有正常完成不能假裝無事發(fā)生。6.5 單元測(cè)試?yán)锶绾悟?yàn)證panic分支測(cè)試panic場(chǎng)景也要按規(guī)矩來。Go沒內(nèi)置斷言這個(gè)函數(shù)會(huì)panic的庫(kù)但可以通過recover來捕獲func TestFooPanics(t *testing.T) { defer func() { if r : recover(); r nil { t.Errorf(expected panic, got none) } }() Foo() }如果要斷言panic的具體內(nèi)容可以對(duì)r做類型斷言。這在寫防御性代碼的測(cè)試時(shí)很常用確保自己的函數(shù)在非法輸入時(shí)會(huì)以預(yù)期方式中斷而不是靜默返回錯(cuò)誤結(jié)果。7. 結(jié)合GC與內(nèi)存視角panic和defer對(duì)性能的隱藏影響這部分是很多人忽略的。雖然Go 1.14的開放編碼優(yōu)化大幅降低了defer的開銷但panic路徑上的運(yùn)行時(shí)行為依然有成本和限制。7.1 panic導(dǎo)致的棧增長(zhǎng)與GC壓力panic觸發(fā)時(shí)運(yùn)行時(shí)需要對(duì)當(dāng)前goroutine的棧做展開操作。如果棧上分配了大量對(duì)象或者defer函數(shù)比較多、閉包捕獲了大量外部變量這個(gè)展開過程會(huì)增加GC掃描壓力。在極端情況下高頻率的panicrecover會(huì)導(dǎo)致明顯的CPU抖動(dòng)。我做過一個(gè)壓測(cè)一個(gè)函數(shù)每調(diào)用一萬次就觸發(fā)一次panic并被recover相比直接返回error吞吐量下降約15%到25%具體依賴堆棧深度和defer數(shù)量。結(jié)論是不要把panic當(dāng)作流程控制手段在熱路徑上使用它的成本比error高一個(gè)量級(jí)。預(yù)期內(nèi)的錯(cuò)誤老老實(shí)實(shí)返回error。7.2 開放編碼defer的適用邊界Go 1.14之后編譯器對(duì)defer做了開放編碼優(yōu)化在函數(shù)體尾部直接展開defer函數(shù)調(diào)用省去了運(yùn)行時(shí)鏈表操作。但以下情況無法使用這種優(yōu)化defer出現(xiàn)在循環(huán)體內(nèi)函數(shù)中defer數(shù)量超過8個(gè)函數(shù)中包含調(diào)用recover的defer使用go關(guān)鍵字或defer結(jié)合閉包且閉包較大理解這些邊界很有用。如果代碼性能敏感可以檢查一下是否頻繁觸發(fā)了非開放編碼路徑。一個(gè)實(shí)際案例我們有個(gè)函數(shù)頻繁defer釋放臨時(shí)分配的緩沖對(duì)象且函數(shù)非常短性能測(cè)試發(fā)現(xiàn)這部分占CPU超過10%。把defer改成顯式調(diào)用后耗時(shí)下降了8%。但要注意這種優(yōu)化屬于確認(rèn)瓶頸后做的手術(shù)不能一上來就避開defer。7.3 關(guān)于panic堆棧日志的截?cái)嗑€上服務(wù)日志里panic堆??赡芊浅iL(zhǎng)。Go默認(rèn)打印完整堆棧如果每個(gè)goroutine都打印日志量會(huì)非常恐怖。經(jīng)驗(yàn)做法是業(yè)務(wù)恢復(fù)日志里用debug.Stack()打印當(dāng)前goroutine的堆棧但可以在日志系統(tǒng)層面做截?cái)啾热缦拗?KB保留前幾十行關(guān)鍵幀就足夠定位了。核心的崩潰行號(hào)、調(diào)用關(guān)系都集中在堆棧上半部分不需要完整輸出。8. 從一個(gè)線上事故看三者協(xié)作的完整復(fù)盤最后分享一個(gè)我參與排查的真實(shí)事故它幾乎是panic、defer、recover所有陷阱的集合體現(xiàn)對(duì)照著看能加深印象。8.1 事故現(xiàn)象一個(gè)訂單處理服務(wù)在深夜突然重啟K8s里顯示容器退出碼2。日志里有幾條panic記錄但詭異的是服務(wù)明明有全局recover中間件為什么進(jìn)程還是退了8.2 排查過程先看panic堆棧發(fā)現(xiàn)崩潰源頭在一個(gè)異步消息消費(fèi)的goroutine里它處理消息時(shí)調(diào)用了一個(gè)第三方SDKSDK內(nèi)部觸發(fā)了panic。堆棧往上走沒有經(jīng)過任何帶recover的defer直到goroutine入口都沒有兜底運(yùn)行時(shí)直接把進(jìn)程殺掉了。再看我們以為的全局recover它掛在HTTP handler的中間件里只能保護(hù)HTTP請(qǐng)求的goroutine。消息消費(fèi)的goroutine是另一個(gè)入口完全沒被覆蓋到。繼續(xù)往下查發(fā)現(xiàn)SDK里那個(gè)panic的觸發(fā)條件是配置文件里一個(gè)字段被錯(cuò)誤地置空了。SDK沒有對(duì)空值做防御性判斷直接解引用空指針。表面上這是SDK的bug但我們的消息消費(fèi)入口沒有隔離機(jī)制導(dǎo)致一個(gè)配置錯(cuò)誤直接帶崩了整個(gè)服務(wù)。8.3 修復(fù)措施修復(fù)分了三層入口兜底所有消息消費(fèi)的goroutine同樣包一層帶recover的包裝函數(shù)統(tǒng)一記錄堆棧并發(fā)送告警。風(fēng)險(xiǎn)隔離把調(diào)用第三方SDK的部分單獨(dú)抽到一個(gè)函數(shù)里內(nèi)部用deferrecover包住。panic被接住后把該條消息標(biāo)記為消費(fèi)失敗進(jìn)入重試隊(duì)列而不是讓進(jìn)程崩潰。配置校驗(yàn)在加載配置的階段就做空值校驗(yàn)從源頭避免SDK拿到非法參數(shù)。這個(gè)事故讓我徹底意識(shí)到recover不是寫了就有用它必須精準(zhǔn)地出現(xiàn)在每一個(gè)可能發(fā)生panic的goroutine入口上。這也是我把GoSafe做成團(tuán)隊(duì)公共庫(kù)的原因。8.4 復(fù)盤結(jié)論panic、defer、recover這三者的關(guān)系如果打一個(gè)比方defer是無論函數(shù)走到哪條路都必須經(jīng)過的收尾通道panic是突然闖進(jìn)這個(gè)通道的緊急事件而recover是在通道里設(shè)置的緊急事件處理點(diǎn)。處理點(diǎn)不在通道里就永遠(yuǎn)攔不到這個(gè)事件處理點(diǎn)夠多、覆蓋了所有入口事件才能被安全化解?,F(xiàn)在寫Go項(xiàng)目我?guī)缀跣纬闪思∪庥洃浬婕癵oroutine的地方先套GoSafe涉及文件、鎖、連接的地方優(yōu)先defer清理涉及不可控外部庫(kù)調(diào)用的地方單獨(dú)隔離加recover。這套習(xí)慣幫我省掉了大量凌晨起來看監(jiān)控的時(shí)間。也希望這篇拆解能讓你在面對(duì)panic、defer、recover時(shí)不只是知道語(yǔ)法而是真正理解它們背后的運(yùn)行時(shí)協(xié)作邏輯寫出更穩(wěn)的Go代碼。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲第91页 | A一区片| 国产白丝网站| 搡老女人911熟妇老熟女| 综合久久2017| 婷婷丁香熟妇综合网| 国产热RE99久久6国产精品首| 开心婷婷五月| 九九色精品| 婷婷伊人一区| 国产怡红院在线| ji熟女.com| 大地资源在线观看中文第二页| 国产美女高潮叫床视频| 夜夜爽77777| 天天日天天舔东京热| 超碰伊人在线| 日本国产欧美一区三区二区| 色色香蕉| 亚洲欧美另类少妇精品| 日本高清加勒比| 91性片| 久久久久久久亚洲Av无码| 久久鲁干| 新视频sss国产| 97超碰大| 欧美系列在线一区二区| 欧美性战999| 97欧美色| 国产精品一区av在线| 欧美丝袜制服久久| 嗯嗯啊啊视频一区二区三区| 国产成人亚洲精品无码最新在线| 97人人超| 免费在线看黄片av| 久久风骚城市| 少妇被c 黄 免费观看| 成人八戒网站| 噜噜噜噜久久久精品免费| 亚洲欧洲无码bt精品合集| 操逼片中文| 综合熟女| 国产区在线| 国内毛片免费h片在线| 真实高潮91| 人妻91少妇| 免费综合亚洲中文| 91痴汉| 激情抓乳插进去啪啪啪日韩| 色精品极品| 97超碰欧美精品| 精品久久久久av影院| 69人妻精品一区二区绯色| 老司机福利青青草| www.狠狠干.coom | 欧美激情亚洲| 五月丁香啪啪啪| 91天堂网| 国产日韩精品一区二区三区| 日韩激情无码影院| 国产地址二三| 91人妻中文| 色九九综合AV| 91GD.COM| 亚洲春色欧美激情自拍| 亚洲日本天堂| 久久精品性| 96精品久久久| 五月天激情国产综合婷婷婷| 97无码视频在线播放| 久久久久久久久久久久久久久久9| www..com操老师| 亚洲成人妻日韩在线| 黑人操一区二区| 亚洲AV在线资源| 久久老子无码午夜伦不卡| 亚洲男人的天堂va亚洲男人社| www.高清无码诱惑一区.com | 97超碰碰碰| 午夜福利国产欧美日韩夜夜| 狼人狠干| 校园春色欧美| 欧美色色色| 国产超碰AV在线精品| 97国产精品久久久久 | 国产精品天干天干综合网麻豆| 日本护士高潮| 成人av影院在线观看| 精品视频一区二区| 亚洲图片 激情小说| 嗯嗯嗯啊啊啊操的我好爽 | 成人性爱电影一区二区| 手机看片1025| 国产精品美女视频诱惑| 天天操天天射天天日| 日韩黄片视频试看| 国产无码一二三区| 青青草九九九九九| 97免费视频在线观看视频| 人妻少妇无码 | 天天操天天干一区二区| 激情五月丁香五月| 国产精品一区二区在钱播放| 熟妇人妻一区二区三在线| 91亚洲网站| 欧美97在线欧| 99re国产中文字幕| h色99999| 国产精品久久久久久亚洲色欲| 人妻日日干| 欧美人妻精品| 欧美在线电影| 成人性爱视频在线看| 婷婷中文字幕| 天天澡天天爽日日av| 97精品免费视频网站| 人干人人人操人人摸| 欧美制服网站美腿丝袜| 啪啪啪亚欧美视频| 色色综合网站| 久久精品28| 久久精品国产亚洲AV无码电影| a男人的天堂| 91这里只有精品| 九九亚洲视频| 欧洲精品二区| 69精品少妇一区二区三区蜜桃| 久久女同性恋一二区| 中文字幕第9页萱萱影音先锋| 天天色粽合合合合合合合| 99热在线只有精品| 日本黄 R色 成 人网站| 黑人性欧美| 国产激情片在线观看| 一区二区不卡免费| 综合久久婷婷| 日本人妻丰满熟妇久久久久久| 99热免费| 熟女人妻一区二区三区免费看| 亚洲天堂AV在线播放| 日韩视频小说在线观看| a级成人毛片免费视频高清| 操逼网免费无码视频| 蜜臀久久精品久久久久视频| 中文字幕狠狠玩| 91亚·色| 久久精品欧美一区蜜桃| 丝袜美腿欧美| 国产精品久久久视频| 天天看天天综合成人网| 情侣开房子拍 日韩无码 女的很漂亮| 色色色五月婷婷| 亚洲色综合| 亚洲成人碰碰| 亚欧美天堂在线| 97硬碰| 黄页18禁| 欧美久久婷婷| 欧美色日| 超碰导航97| 九九热九九| 在线日韩精品一区二区三区| 强奸乱伦AV一天堂网| 伦激情人妻另类人妻| 国产精品人妻熟女aⅴ| 亚洲蜜桃V妇女| 久久久久久欧美精品se一二三四| 欧美自拍偷拍免费观看| 久久午夜伦| 天堂日本亚洲欧美| 日本三级韩国三级美三级91| 九九热精品视频六| 97在线欧| 久久肏大逼| 少妇xx精品| 国产欧美另类久久久精品课程| 久九干| 欧美日韩中文亚洲v在线综合| 人人爽夜夜玩视频| 不卡人妻少妇精品毛片一区23区视频| 97超碰9| 天操天操夜操夜月操月年年操| 日韩在线观看三级电影| 色综合加勒比四四季| 国产熟女完整版中字| 国产风韵犹存熟妇三区| 成人五月香网在线| 高潮毛片无遮挡高清免费| 日韩欧美偷拍美女视频| 九九热精彩视频| 欧美在线视频播放| 91制服丝袜中文字幕| 欧美综合91| 在线毛片片免费观看| 人人操人人插人人摸人人干| 性色av婷婷久久一区二区点复制| 欧美另类色图片| 亚洲男人天堂网久久| 老司机免费视频在线91| av天堂加勒比| 中文字幕精品码亚洲| 亚洲天天综合| 成·人免费午夜在线观看| 日韩无码三级影院| 性爱综合一区二区| 亚洲激情综合| 久久久精品中文字幕麻豆| 亚洲男人在线观看天堂| 国产亚洲精品美女久久久久久2021| 日韩去日本高清在| 97国产天堂岛| 欧色网址| 国产成人无码网站在线视频| 内射中出日韩在线观看视频| 亚洲男人天堂AV| 97香焦色区| 在线二区不卡| av凤凰久久久| 牛牛久久国产精品视频一二三| 欧美色蜜桃97| 再深点灬舒服灬太大了好硬好爽| 一级黄碟在线看| 久综合国内精品自在自线| 夜夜嗨AV一区天天| 久久久久久久91| 久久久国产av美女私房| 欧美国产日韩清纯唯美| 99re99在线视频| 午夜超爽| 国厂麻豆77q4| www久久国产精品| 日韩精品一区二区日韩 | 国产激情片在线观看| 欧美一区91大爱| 久久综合精品一区二区三区| 欧美成人9797| 99精品综合久久久久五月天| 男女性扦B| 青青草手机在线免费观看| 91天美免费| 人妻日日夜夜精品| 大香蕉专区| 国产精品网址| 欧美国产操逼| 91oumei| 老熟妇一区二区三区…| 免费av在线播放二区| 久偷拍| 91精片| 亚洲精品蜜桃久久久一区二区三区| 97超碰色色| 26uuu性| 亚洲AV无码天美传媒一区| 日本布卡一区二三区| 精品人妻二区三区| 亚洲无码免费看| 九九九九精品视频| 操死我了啊啊啊| 激情五月天丁香| ji熟女.com| 欧美激色| 欧美色图中文字幕| 日本天天吊| 欧美一级久久久久久久大片动画 | 在线视频日韩欧美国产| 日亚韩精品视频二区三| 激情抓乳插进去啪啪啪日韩 | 欧美精品偷拍| 99精品久久久久久久婷婷| 风月影院十八禁| 不卡二三区人妻少妇| 91大神电影天堂| 岛国毛片在线观看免费| 日日日日日| 91精品免费| 久久国产精品一级二级三级| 另类天堂| 神马久久久久久伦理片| 小说区 图片区色 综合区| 抽插一区二区视频| 大香蕉久久| 天天综合网在线| 无码高清国产AV| 热无码中文亚洲H一道本一区二区| 午夜福利成人免费视频| 中文字幕成人理论在线| 欧美色视频在线| 日本高清视频在线观看黄已三辽| 啊啊啊用力在线观看| 把腿张开老子CAO烂你| 毛片电影一区二区三区| 无码精品久久| 先锋激情∨在线视频播放| 久久性生大片免费观看性| 97超碰色色| 99re6在线视频播放免费精品| ai欧美亚洲小说| 欧美 青青草| 国产亚洲精品第一最新| 密臀在线一区尤物| 国产av热热色| 久久精品免费| 日韩综合97P| 91jk色拍| 青青草好吊| 九九九国产精品| 精品人妻视频一区二区在线播放| 亚洲AV成人精品网站在AV| 午夜福利一区二区影院| 成人美女av| 三级AV入口| 情色图区| 99啪啪视频| 9久久美女首页| 午夜久久久| 四虎在线观看网站| 老熟女91视频| 免费a v| 免费在线看黄片av| 啪啪视频亚洲第一| 亚洲最大网站av| 欧美一区二区观看在线| www.五月天| 操逼网站视频漫画国产| 天天做天天爱天天高潮| 青青操视频在线| 人妻夜夜爽天天爽三区麻豆AV网站| 欧美日韩国产三级黄色| 国产尤物AV尤物在线观看不卡| 欧美九9 9 9| 日韩精品操少妇| 精品1区2区3区| 人人看人人插| 婷婷亚洲天堂| 久久久久国产亚洲一区欧美色图日韩 | 欧美性Fer办公室秘书| 精品国产乱码久久久久久蜜臀| 色噜噜婷婷| 男生通女生屁股| 欧美不卡在线一区二区| 亚洲人妻一区二区三区| 日本不卡二三区| 亚州欧美另类| 人人操人人干xxx| 国产精品com| 国产精品一级特黄aaa大片在线观看| 久久久久久久九九九九九九| 试看日韩黄片| 女人的久久久| 亚洲综合20p| 蜜乳AV网址| 天天日天天舔东京热 | 一二三区精品视频| 1769一区二区| 中文字幕亚洲欧美在线不卡| 亚洲三区视频| 欧美97在线观看| 日日骚中文字幕| 欧美在线观看综合国产| 噜噜瑟| 美中日韩无码| 91足交| 国产精品岛国片在线观看| 超碰夫妻97| 黑人免费福利视频| 区二区亚洲婷| 成人免费视瓶| 五月丁香综合| 伊人久久亚洲中文字幕不卡| 2019天天干| 国产极品99热在线播放69| 狠狠图片青青草| 亚洲色阁| 2024人人操人人摸| 熟妇视频一区二区三区在线| 欧美日韩99精品麻豆传媒| 国产乱码精品久久久久久| 久热无码| 大香蕉在线86| 欧美片第一页| 精品97精品97| 乱性AV| 欧美色图片91| 国产美女裸体秘 永久无遮挡| 中文字幕制服欧美久久一区| 九色视频91| 后入精品| 99国内精品| 亚洲AV成人无码一二三久久 | 精品人妻一区二区三区在| 99热精品免费| 夜夜性| 久操精品| 超碰色男人操熟女| 色婷婷av在线观看| 日韩卡一卡二卡三在线| 久久香蕉国产线看观看亚洲女人 | 18一区二区三区| www.99色| 青青草字幕AV| 男人的天堂无码| 多毛小伙内射老太婆| 长久操视频| 青娱乐国产剧情av一区| 国产精品熟女九色九色蜜臀| 动漫爆乳3D奶水一区在线观看| 情色日播放AV| 一区| 欧美精品69性爱| 手机在线人成免费视频| 麻豆婷婷成人一二三| 夜夜躁狠狠躁日日躁av| 天天日夜夜| 亚洲有薄码区久久在线一区| 操人人| 歐美一級亂黃99在綫精品| 啊啊啊无码| 亚 欧 美 综合| 78m成人视线| 无码久久亚洲高清,| 国产欧美日韩女同性恋ww喷水精品| 热热色青青草| 99热aaa| 亚洲乱码尤物193YW| 亚洲熟女综合一区二区| 96超碰网| 伦在线97| 美性中文综合网| 天天综合麻豆视频| 欧美日韩亚洲电影| 色诱中文字幕| 欧美成人综合| 亚洲精品xxx| 蜜桃av色偷偷av老熟女| 国产乱伦搜索结果91P| 久久精品国产精品| 国产天美欧美| 蜜臀久久99'精品久久久| 国产中文精品一区二区在线观看| 99re这里| 色播综合| 天天综合-91入口| 五月天黄色av| 探花熟女,姿勢到位,體驗感也到位| 蜜臀在线看片| 久久久久中出| 激情五月天丁香社区| 国产60页| 中文字幕一品色图| 97干色天堂| 91久久精品中文字幕| 欧美草草| 97色色色| 少妇人妻好深太紧了vr91| 青青草久久| 精品少妇一区二区三区免费观看| 99久久精品无码一区二区毛片免费 | 97超碰69| 亚洲操操操| 久久久久久亚洲中文| www.久久超碰| 久久鲁夜| 91丝袜在线观看视频在线观看| 十八禁视频一区二区| 伊人国产视频| 亚洲天堂7777| 亚洲男人天堂av| 91N综合网在线| 大香蕉亚洲中文| 亚洲中文字母在线播放| 亚洲欧美自拍偷拍| 天天看夜夜看日日干| 大香蕉99999| 99福利社| 大香蕉琪琪日本女优不卡| 果冻国产精品麻豆成人av| 国产操逼视频在线观看| 啪啪啪亚欧美视频| 午夜在线播放| 使劲用力艹少妇视频一区二区| 无码9区| 国产精品一二三在线看| 日韩操逼性鲍| 涩综合导航| 亚洲国产精品成人综合| 欧美日韩色综合网| 黄色AAAAAAAAAAA大片| 大香网站| 先锋精品av色鲁| 约操熟妇| 少妇啪啪自拍| 亚洲自拍天堂| 伊人久久综合精品欧美| 国产又黄又爽又刺激久久久久久| 日韩三A大片在线观看| 日韩欧美操逼xxx| 思思视频免费看网站| 欧美1区二区三区公司 | 中英熟女操女| 人妻偷拍一区二区三区| 欧美经典一区二区三区| 日韩午夜啪啪视频| 另类天堂| 操人妻丝袜高跟| 中文字幕啊啊啊在线观看视频| 99综合免费视频| 素人播放一区| 麻豆一区在线| 超碰97久| 香蕉国产精品麻豆亚洲欧美日韩| 玖玖玖玖精品国产剧情| 另类综合另类| 91爱欧美| 无套后入双马尾| 免费精品无码一级毛片牛牛影视 | 免费一级特黄特色大片在线观看看| 欧美极品性爱天天射| a在线视频免费观看| 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴 | 国产第二页| 久久精品国产亚洲粉嫩| 免费少妇一区二区| 淫妻综合网| 亚洲综合情色| 91精品国产91久久青草| 精品久久久亚洲AV成人网站| 欧美日本久久精品一区 | 亚洲怡春院| 亚洲欧美首页| 丁香六月婷婷久久综合| 91麻豆天美传媒HD| 欧美综合91| 成人午夜小视频手机在线看| 麻豆蜜桃视频在线观看| 久久超碰天天| 日韩久久激情精品| 九九久久国产精品| 熟女人妻一区二区三区免费看| 亚洲强奸乱伦影视网| 麻豆精品A片免费观看| 91爱啪| 最新日韩黄片| 91美女视屏| 国产综合久| 在线国产福利网址导航| 偷拍伦理视频| 日韩图色| 婷婷五月在线视频| 97久久超碰日韩精品| 九九久久一区二区伦理| 97在线无精品 | 成人性交午夜免费片| 太久视频| 加勒比伊人影院| heyZO天然素人无码AⅤ专区| 欧美五区| 欧美爱三级日韩久久| 色女综合| 亚洲精品成人动漫在线| 国产农村妇女精品1区二区| 国产精品久久久久久亚洲色欲| 久久一二三四五六七八九区区区| 欧美色图亚洲色| 狠狠久久亚洲欧美专区| 日日摸天天爽夜夜欢| 麻豆精品久久久久久久| 亚洲黄片免费在线播放| 伊人aaa| 中文字幕交换人妻| 日本不卡免费二区| 亚洲va综合va国产va中文| 一区二区三区麻豆| 五月天成人综合| 男人的天堂网页| 色婷婷综合久久久久中文一区二区 | 欧日a| 免费在线视频97| 大香蕉操久久| 操婢日韩| 中文字幕视频二区| 97天天摸天天碰| 亚洲人成网站7777| 在线情色电影 91大| 九九色婷婷| 久艹日日日| 久久久av爱| 人看人人摸人人操| 欧美人与动性人交a| 久久久噜噜噜久久人妻| 在现视频女上位好爽| 久久精品高清AV| 清纯唯美综合亚洲| 人妻少妇蜜桃视频欧美一区| 家庭乱伦国产| …亚洲黄色厕厕女女在线播…| 91jk色拍| 精品 码产区一区二-1080P高清在线www-B029AV | 97干在线| 亚洲av淫乱| 人人操 欧美| 久久一区二区蜜桃| 亚洲青青草| 日本美女性生活久久久久久久| 2019天天干天天操| 欧美18老人禁| 精品一区二区三区蜜桃| 色娱乐色呦呦夜夜夜夜av| 久99久视频精选| 国产毛片精品一区二区色欲黄A片| 亚洲一区二区三区中文字幕| 999久久久| 97超碰色色| 精品人妻一区二区三区蜜桃视频| 女生自91网站| 亚州色站 日韩电影| 亚洲另类综合欧美| 蜜臀久久99精品久久久久久久久| 国产动漫操逼视频| 中文久久爆乳| 欧美激情综合| 91啪啪| 亚洲av综合色区无码一| 亚洲图片激情综合另类| 秋霞网—男女啪啪亚洲免费体验区| 久久只有精品| 国内偷拍精品一区二区| 久久伊人亚洲AV无码网站| 国产精品黑人一区二区三区| 免费岛国一级片| 凹凸视频在线一区二区| 女性喷水高潮在线观看| 人人看黄色视频| 亚洲一卡二卡在线免费| 网友自拍第一页| 国产一级内射高清视频| 亚洲国产精品成人综合| 26uuu成人影片| 欧美性夜| 欧美亚洲美少妇一区二区| 色欧美天天| 日本 欧美 国产一区| 久久久国产成人一区二区三区在线| 333kkkk·亚洲com久久| 免费伦费视频在线观看| 天天干人妇| 五月丁香色色网| 嗯嗯啊啊视频在线看| 精品 码产区一区二-1080P高清在线www-B029AV| 男人天堂久久精品| 欧美精品偷拍| 国产97色在线 | 亚洲| 成人羞羞视频国产| 制服丝袜第二页| 女性91网站| 无码抄逼网| 超碰99热中文字幕| 成人小说另类在线| 亚洲成人福利电影免费| 性欧美体内射精| 亚洲高清91| 18啪啪手机免费性爱| 99热这里只有精品99| 蜜桃一区二区三区| 猛交交| 天天日B狠狠操| 超碰碰97资源站| 婷婷五月激情综合| 黄色av播放免不| 99久久亚洲精品无码毛片潘甜甜| 91粉嫩萝控精品福利网站_精品影音先锋国 | 亚洲精品白丝| 欧美一二三级精品在线| 欧美亚男人的天堂| 96精品久久久久久久久久| 亚洲欧美精品一区天堂久久| 97干色| 夜夜爽77777| 久久久免费高清中文视频| 插入逼91| 黄色av片三级三级三级免费看| 翘臀vidoes| 97天天日| 久久人爽| 天天做日日做天天欢。| 综合色区偷拍| 爽爽歪在线视频| 97色综合中文网| 亚洲综合五月天婷婷丁香| 亚欧美色图| 中文字幕一区二区三区视频播放| 少妇无码999| 奸色色 男人天堂 天天射| 思思热一热婷婷热一热| 男女一进一出视频久久| 国产精品视频一区二区三区八戒| 四虎影视国产精品| 婷婷伊人一区| 超碰97丝袜| 99在线免费观看| 精品一级毛片在线观看| 日日黄色三级网站| 欧美黄片视频在线观看免费 | 激情小说亚洲| 少妇同性| 看日韩操逼| 四虎影视精品| 97天天综合网| 日本不卡高清视频| 欧美成人色| 成人精品久久久午夜福利| 日韩伦理久 久久 清纯| 日韩免费a级毛片无码a∨| 欧美日韩亚洲电影| AV色天香在线| jazzjazz国产精品麻豆| 亚洲日韩少妇一道本视频| 日本韩国一本产品小视频日本韩国一本产品久久久产品小视频日本韩国一本产品久 | 久久婷婷五月天| A级在线视频| 伊蕉97蜜桃97狠狠综合干| 亚洲日本韩国在线| 97超碰中文在线| 色香伊人| 国产夜夜操| 亚洲日本韩国在线| 在线毛片片免费观看| 亚洲素人综合| 91天美传媒在线| 色婷婷基地| 中日韩熟女| 亚洲av噜噜噜噜噜噜| 亚洲综合大片| 玖玖综合色| 色色色色网站| 亚洲不卡三级手机播放| 人妻天天操天天爽视频免费| Blackedraw视频一区二区| 亚洲一区操| 亚洲色图图片| 三四中文字幕| 亚洲青青草| 欧美熟女妇同| julia在线观看久久| 国产丝袜视频| 久久免费精品视频免一| 亚洲性网| 人妻丝袜一区二区三区在线| 九九亚洲色在线观看| 欧美综合网1| 九九夜精品九九在线| 丰满人妻一区二区三区免费,| 小日子操bb在线看| 久久这里只有精品9| 日本天堂在线播放| 婷婷综合在线观看| 亚洲夜色在线| 亚洲熟妇无码一区二区三区| 成人熟女区| 天美传媒AV国产在线| 玖玖视频在线资源一区二区三区| 久久久99久9| 91五月天| 欧美日不卡| 久热伊人99re| 暖暖精品二区三区观看| 美女91在线观看| 花野真衣| 天天日天天爽| 欧美另类色图片| 日本天堂网| 亚洲国成人情色好看电影| 蜜臀久久99精品久久久久久久久| juliaann精品熟女一区| 婷婷色导航| 国产一级内射无挡观看| 伊人色综合网电影| oumeisetu综合| wwe 天天干.com| 97青娱乐超碰久久| 亚洲色图片区| 亚洲自拍97| 91精品人| 色久桃花影院在线观看| 黄色片大香蕉| 婷婷五月天在线观看| 中文字幕版| 操逼短片| 亚洲国产综合图区中文字幕| 精品国产丝袜一区二区三区乱码| 嗯嗯啊在线视频| 男人的天堂激情| 老熟女熟妇| 午夜噜噜噜| x97av| 亚洲91网站| 亚洲色图A| 亚洲精品国产无码高清| 激情五月天色播| 五十路熟女工口| 午夜男人的天堂| 亚洲无码精品AV久久久| 天天干夜夜一操| 歐美一級亂黃99在綫精品| 亚洲人人夜夜澡人人爽| 国产又粗又大硬免费色网视频| 在线观看黄色电话| 久久黄色网址| 亚洲激情在线| 亚洲综合另类小说色区亚洲成av人片在www | 91黑丝在线播放| 欧美 亚洲 制服 精品| 久久欧洲| 97色97干| 中文字幕一区av| 操逼无毒无码免费视频| 一区操逼| 日韩欧美亚洲国产日韩| 国产日韩怡红院| 国产一级做a爰大片免费久久| 亚洲限制级| 天天综合97| 岛国大片在线观看网站入口| 躁躁日曰躁2020| 一级毛片电影免费看| 伊人婷婷五月天| 乱色老一区二区三区的观看方式| 人人摸人人添人人操| 丝袜性亚洲| 国产1024在线播放| 欧美日韩黄片精品在线| 婷婷色中文字幕| 怡红院亚洲怡春院av| 殴美大黄片| 情色大香蕉| 欧美日韩成人在线| 蜜色网色哟哟| 国产精品探花色| 伊人久久大香蕉线AV五月天| 97在线视频观看网站| 国产噜噜噜噜噜久久久久久久久| 久久一区二区三区入口| 999综合网| 狠狠爱夜夜干| 日韩人妻 中文字幕| 天天影视综合色| 99在线精品视频| 成人性生活高清视频在线播放| 天天看特黄的免费网站| 久久啊啊| 精精夜夜| 久久超碰网| 日韩专区数据列表-第3230页-精品国产一区二区三区香蕉 久久99熟女人妻中文字 | 天天色怡春院| 曰本人妻人人澡人人夹| 亚洲清纯唯美| 五月婷在线| 天久久久噜噜噜久久国产精品爽爽| 1024久久高清视频| 沈阳熟女高潮对白视频| 99re69| aaaa少妇高潮大片| 日韩大香蕉AV影片| 欧美熟妇操操视频| 亚洲色 国产 欧美 日韩| 91白嫩| 色九九综合| 黄色免费一级在线毛片| 久久久久久久久久精| 日本精品不卡一二三区| 97在线视频观看| 操B久久| 日本福利社| 国产又黄又爽又刺激久久久久久 | 亚洲精品一区二区三区新线路| 欧美AAAA黄片| 久久综合97| 少妇被玩视频二三区| 3p国产欧美99热| 乱抡国产91| 青青草原成人| 无码欧美有限公司| 收看日本人日bb| 成人怡红院| 国产97在线播放| 青青草啪啪网| 男人的天堂啪啪| 亚洲精品影视老司机| 欧美不卡五十路| 久久九九97| 男人的亚洲天堂| 欧美亚洲丝袜人妻制服99| 无码国产精品久久久久| 国产又色又粗又黄又爽| 久久专区| 91色宗合| 欧美性色欧美| 黄页网站成人免费| 欧美日韩少妇色情| 日本女厕偷拍| 蜜臀AV一区二区三区激情综合| 99热这里都是精品| 国产久久久久久久久一区二区 | 免费网色网站| 欧美爆操91| 九九热精品免费视频| 97视频观看| 欧美日韩国产中文超碰| 久操综合在线| 天天干2019| 妇女视频网站| 99热精品国产| 欧美 熟女 日韩| 欧美日韩少妇色情| 久久噜| 熟妇一区,二区,三区。| 人妻第一页| 精品久| 91精品人| 色屁屁影院www国产| 操人人| 亚洲无线码欧洲精品区别| 亚洲巨爆乳一区二区三区四季网| 亚洲av噜噜噜噜噜噜| 亚洲码在线中文在线观看| 午夜激情成人在线观看| 国产精品无套内谢| 91性高潮久久久久久久久| 日韩人妻大香蕉| 91国产精品在线看| 亚州操逼图| 1024日韩| 91中文精品日韩欧美在线| 午夜综合在线| 97日韩超碰超碰中文字幕| 日本操逼aaaaa| 国产在线观看91精品一区| 国产网红精品| www色色com| 老熟女熟妇| 亚洲天堂一区二区| 91网站18+| 校园春色五月天| 欧美性爱18观看| 日本综合久久| 久久久久久久久久久999| 中文字幕视频免费| 欧美狠狠干| 蜜臀操逼黄色视频操的好爽| 99热精品在线| 日本一天色道久久久精品视频| 情色图区| 国产精品视频麻豆入口| 色婷久久| 欧美天天综合站| 日本国产亚洲一区在线观看| 亚洲精品啪视频| 一区二区首页| 中文字幕第2页| 在线观看中文av字幕| 日日干夜夜操视频h| 中文字幕欧洲有码| www.av在线视频| 欧美激情 日韩精品| 东京热91| 口爆吞精在线观看| 妇女视频网站| 国产午夜在线观看| 少妇滛荡视频| 内射卯月麻衣| 国模无码人体一区二区三| 思思热在线视频精品| 97在线播放 | 人妻精品视频一区二区三区| 青娱乐亚洲自拍| 又黑又大又粗| 欧美v日韩v亚洲v最新在线| 大香蕉操久久| a片在线播放| 人妻插插人妻人| 国产h小视频在线观看免费| 超碰超碰95| yw尤物av无码点击进入麻豆| 人妻激情偷乱视三区频一区二区| 无码九九| 色五月婷婷中文字幕| 亚洲黄色电影| 九九成人| 亚洲福利影院一区久久| 色欧美天天| 中文字幕三四区| 欧美亚州手机在线| A级片一区| 精品久久青青草| 毛片久久| 亚洲综合性网址| 久久精品色欧美aⅴ一区二区| 男人天堂最新手机版在线青青草| 成人短视频在线观看| 黄页av| 吉田爱美AV在线| 一区二区三区国产在线播放 | 吊色| 欧美久久草熟女| 亚洲人成网站7777| 97干综合网| 爆乳免费黄网站| 370p日韩欧美亚洲精品| 国际精品久久久| 麻豆久久久久久久久丝袜| 18禁无码永久免费无限制| 抽插一区二区视频| 激情看片网站| 天堂射| 狠狠色综合网| 三级日韩一区二区三区| 日韩av色图| 曰韩无码777| 欧美色老汉| 91啪9色| 无码不卡八戒| 中日992视频| 亚洲精品三| 操国产逼| 久久女女| 人妻精品综合中文字幕在线 | 夜夜躁狠狠躁日日躁av| 插入综合网| 欧美系列在线一区二区| 手机在线大香蕉| 好淫网一二三视区| 久草福利在线资源站| 国产高清自拍视频| 久久美国毛片| 亚洲欧洲美腿丝袜| 久久香蕉综合一本到3atv| 大色综合| 国产999精品久久久| 99久久综合| 亚洲日韩美女中文字幕乱| 亚洲激情视频| 欧美猛交黑寡妇中文字幕| 97干在线| 性久久久| 凌辱美少妇久久aV| 久久久成人精品| 久久手机视直播| 久草免费在线一区二区| 中文字幕在线观| 婷婷爽人人婷婷爽视频| 日本天堂网| 欧美人人操人人插| 精品少妇一区二区| 韩日精品福利视频一区不卡在线免| 色五月婷婷五月天| 婷婷丁香五月综合| 人人操人人摸人| 97欧美在线| 变态综合色| 欧美色吧综合| 青草影院内射高潮| 天堂国产AV| 欧美乱色| 亚洲操逼视频网站| 国产熟女免费观看久久| av最新免费中文字幕| 老司机午夜精品视频| 色妺妺AⅤ| 色香欲影| 999久久久久久久久| 婷婷探花久久精品一区| 亚洲色图综合网| 久久激情视频| 91丝袜美女视频| 国产日产欧产美韩系列麻豆免费| 久久机热| 亚洲好色人妻| 精品人妻一区二区三区-国产| 国产乱码久久| 亚州日韩97| 亚洲 图片 欧美 色图| 婷婷在线视频| 五月婷丁香| 人人喜人人妻| 成人熟女视频一区二区三区| 日本999精品| 天天综合有色网| 久久人人爽av亚洲精品天堂桃色| 久久精9| 九九九久千久久激情蜜桃在线看 | 中文字幕色AV| 99在线免费公开视频| 国产九九久久久精品| 超碰97国产欧美| 日韩人妻一二三区视频| 日欧操屄视频| 天天综合网~69| 天天舔天天日天天射| 97操综合| 国产日韩无码一区二区三区久久区| 亚州操逼图| 在线只有精品| 亚洲天堂自拍| 国产人妻久久精品一区二区三区| 久久区| 乱伦图av| 人妻少妇久久久| 久久夜色一区二区| 久久精品一区二区三区蜜桃臀| 亚洲自拍小说| 亚洲精品国产无码高清| 最新av中文字幕高清| 午夜国产成人福利视频| 亚洲免费成人精品电影| 天天日少妇逼AV| 精品人妻一区春色| 国产品精品自在在线午夜免费| 欧美一级黄片视频在线| 性开放中文AV高清无码免费看| 黄片直播三级黄片两女一男| caopeng97| 超碰伊人在线| 色在线视频导航| 日本3级一区二区免费| 久久国产精品,久久国产| 亚洲人91| 久久久96| 岛国AB视频| 伊人玖玖网| 国产又黄又爽| 久久婷综合| 亚洲欧美天| 日本熟女中文字幕一区| 国产按摩一区二区三区| 日日妻色网| 黄色片,com| 桃色六月天| 69天堂| 一色网男人的天堂| 午夜操一视频一区| 久久久久久久国产a∨| 国产久久久9999| 日本不卡一区| 久久极品一区二区| 久夜操| 99热伊人| 久久久久久久久久9| 婷婷综合网| 国际精品久久久| 日韩黄色成人性爱| 屌妞视频久久久久久久久久久久 | 97视频www| 无码天天操| 国产噜噜噜噜噜久久久久久久久| 欧美性xxxxx狂欢| 欧美色三级片91| 嗯嗯啊啊操我| 日本色色网| 九九九九精品视频| 欧洲综合视频| 国产拍偷精品网站|