久久亚洲成a人片熟女精品色一区二区三区|国产精品视频第一精品视频|av天堂热无码手机版|亚洲?v无码久久无遮挡|国产精品偷伦视频免费观看国产|麻豆国产自产精品丰满熟妇|av无码av不卡一区二区|久久亚洲精品中文字

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Picolibc Locking Support 深度解析:嵌入式多任務(wù)下的線程安全鎖機(jī)制

Picolibc Locking Support 深度解析:嵌入式多任務(wù)下的線程安全鎖機(jī)制 先把話說在前面如果你只是裸機(jī)單任務(wù)跑 picolibc這文章你看了會(huì)打瞌睡但只要你把程序搬到 RTOS 上兩個(gè)任務(wù)同時(shí)開始 printf 和 malloc你很快就能體會(huì)到 locking support 到底在解決什么。picolibc 的 locking support說人話就是給 C 標(biāo)準(zhǔn)庫內(nèi)部的共享資源堆、標(biāo)準(zhǔn) I/O、errno 等補(bǔ)上“多線程安全”的鎖機(jī)制。它解決的是嵌入式領(lǐng)域里最隱蔽也最致命的一類 bug不崩潰、不亂碼、但時(shí)不時(shí)出現(xiàn)內(nèi)存被踩、任務(wù)卡死、錯(cuò)誤碼莫名變化。這篇文章適合正在用 picolibc FreeRTOS、RT-Thread、Zephyr 或者自研 RTOS 的開發(fā)者尤其是從裸機(jī)剛轉(zhuǎn)過來、還沒意識到 libc 線程安全是個(gè)問題的朋友。我要講的不是“怎么開一個(gè)配置宏”這么簡單而是把 picolibc 鎖支持的前因后果、底層函數(shù)設(shè)計(jì)、移植實(shí)現(xiàn)以及我踩過的大大小小的坑一次性講透。1. 為什么嵌入式 C 庫需要鎖支持1.1 裸機(jī)時(shí)代的“單線程假設(shè)”C 標(biāo)準(zhǔn)庫誕生的時(shí)候根本沒人考慮多線程。標(biāo)準(zhǔn)庫內(nèi)部大量使用全局狀態(tài)strtok 用靜態(tài)指針保存剩余字符串rand 用全局種子errno 是全局變量malloc 的堆管理結(jié)構(gòu)也是全局鏈表。這些設(shè)計(jì)在單任務(wù)裸機(jī)下沒有任何問題因?yàn)槟阒挥幸粋€(gè)執(zhí)行流所有資源天然“同步”??梢坏┥狭?RTOS多個(gè)任務(wù)分時(shí)復(fù)用 CPU這幾個(gè)全局狀態(tài)就成了最危險(xiǎn)的共享資源。很多剛接觸 RTOS 的開發(fā)者會(huì)有一種錯(cuò)覺只要我不在中斷里調(diào)用 printf多個(gè)任務(wù)各調(diào)各的 printf 就沒事。真不是這樣。picolibc 的 stdio 內(nèi)部有緩沖區(qū)兩個(gè)任務(wù)同時(shí)寫 stdout 時(shí)先寫一半再被調(diào)度走另一個(gè)任務(wù)接著寫最終輸出就是亂碼。更嚴(yán)重的是 malloc堆管理鏈表被兩個(gè)任務(wù)同時(shí)操作輕則內(nèi)存分配異常重則堆結(jié)構(gòu)被破壞直接硬件異常。picolibc 作為面向嵌入式場景的 libc 替代品設(shè)計(jì)上保留了 C 標(biāo)準(zhǔn)庫的可移植性同時(shí)也保留了標(biāo)準(zhǔn)庫的“單線程假設(shè)”。所以它才需要 locking support 來彌補(bǔ)這個(gè)缺陷。鎖支持并不是 picolibc 獨(dú)有的概念newlib、musl、glibc 都有類似機(jī)制只是嵌入式場景里資源受限實(shí)現(xiàn)方式更加精簡。1.2 多線程下的三個(gè)典型事故現(xiàn)場我自己踩過一次特別經(jīng)典的坑。有一個(gè)跑在 STM32F4 上的 FreeRTOS 項(xiàng)目四個(gè)任務(wù)分別采集傳感器、刷 OLED、處理串口命令、上報(bào)日志。一開始裸機(jī)單任務(wù)跑得好好的上了 FreeRTOS 之后每隔幾分鐘 OLED 顯示就花一次串口日志偶爾出現(xiàn)一行被截?cái)嗟膩y碼。當(dāng)時(shí)第一反應(yīng)是驅(qū)動(dòng)問題調(diào)了 SPI 時(shí)序加了 DMA 超時(shí)重試折騰了兩天最后才發(fā)現(xiàn)根因是 printf 在多個(gè)任務(wù)間競爭 stdout 緩沖區(qū)。第二個(gè)事故現(xiàn)場是 malloc。系統(tǒng)跑了幾小時(shí)后隨機(jī)會(huì)進(jìn)入 HardFault看調(diào)用棧發(fā)現(xiàn)是 free 函數(shù)里面崩了。追查發(fā)現(xiàn)兩個(gè)任務(wù)都在做動(dòng)態(tài)內(nèi)存申請釋放其中一個(gè)任務(wù)在 free 的瞬間被高優(yōu)先級任務(wù)搶占新任務(wù)也調(diào)了 free堆鏈表就被改壞了。這類錯(cuò)誤在嵌入式里特別難查因?yàn)樗驼{(diào)度時(shí)序強(qiáng)相關(guān)不是每次都能復(fù)現(xiàn)等抓到現(xiàn)場往往已經(jīng)晚了。第三個(gè)是 errno 污染。我在一個(gè)文件系統(tǒng)相關(guān)任務(wù)里調(diào)用底層接口失敗后打印 errno結(jié)果打出來的錯(cuò)誤碼是另一個(gè)任務(wù)的。原因很簡單兩個(gè)任務(wù)共享同一個(gè) errno 全局變量后寫的人把先寫的人的值覆蓋了。排查這種問題極費(fèi)時(shí)間因?yàn)殄e(cuò)誤碼本身沒有規(guī)律只有加鎖或者改成 TLS 才能根治。1.3 picolibc 的兩種線程模型picolibc 處理線程安全和我之前用過的 newlib 不太一樣它支持兩套模型。老模型是struct _reent每個(gè)線程維護(hù)一份獨(dú)立的 errno、緩沖區(qū)狀態(tài)通過線程局部數(shù)據(jù)指針找到自己的 reent 結(jié)構(gòu)新模型則是直接使用 TLS線程局部存儲(chǔ)編譯器會(huì)為每個(gè)線程分配獨(dú)立的 errno 副本不存在共享問題。老模型最大的問題是代碼復(fù)雜每個(gè)函數(shù)都要先取 reent 指針再訪問內(nèi)部字段函數(shù)體積和調(diào)用路徑都變長。TLS 模型則簡潔得多尤其是在 ARM Cortex-M 這類硬件上picolibc 對 TLS 做了專門的編譯期支持加載 TLS 基址的指令開銷很小。理解了這一點(diǎn)你就能明白鎖支持的邊界errno 這類“每個(gè)線程各有一份”的東西TLS 能解決但 malloc 的堆、printf 的 stdout 緩沖區(qū)這類“物理上只有一份”的資源TLS 解決不了必須靠鎖。這也解釋了為什么很多嵌入式工程師以為開了編譯器 TLS 選項(xiàng)就萬事大吉結(jié)果 malloc 還是崩——因?yàn)閮蓚€(gè)問題的本質(zhì)不一樣。2. picolibc 鎖支持的底層設(shè)計(jì)拆解2.1 鎖函數(shù)家族__lock_init 到 __lock_releasepicolibc 的鎖支持其實(shí)是一組很精簡的函數(shù)接口定義在sys/lock.h里。我在實(shí)際使用中把這組函數(shù)分成三類生命周期管理、普通鎖操作、遞歸鎖操作。生命周期管理包括__lock_init和__lock_close前者在 libc 內(nèi)部初始化某個(gè)全局資源時(shí)被調(diào)用后者在資源銷毀時(shí)調(diào)用。普通鎖操作是__lock_acquire和__lock_release分別對應(yīng)“上鎖”和“解鎖”。遞歸鎖操作則是__lock_acquire_recursive和__lock_release_recursive對應(yīng)支持遞歸持有的鎖。為什么會(huì)需要遞歸鎖考慮 malloc 的實(shí)現(xiàn)堆分配器在拿到鎖之后如果分配失敗可能觸發(fā)系統(tǒng)調(diào)用系統(tǒng)調(diào)用內(nèi)部為了記賬又要訪問同一個(gè)堆控制塊這就是典型的“同一線程重復(fù)獲取同一把鎖”的場景。如果鎖不支持遞歸第二次獲取就會(huì)死鎖。還有一個(gè)__lock_try_acquire非阻塞嘗試獲取鎖用于一些不想被阻塞的路徑。嵌入式環(huán)境里這個(gè)函數(shù)使用率不高但移植時(shí)最好一并實(shí)現(xiàn)因?yàn)?picolibc 內(nèi)部某些代碼路徑會(huì)在條件編譯下引用它。函數(shù)原型作用注意事項(xiàng)void __lock_init(_LOCK_T *lock)初始化鎖在 libc 內(nèi)部資源首次使用時(shí)調(diào)用void __lock_close(_LOCK_T *lock)銷毀鎖釋放底層互斥量句柄void __lock_acquire(_LOCK_T *lock)獲取鎖阻塞式等不到就一直等void __lock_release(_LOCK_T *lock)釋放鎖必須與 acquire 成對int __lock_try_acquire(_LOCK_T *lock)嘗試獲取鎖返回 0 表示成功void __lock_acquire_recursive(_LOCK_T *lock)遞歸獲取鎖同一線程可重復(fù)獲取void __lock_release_recursive(_LOCK_T *lock)遞歸釋放鎖需要配對 count2.2 弱符號機(jī)制你的覆蓋點(diǎn)在哪里我最開始接觸 picolibc 鎖支持時(shí)有個(gè)困惑這些函數(shù)到底是誰實(shí)現(xiàn)的后來看鏈接 map 文件才搞明白picolibc 在構(gòu)建時(shí)把這些鎖函數(shù)默認(rèn)編譯成了弱符號weak symbol。也就是說如果你在工程里沒有定義自己的__lock_acquire鏈接器就會(huì)使用 picolibc 自帶的弱引用空實(shí)現(xiàn)直接返回不上鎖。一旦你在某個(gè) C 文件里定義了同名的強(qiáng)符號鏈接器的符號解析規(guī)則會(huì)優(yōu)先選擇強(qiáng)符號你的實(shí)現(xiàn)就會(huì)“無縫接管”libc 內(nèi)部的鎖調(diào)用。這個(gè)設(shè)計(jì)非常巧妙。它意味著你不需要重新編譯 picolibc不需要修改庫源碼只要在應(yīng)用層提供一個(gè)適配文件就能把鎖的底層實(shí)現(xiàn)完全替換成目標(biāo) RTOS 的互斥量。對于裸機(jī)工程弱符號默認(rèn)空實(shí)現(xiàn)也不會(huì)帶來任何代碼膨脹零開銷。但這里有個(gè)坑弱符號的優(yōu)先級只比“未定義”高。如果你在多個(gè)源文件里都定義了強(qiáng)符號__lock_acquire鏈接器直接報(bào)多重定義錯(cuò)誤。另外picolibc 版本升級后鎖函數(shù)簽名如果有變動(dòng)你的移植層代碼沒有跟著改鏈接時(shí)不會(huì)報(bào)錯(cuò)但運(yùn)行時(shí)會(huì)因?yàn)榻Y(jié)構(gòu)體大小不匹配產(chǎn)生內(nèi)存越界。我建議在移植文件里加上編譯期_Static_assert至少把結(jié)構(gòu)體大小校驗(yàn)住。2.3 構(gòu)建開關(guān)newlib-multithread 與相關(guān)選項(xiàng)雖然弱符號機(jī)制讓你可以在應(yīng)用層覆蓋鎖實(shí)現(xiàn)但前提是 picolibc 庫本身編譯時(shí)啟用了鎖相關(guān)代碼路徑。picolibc 使用 meson 作為構(gòu)建系統(tǒng)其中有一個(gè)關(guān)鍵配置項(xiàng)叫newlib-multithread。這個(gè)選項(xiàng)默認(rèn)關(guān)閉關(guān)閉狀態(tài)下picolibc 內(nèi)部的 malloc、stdio 代碼根本不會(huì)調(diào)用__lock_acquire你在應(yīng)用層實(shí)現(xiàn)了鎖函數(shù)也無濟(jì)于事。啟用方式是在 picolibc 源碼目錄下執(zhí)行 meson 配置時(shí)傳參meson setup build --cross-file cross-arm-none-eabi.txt -Dnewlib-multithreadtrue ninja -C buildcross-arm-none-eabi.txt是你自己的交叉編譯工具鏈描述文件名字按實(shí)際工程來。啟用后構(gòu)建系統(tǒng)會(huì)定義_HAVE_LOCK宏libc 內(nèi)部的多線程安全代碼路徑才會(huì)被編譯進(jìn)去。和鎖支持經(jīng)常一起提的還有兩個(gè)選項(xiàng)newlib-tls和newlib-global-errno。newlib-tls控制是否使用線程局部存儲(chǔ)模型建議開啟newlib-global-errno控制是否把所有線程的 errno 合并成一個(gè)全局變量這個(gè)強(qiáng)烈建議關(guān)閉否則 errno 又會(huì)退化成共享資源失去 TLS 的意義。我見過有人圖省事把 global-errno 打開結(jié)果兩個(gè)任務(wù)跑著跑著錯(cuò)誤碼互相污染排查半天。3. 實(shí)操在 FreeRTOS 上為 picolibc 實(shí)現(xiàn) locking support3.1 前置確認(rèn)你的 picolibc 是否啟用了鎖工程實(shí)踐里第一步不是寫代碼而是確認(rèn)你的 picolibc 是不是已經(jīng)編譯成帶鎖的版本。最笨也最可靠的方法是看編譯生成的 map 文件。搜索__lock_acquire如果出現(xiàn)的是 picolibc 庫內(nèi)部的弱符號說明鎖支持已經(jīng)啟用如果整個(gè)符號都沒出現(xiàn)說明newlib-multithread沒開或者庫內(nèi)部代碼路徑?jīng)]有引用鎖。還有一個(gè)快速判斷方法寫一個(gè)多任務(wù)壓測程序兩個(gè)任務(wù)各自循環(huán)malloc和free跑十分鐘。如果程序穩(wěn)定不崩說明鎖是生效的如果崩得快基本可以確定鎖沒啟用或者移植有問題。但這種方法有概率性不適合作為唯一判斷依據(jù)我建議以 map 文件為準(zhǔn)。另一個(gè)容易忽略的點(diǎn)如果你是自己編譯 picolibc需要確認(rèn) Thread Local Storage 相關(guān)的鏈接腳本和啟動(dòng)文件是否正確。TLS 需要鏈接器分配.tdata、.tbss段工具鏈和鏈接腳本缺一不可。用現(xiàn)成的 picolibc 發(fā)行版時(shí)一般沒問題但如果你是從源碼自定義構(gòu)建或者手工改了鏈接腳本就要留意這個(gè)。3.2 實(shí)現(xiàn) _lock* 函數(shù)一份可用的 FreeRTOS 移植代碼下面是我在 Cortex-M 平臺(tái)上驗(yàn)證過的 FreeRTOS 移植實(shí)現(xiàn)。核心思路是把 picolibc 的_LOCK_T類型直接映射成 FreeRTOS 的SemaphoreHandle_t鎖函數(shù)內(nèi)部操作 FreeRTOS 信號量。/* picolibc_lock_port.c */ #include sys/lock.h #include FreeRTOS.h #include semphr.h typedef SemaphoreHandle_t _LOCK_T; void __lock_init(_LOCK_T *lock) { *lock xSemaphoreCreateRecursiveMutex(); configASSERT(*lock ! NULL); } void __lock_close(_LOCK_T *lock) { if (*lock ! NULL) { vSemaphoreDelete(*lock); *lock NULL; } } void __lock_acquire(_LOCK_T *lock) { /* 遞歸互斥鎖防止 malloc/free 內(nèi)部遞歸路徑死鎖 */ xSemaphoreTakeRecursive(*lock, portMAX_DELAY); } void __lock_release(_LOCK_T *lock) { xSemaphoreGiveRecursive(*lock); } int __lock_try_acquire(_LOCK_T *lock) { return (xSemaphoreTakeRecursive(*lock, 0) pdTRUE) ? 0 : 1; } void __lock_acquire_recursive(_LOCK_T *lock) { xSemaphoreTakeRecursive(*lock, portMAX_DELAY); } void __lock_release_recursive(_LOCK_T *lock) { xSemaphoreGiveRecursive(*lock); }這里用了遞歸互斥鎖而不是普通互斥鎖原因前面說了malloc 內(nèi)部存在同一線程重復(fù)獲取鎖的路徑。如果一個(gè)任務(wù)在持有鎖期間被更高優(yōu)先級任務(wù)搶占而高優(yōu)先級任務(wù)也調(diào)用了 lock 相關(guān)的 libc 函數(shù)非遞歸鎖會(huì)直接導(dǎo)致死鎖。遞歸互斥鎖雖然比非遞歸鎖慢一點(diǎn)點(diǎn)但在這個(gè)場景下是必需的安全設(shè)計(jì)。有一點(diǎn)要單獨(dú)提醒上面的typedef SemaphoreHandle_t _LOCK_T;是假設(shè)你的 picolibc 允許自定義_LOCK_T類型。實(shí)際工程中_LOCK_T的定義位置可能在 picolibc 提供的sys/lock.h里也可能被某些版本固定為結(jié)構(gòu)體類型。你需要先打開 picolibc 源碼里的sys/lock.h確認(rèn)一下。如果它已經(jīng)定義成類似struct _lock_t { void *handle; }的結(jié)構(gòu)體那代碼就要改成往lock-handle里塞句柄。核心邏輯不變變的是類型賦值方式。3.3 編譯鏈接與驗(yàn)證移植完成后把picolibc_lock_port.c加入工程重編整個(gè)固件。鏈接階段重點(diǎn)看有沒有重復(fù)定義錯(cuò)誤因?yàn)?picolibc 自帶的弱符號鎖函數(shù)如果沒被排除你的強(qiáng)符號會(huì)和它共存正常情況下弱符號會(huì)被忽略不會(huì)沖突。如果你同時(shí)引用了啟動(dòng)文件里的其它弱符號也不要慌鏈接器對弱符號的處理規(guī)則是“強(qiáng)符號優(yōu)先弱符號墊底”不會(huì)報(bào)錯(cuò)。驗(yàn)證程序我建議分成兩級。第一級是功能驗(yàn)證兩個(gè)任務(wù)一個(gè)瘋狂printf一個(gè)瘋狂malloc/free系統(tǒng)跑不崩輸出不亂碼初步判斷鎖生效。第二級是壓力驗(yàn)證把任務(wù)優(yōu)先級故意設(shè)置為相同的加滿調(diào)度抖動(dòng)讓臨界區(qū)競爭更激烈連續(xù)跑 24 小時(shí)以上觀察有沒有卡死或者硬件異常。這兩個(gè)驗(yàn)證通過移植物才算合格。我實(shí)際測試過這個(gè)移植層在 Cortex-M4 168MHz 上每次__lock_acquire/__lock_release的完整開銷大約 1 到 3 微秒。這個(gè)數(shù)字受 FreeRTOS 內(nèi)核配置影響如果開了configUSE_TRACE_FACILITY或者調(diào)試鉤子開銷會(huì)更高。對大部分外設(shè)交互類應(yīng)用來說這個(gè)成本可以接受。3.4 性能開銷與優(yōu)化方向如果壓測發(fā)現(xiàn)鎖開銷成為瓶頸有幾個(gè)優(yōu)化方向。第一個(gè)是縮小臨界區(qū)最容易做也最有效。picolibc 的鎖是加在 malloc 入口和 printf 出口的臨界區(qū)長度由內(nèi)部算法決定這個(gè)我們改不了但我們可以減少調(diào)用次數(shù)比如把分散的小 printf 拼接成一條大 printf把頻繁的單對象 malloc 改成批處理內(nèi)存池。第二個(gè)優(yōu)化方向是權(quán)衡是否真的需要全局鎖。比如你的系統(tǒng)里只有任務(wù) A 會(huì) malloc其他任務(wù)從來不碰堆那就完全可以把newlib-multithread關(guān)掉省掉鎖的開銷。Picolibc 的鎖是全局的它判斷不了“誰會(huì)用堆”只會(huì)無差別保護(hù)。如果你能確認(rèn)“只有一個(gè)任務(wù)觸碰共享資源”關(guān)閉鎖支持就是最徹底的優(yōu)化。第三個(gè)方向是研究configUSE_MUTEX_ATTRIBUTES和 FreeRTOS 的優(yōu)先級繼承。普通互斥鎖有優(yōu)先級反轉(zhuǎn)問題低優(yōu)先級任務(wù)持鎖高優(yōu)先級任務(wù)等鎖中優(yōu)先級任務(wù)搶占低優(yōu)先級任務(wù)導(dǎo)致高優(yōu)先級任務(wù)被間接卡住。FreeRTOS 的互斥鎖內(nèi)置優(yōu)先級繼承機(jī)制但遞歸互斥鎖的行為略有不同。在強(qiáng)實(shí)時(shí)場景下你需要評估鎖的持有時(shí)間盡量把持鎖操作縮短到微秒級別。4. 常見問題與排查技巧實(shí)錄4.1 問題速查表我整理了鎖支持移植和運(yùn)行中最常見的幾類問題做成速查表。這些問題分散在論壇和 issue 里我匯總成一張表方便你對照排查?,F(xiàn)象可能原因排查方法解決方案鏈接錯(cuò)誤undefined reference to__lock_acquirepicolibc 編譯時(shí)未啟鎖支持看構(gòu)建配置確認(rèn)newlib-multithread是否開啟重新編譯 picolibc開啟多線程鎖選項(xiàng)多重定義錯(cuò)誤多個(gè)強(qiáng)符號__lock_acquire移植文件被重復(fù)加入工程檢查編譯日志里的文件列表只保留一個(gè)移植源文件malloc 頻繁崩潰HardFault 在 free 函數(shù)鎖未生效堆鏈表競爭查 map 文件中鎖符號來源確認(rèn)庫版本帶鎖移植正確實(shí)現(xiàn)printf 輸出亂碼、截?cái)鄐tdout 緩沖競爭兩個(gè)任務(wù)同時(shí) printf 壓測實(shí)現(xiàn)鎖函數(shù)或任務(wù)內(nèi)串行化輸出系統(tǒng)跑一段時(shí)間后死鎖鎖實(shí)現(xiàn)用了非遞歸鎖在死鎖現(xiàn)場查看任務(wù)棧換成遞歸互斥鎖中斷里調(diào)用 printf 導(dǎo)致系統(tǒng)掛起鎖在中斷上下文阻塞檢查中斷是否調(diào)用了 libc 函數(shù)中斷里禁用帶鎖的 libc 調(diào)用4.2 死鎖排查從 printf 卡死到優(yōu)先級反轉(zhuǎn)有一次我們的設(shè)備在現(xiàn)場升級時(shí)死機(jī)了復(fù)位后抓取調(diào)試信息發(fā)現(xiàn)卡死在__lock_acquire里。當(dāng)時(shí)第一個(gè)反應(yīng)是鎖沒有釋放但用調(diào)試器把任務(wù)列表打出來發(fā)現(xiàn)占用鎖的任務(wù)處于阻塞狀態(tài)而且它阻塞的原因不是在等這把鎖而是在等一個(gè)串口發(fā)送信號量。這就觸發(fā)了典型的優(yōu)先級反轉(zhuǎn)嵌套死鎖任務(wù) A 持有 malloc 的鎖調(diào)用串口發(fā)送等待串口信號量任務(wù) B 在串口中斷服務(wù)里觸發(fā)了一個(gè)快速 malloc嘗試獲取 malloc 的鎖但拿不到而串口信號量恰恰需要任務(wù) B 釋放于是形成了 A 等 B、B 等鎖的循環(huán)。這個(gè)案例讓我意識到只實(shí)現(xiàn)鎖函數(shù)是不夠的還要確保鎖的持有路徑上不要再次等待其他任務(wù)持有的資源。排查死鎖的常規(guī)思路是記錄鎖的持有者和等待鏈。我在工程里加了一個(gè)簡單跟蹤每次__lock_acquire進(jìn)入時(shí)記錄當(dāng)前任務(wù)句柄和調(diào)用 PC放在一個(gè)環(huán)形緩沖區(qū)里每次__lock_release清掉記錄。死鎖發(fā)生后用調(diào)試器查看緩沖區(qū)直接看到誰在持鎖、誰在等鎖問題定位效率提升很多。這些小工具平時(shí)看著多余關(guān)鍵時(shí)刻能救命。4.3 性能陷阱鎖函數(shù)實(shí)現(xiàn)不當(dāng)導(dǎo)致系統(tǒng)吞吐驟降還有一類問題不是崩潰而是“慢”。日志任務(wù)本來每秒能刷幾百條記錄加了鎖支持之后掉到三四十條。一開始懷疑是鎖本身開銷太大后來測出來根本不是是鎖函數(shù)里用了不該阻塞的調(diào)用路徑。我在移植實(shí)現(xiàn)里一開始用的是普通信號量xSemaphoreTake這個(gè)函數(shù)在鎖被占用時(shí)會(huì)觸發(fā)任務(wù)切換和調(diào)度器操作頻繁競爭時(shí)開銷被放大。后來改成xSemaphoreTakeRecursive并且確認(rèn)在持有鎖期間不會(huì)主動(dòng)讓出 CPU吞吐才恢復(fù)正常。本質(zhì)上不是函數(shù)多了幾行而是臨界區(qū)里不能做任何可能阻塞的調(diào)用否則整個(gè)系統(tǒng)的調(diào)度水位會(huì)迅速惡化。另一個(gè)性能相關(guān)的問題是中斷環(huán)境。FreeRTOS 的互斥信號量不能在中斷服務(wù)程序里使用因?yàn)閜ortMAX_DELAY這類阻塞參數(shù)在中斷上下文是無效的。如果你在中斷里調(diào)用了 printf并且 printf 背后走了帶鎖的 stdio 路徑系統(tǒng)行為就會(huì)變得非常詭異有時(shí)候返回錯(cuò)誤有時(shí)候直接卡死。我后來在中斷處理里統(tǒng)一改成寫無鎖環(huán)形緩沖區(qū)中斷外再做格式化輸出徹底繞開了這個(gè)坑。再補(bǔ)一個(gè)經(jīng)驗(yàn)如果你的工程同時(shí)使用多個(gè) RTOS 組件比如 lwIP 或者文件系統(tǒng)棧它們的鎖機(jī)制和 picolibc 鎖是完全獨(dú)立的兩套東西。picolibc locking support 只管 C 標(biāo)準(zhǔn)庫內(nèi)部網(wǎng)絡(luò)協(xié)議棧的內(nèi)存池、文件系統(tǒng)緩存都有自己的保護(hù)機(jī)制不要混為一談。我見過有的開發(fā)者以為“開了 picolibc 鎖整個(gè)系統(tǒng)就線程安全了”這是誤解。每層資源需要各自的鎖策略。4.4 一個(gè)隱藏已久的坑TLS 變量的初始化時(shí)機(jī)最后說一個(gè)比較冷門但影響很大的坑。TLS 模型下errno 是每個(gè)線程的線程局部變量但它的初始化依賴 RTOS 創(chuàng)建任務(wù)時(shí)為任務(wù)棧預(yù)留的 TLS 空間。如果 FreeRTOS 的configTLS_BLOCK_SIZE配置不對或者任務(wù)創(chuàng)建函數(shù)沒有正確地向任務(wù) TCB 注冊 TLS 塊那線程訪問 errno 時(shí)會(huì)讀到未初始化的內(nèi)存可能是一個(gè)隨機(jī)值也可能是別的任務(wù)寫過的殘留數(shù)據(jù)。這個(gè)問題不會(huì)像崩潰那么明顯它表現(xiàn)為某個(gè)任務(wù)偶爾拿到錯(cuò)誤的 errno且錯(cuò)誤碼和實(shí)際錯(cuò)誤毫不相關(guān)看起來完全是隨機(jī)的。排查時(shí)很容易懷疑是業(yè)務(wù)邏輯 bug反復(fù)看代碼也找不到問題。我最后是在一個(gè) FAE 的提示下檢查了任務(wù)創(chuàng)建時(shí) TLS 塊的大小和 picolibc 預(yù)期的 TLS 大小是否匹配才定位到根因。具體做法是在鏈接腳本里記錄.tdata和.tbss的總大小然后把這個(gè)值配置到configTLS_BLOCK_SIZE中。你在移植 picolibc 到 FreeRTOS 時(shí)這一步千萬不要漏。5. 我的移植經(jīng)驗(yàn)與收尾建議說實(shí)話picolibc 的 locking support 并不復(fù)雜真正的復(fù)雜度在于理解 libc 內(nèi)部的共享資源到底有多少以及你的 RTOS 調(diào)度行為和鎖之間的相互作用。每次換一個(gè) RTOS、換一塊硬件平臺(tái)我都建議重新走一遍完整的移植和壓測流程不要想當(dāng)然地拿上一版代碼直接拷過去。就我自己的經(jīng)驗(yàn)而言有一個(gè)比較穩(wěn)的組合配置TLS 保持開啟global-errno 關(guān)閉newlib-multithread開啟鎖底層使用 FreeRTOS 遞歸互斥鎖并且移植文件里只做鎖的獲取和釋放不做任何日志、不做調(diào)試打印。這樣既保證了線程安全又把移植層的不可控因素降到最低。如果你在移植過程中遇到特別怪異的現(xiàn)場優(yōu)先懷疑鎖的持有路徑其次懷疑 TLS 初始化最后再懷疑工具鏈鏈接腳本。這三步走完絕大多數(shù)問題都能水落石出。最后再分享一個(gè)我個(gè)人的小習(xí)慣在項(xiàng)目早期就把 lock 壓測代碼放進(jìn)自動(dòng)化構(gòu)建流程里每次 BSP 變更后跑一遍。這種問題一旦藏在系統(tǒng)深處越晚發(fā)現(xiàn)代價(jià)越大早發(fā)現(xiàn)反而最省時(shí)間。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
奇米四色影视777久久久| 亚洲成a人在线观看久| 91激情综合| 免费黄色A片| 夜色91| 国产AV天美| 欧美亚洲日本视频久久久| 东京热天堂网| 激情内射| 蜜臀久久在线视频| 超碰成人国产| 天天操夜夜操狠很操| 777超碰| 欧美色图偷拍另类| 色吧五月| 国产三区免费在线观看| 日韩在线观看三级电影| 亚洲色婷婷综合久久久久中文| 女人一区| 99热免费| 狠狠穞A片一區二區三區| 不卡日本一区二区| 欧美色图97| 97色色色综合网站| 97香焦色区| 日韩精品99999| 97亚洲精品超碰| 蜜臀99999| 国产女人91精品嗷嗷嗷嗷| 午夜精品久久一区二区| 91n欧美| 91久热| 亚州成人A√| 99热精品在线观看| 丁香啪啪| 国产成人+综合亚洲+天堂| 岛园激情| 久久艹逼视频| 狠狠激情综合狠狠操中文字幕| ,成人免费啪啪视频| 超碰午夜| 色呦呦国产精品免费看| 九九九九热| 丰满人妻一区二区三区免费 | 青青草在线视频播放器| 啊啊啊啊,啊啊好多水 | 亚洲精品性爱片| 激情抓乳插进去啪啪啪日韩| 国产二区三区免费视频| 永久电影三级在线观看| 密乳视频在线| 日本免费人成视频播放120秒| 国产毛片片精品天天看视频| 91丝袜在线观看| 最近二区三区视频大全 | 亚洲一区中文精品| www.色吧5.com| 久久亚州精品成人Av无| 久久肏大逼| 色色五月婷| 黄色电影观看久久9| 91欧洲国产成人久久精品网站| 91色人妻| 激情av| 亚洲高清无码免费观看视频| 插入综合网| 欧美色图片91| 97免费视频在线观看视频| 99热18这里只有精品| 天美av在线观看| 四虎影视在线| 大屁股熟女一区二区三区| 久九九九九九九九热| 97超碰磁| 一区二区三区精品视频| 久久国产99精品72福利| 少妇精品久久久| 欧美专区17页| 中文字幕国产| 久久精品人体AV| 色超碰综合| 91美女视频在线观看| 手机午夜电影神马久久| 国产精品自产拍在线观看社区| 久久久久久亚洲精品不卡人乳| 日日干夜夜操视频h| 97久久国产亚洲精品超碰热| 欧美夜夜| 日韩亚洲中文字幕在线| 亚洲天堂男人在线| 亚洲素人综合| 夜夜操美女| 一起草AV| 蜜臀在线网站| 天天做天天爱| 国产亚州精品美女久久久免费| 精品超碰中文在线| 99rre在线精品99re8| 国产高清26uuu| 日本99热| 国产精品一区在线播放| 国产综合网站在线播放 | 四季av一区二区凹凸精品小说| 无码不卡八戒| 日韩女优在线| 欧美日韩亚洲天堂| WWW黄片COM| 久久仑合| 色综合一本| 又大又黄国产| 成·人免费午夜在线观看| 大香蕉AV在线| 欧美少妇高潮| 国产原创自拍| 91熟女网| 亚洲日韩AV视色| 一区超碰一区| 综合一区中亚洲国产成人综合精品 | 91jk色拍| 人妻9117c| 久都青青视频| 妇女性内射冈站HDWWWCOM| 99re不伦| 亚洲精品国产无码高清| 春色综合免费| 伊人黄色视频免费观看| 天操天操夜操夜月月年年操操| 十八禁av无码免费网站APP| #NAME?| 日va操| 夜夜爽夜夜摸夜夜操免费视频| 日韩黄色一区二区三区| aV中文麻| 久久久久久久久久久久久久9999| 樱花蜜乳av| 国产中文字幕在线观看| www久| 国产h小视频在线观看免费| 日韩无码嘿咻黑热久| 欧美亚洲丝袜人妻制服中文99| 97天堂| 人人妻人人玩人人澡人人爽| 一个人在线看的黄色电影网站| av网站免费线看| 日韩情色AV| 嗯啊抽插大香蕉网页| 亚洲精品天天影视综合网 | 福利五区| 天天看人人操屄犊摸阴| 婷婷91| 一级岛国大片| 91性网| 白 大 人妻 区 在线| 91狠狠色丁香婷婷综合久久精品| 亚洲字幕一区二区| 色臀av| 91欧美另类| 丁香六月啪| 精品国模无码| 亚洲少妇视频| 狠狠躁天天躁日日躁97| 欧美超碰9798| 午夜寂寞欧美| 国产精品香蕉| 一级免费精品| 视频在线观看一二三区| 天天干天天狼在线视频| 在线欧美69V免费观看视频| 亚洲欲色| 校园春色中文字幕AV| 96精品在线| 欧美一级国产一级| 国产一在线观看| 熟妇乱伦一区二区| 超碰诱惑| 日韩 女同 综合| 超碰人妻久久人妻中文97| 亚洲AV成人在线| 中文字幕中文字幕一区二区| 国产精品农村妇女| 精品视频一区二区| 国产一| 蜜臀AV成人精品蜜臀AV久久| 麻豆国产av网| 国产怡红院| 99re视频在线观看这里只有精品| 99久久久er直播网址| 5278欧美一区二区三区| jizzjizz欧美| 在线中文字幕| 情色五月天就去干| 日韩欧美传媒一区国产| 精品国产综合久久福利,热99这里有精品综合久久,99热这里只有免费国产精品,精 | 韩国三级一线观看久| 99啪啪视频| 午夜啊啊| 入口操逼网站| 熟女欧美日韩综合婷婷| 精品人妻一二三| 亚洲精品毛片在线观看| 97国产超湿| 久久久久久9999| 好看的91视频| 神马久久久久久| 有码人妻系列| 国产天天骚| 91麻豆天美国产| 亚洲 欧美 另类 日韩 人妻一区| av橘色网站| 深爱激情五月天| 综合亚洲网| 久久亚洲天天做| 国产亚洲色停停久久99精品91| 97天堂| 色亚州人久干视频在线观看免费版| 日本熟女不卡视频| 性爱免费视频成人| 国产精品999zyz| 欧亚免费视频| 淫淫总合网| 久久国色天香香蕉| 国产一区二区在线播放,久久亚洲精品中文字幕第一区,亚洲精品在线中文字幕视频 | 偷拍导航视频网站| 日本五区不卡| 又黄又爽在线观看视频| 欧美第二页| 欧美.亚洲.另类.丝袜.制服.诱惑| 国产精品另类| 97在线视频观看网站| 国产高清精品福利| 亚洲男人的天堂V| 亚洲综合情色| 久久久久久久久久久久久女过产乱-少妇高潮一区二区三区喷水-成人AV | 欧美成人四级在线播放| 国产自产自拍| 亚洲黄色电影| 欧美综色欧| 亚洲精品毛片在线观看| 欧美亚洲综合色| 91丨精品丨国产丨丝袜| 婷婷五月天网| 亚洲熟妇一,二,三期| 欧美91网| 神马久久免费电影观看| 超碰无码五月97| 欧亚综合一卡二卡中文字幕| 色综合九九| 久久久亚洲高清不打码| 欧美特大AA级黄片| 中文字幕第9页萱萱影音先锋| 天躁夜夜躁2021| 亚州高清av| 五月婷婷hd| 天天综合精品| 欧美午夜精品久久久久久3D| 国产丝袜视频| 深夜啪啪啪视频免费| 国产版a级片直播在线| 国产三级在线现体验区| 久久久一区二区三区三州| 久久人妻| 青娱乐福利99| 日韩熟女三十乱伦| 国产精品点击进入在线影院高清| 在线视频97| 91亚洲色图| 成人精品在线免费视频| 性爱视频免费网址| 色在线综合| 操逼操2| 久操电影| 亚洲国产精品成人综合| 天堂无码精品国产久| 波多野结衣先锋影音| 日本一区二区做爱的视频| 欧美日韩色综合网| 国产欧美亚洲精品a第2页| 日本三级R| 91丨九色丨大屁股| 97视频网站在线观看| 久久做97| 亚洲精品国产av天美传媒| 超碰免费欧美7| 老司机午夜福利视频一区二区| 91性| 神马久久午夜| 欧美黄色大片在线观看| 欧美中出1| 花野真衣| 日本最新1区2区3区| 久午视频| 伊人久久在线视频观看| 五月丁香激情综合网| 夜夜操2028| 伊人玖玖网| 欧美美逼| 天天干天天燥| 色丁香五月婷婷| 香蕉久久精品| 蜜臀网 一区| 操日韩第| 97超碰碰碰| 午夜综合在线| 天天拍夜夜| 国产精品自拍xxxx| 香蕉在线一区二区三区| 尤物视频新赏网鲜网色诱网| 家庭乱伦麻豆| 囯产乱伦一区二区三女| 97久久资源| 狠狠爱AV| 国产 日韩,欧美 自拍| 女人午夜视频777| 久久秀这里有精品| 色色97爱| 97最新在线播放视频| 五月天加勒比啪| 精品三级在线专区| 95人妻爽爽人人做人人澡| 老女人91| 成人性爱高清视频免费看| 欧洲乱码视频| 91被操| 色综合91| 亚洲国产熟妇综合色专区| 啊v视频在线观看| 97精品国产手机| 精品熟女呻吟久久91| 丰满人妻大屁一区二区| silk lablo在线观看一区二区| 亚洲97在线| 国产精品色色| 97在线免费看视频| 亚洲综合五月天| 99最新日韩偷拍视频| 亚洲蜜乳av| 男人把坤坤插入女人的下体| 人妻少妇被猛烈进入中| 丝袜综合| 国产成人无码啪| 91精品人妻一区二区三区蜜桃臀| 三男一女不戴套的A片| 国产久久视频| 性爱Av免费| 欧美一区二区成人一卡| 波多野结衣先锋影音| 日韩精品怡红院| 国产精品制服丝袜清纯唯美| 超碰碰小说97| 精品一区二区亚洲国产| 小草av不卡亚洲二区| 午夜男人av| 大香蕉亚洲中文| 91麻豆天美| 久艹伊人精品综合在线| 高清国产成人无码| julia中文字幕在线观看| 高清国产无码av| 色网1| 99在线精品观看99| 少妇久久| 亚洲宗合网| 最新日韩黄片| 不卡二三区人妻少妇| 人妻夜夜爽天天爽麻豆三区网站 | 久久久久久久久久久六六| 久久夜夜| 国产一区二区精品在线视频| 狠狠穞A片一區二區三區| 神马久久久久久久| 天堂资源站| 亚洲最大网站av| 91精品网站| 色天使大香蕉| 国产亚州精品美女久久久免费| 香港久久久| 色噜噜国产在线| 蜜乳AV一区| 加勒比aⅴ| 都市激情人妻一区二区青青操视频| 亚洲色图亚洲无码强奸乱伦| 思思久热在线精品66| 骚女高跟AV在线| 91天堂色男人的天堂| 大香蕉99999| 亚洲国产精品久久久男人的天堂| 国产999精品久久久久久| 中文人妻av高清一区| 亚洲欧美综合网| 操一区| 五月丁香| 黄色激情电影在线观看| 97亚洲中文| 色偷综合| 国产美女精品| 日韩三级一区| 麻豆这里只有精品| 免费观看的黄色的网站| 97超碰9| 伊人欧美大香蕉视频| 男人 天堂 日 亚洲| 日韩啪啪网| 91社操逼| 国产一级高跟丝袜| 亚洲人综合19| 亚洲猛交| 91制服丝袜| 91无摭挡| 97超色| 欧洲精品人妻| 有码色中文字幕在线观看| AV 少妇 人妻 偷拍| 精品人人插人人操| 亚洲综合中文字幕有码| 亚洲天堂久久| 久久久久网站-538在线视频-欧美永久乱码| 久无码| 五月丁香六月激情综合| 性爱av在线免费观看| 囯产操逼片| 日本一区二区做爱的视频| 377p欧洲日本亚洲大胆| 综合av社区| 91女色| 好涩综合| 国产无码成人无码| 女人天堂av在线播放| 97在线免费视频| 欧美天天弄| 中欧人妻丝袜中文字幕| 偷拍 亚洲 欧美| 老司机福利社视频在线观看| 国产AV天美传媒一区二区三区 | 97久操| 日本高清一本二本免费不卡| 日本超碰色精品| 超碰视97中文| 好吊色综合| 综合久久97| se吧提供91精品国产91久久久久久 | 蜜臀aV午夜一区二区三区| 校园春色综合香蕉| 久久久78| 日韩小电影| 激情 欧美 亚洲 小说| 中文字幕乱在线伦视频中文字幕乱码在线| 日本高清_区二区三区| 99视频内射三四| 午夜精品一区二区三区三上悠亚| 久久香蕉网| 欧美亚洲第1页| 性爱AV天堂| 精品一区二区2| 国产精品白丝| 久久毛卡| 亚洲最大91网| 一区二区国产视频在线观看| 亚洲深夜福利| ..日韩av毛片精品久久久| 自偷自拍的亚洲视频| 懂色综合久久久| m欧洲一级午老| 久久黄人人爽视频| 欧美性爱日韩性爱| 亚洲中文国际强奸字幕| 日日夜夜天天| 亚洲综合69| 屁股久久久久久| 95自拍视频在线观看| 婷婷五月天福利| 亚洲欧美国产中文字幕| 婷婷丁香激情| 精品久久99| 91天射| 一区二区视频在看| 免费观看的黄色的网站| 亚洲国产综合久久久性感熟妇| 亚洲日韩资源| 久久久久久久强迫| 麻豆国产尤物AV| 亚洲精品白丝| 青娱乐国产剧情av一区| 亚洲色综合| 亚洲熟女乱综合一区二区三区| 超碰 另类 欧美 | 日韩一级成人毛片免费观看| 国产大陆天天艹| 亚州色图第三区| 欧美亚洲清纯| 中文字幕一区电影在线观看| 亚洲第一色页夜| 天天日天天干天天操| 日日日日做夜夜夜夜无码| 久久色人体| 欧美,日韩,中文,另类| 日韩精品免费高清视频在线| 日韩欧美丝袜诱惑| 欧美精品97| 亚洲五月丁香花狠狠干一区二区三区 | 欧美中文字幕日韩在线| 蜜伊人色综合97| 99精品人妻| 日本中文字幕在线电影| 欧美在线干| 欧美传媒| 欧美性暴力猛交XXXX| 又粗又长又大国产不卡| 欧美嗯啊……在线观看视频免费| 亲子敌伦对白在线播放| 人妻熟女午夜精品在线| 欧美亚洲厕所精品偷拍91 | 欧美日韩中文亚洲v在线综合| 天天看高清麻豆| 青椒国产97在线熟女| 330dv亚洲成年视频网| 国产毛片久久久久久久| 绯色AV粉色AV蜜臀AV| 老熟妇乱轮| 97超碰色屌| 欧美色www亚洲国产阿娇要播| 91麻豆天美国产欧美日| 91香蕉国产尤物视频| 国产suv精品一区二区四| 九九热精品视频六| 大香交伊人网| 思思热国产高清| 伊人久久大香蕉线AV五月天| 蜜乳Av成人片网站| 天天天操天天天爱| 永久免费发布性爱网| 久久久久斤小| 一起草AV| 在线观看不卡一区二区三区| 日韩精品人妻中文字有码在线| 天天谢天天干| 蜜桃久久一区| http://qxhbdz.com| 亚洲婷婷丁香在线| 97干天天| 人人看欧美性爱| 97日韩欧美亚洲| 色婷婷丁香五月| 欧美性爱第一页久久| 人人爽夜夜玩视频| 玖玖97综合| 淫荡少妇免费| 亚洲图片欧美| 超碰这里有精品| 又大又白奶子| 蜜臀AV午夜精品久| 中文字幕女同在线| 欧美熟女少妇| 亚洲无码太久| 久热精品在线| 亚洲人在线| 先锋色眉乱伦资源| 精品人妻av区天天看片| 人妻美腿丝袜日韩| 一区二区三区蜜桃成人撸久久东京热| 国产一区二区欧美日本| 波多野结衣AV无码一区| 破处bbq| 67914在线精品观看| 综合久久欧美| 日韩免费a级毛片无码a∨| 欧美91网站| 极品色社| 一区二区三区视频| 天天视频黄| 视频二区美腿制服人妻欧美| 呦女网站| 欧美人妻色| 精品网站9999| 超碰人人妻| 91人妻做a观看视频| 国产在线播放成人免费| 久久人体一区二区| 麻豆人妻少妇在线免费观看| 中文字幕老熟妇黄色视频| 美女操逼A A| 中文字幕三四区| 亚洲毛片久久| 久久宗合亚洲| 久久99网站| 欧亚在线视频| 日韩去日本高清在| 色久桃花影院在线观看| 99e久久国产精品| 97视频在线免费观看| 欧美不在线| 亚洲色宗合| 亚洲Av诱惑| 日韩欧美传媒一区国产| 亚洲欧美在线丝袜| 久久9久久| 易易A毛视频| 极品出轨视频网站| 欧美色图另类图片| 男人天堂2030| 欧成人精品H无码| 欧美+日产+中文| 夜色综合| 视频不卡中文字幕| 欧州一区二区三区四区| 国产91影院| 亚洲97成人在线观看| 久久久精品电影| 日韩av在线精品观看| 亚洲精品自拍| 国产精品 久久久精品一牛| 岛国激情视频在线观看| 97欧美性爱| 综合色99| 人人爽天天爽| 少妇天堂网络| 亚洲综合性网址| 国产热av| 诱惑网综合| A级在线视频| 热99这里有精品综合久久| 亚洲精品乱码线路中文字幕| 宅男影院久久久,99| 婷婷五月天激情网| 日韩一级二级| 欧美香蕉视xxx| 另类专区加勒比| 中文字幕乱码在线观看| 欧美熟妇精品黑人巨大91| 97色碰| 国产欧美日本亚洲精品| 国产精品激情久久久久久久| 丁香五月天啪啪| 青青草在线成人视频| 夜精品久无码| 天天肏美女| 熟妇视频一区二区三区在线观看| 情色五月天网| 我想要 啊 啊 啊| 亚洲国产一级精品毛一级精品看免费视频| 天天干天天拍| 熟妇一区二区三区| 色97欧美| 精品中文字幕第一页| 狠狠干综合| 爱欲AV| 精品一区二区三区18| 免费少妇一区二区| 九色视频91| 国产又黄又猛又粗又爽的网站| 欧美亚洲20p| 日日不卡av| 熟女乱伦A| 欧美熟爽综合| 国产尤物在线三区| 岛国视频一二三区| 人夜夜精品网站香蕉嫩草| 色妇91| 好属操| 综合自拍| 骚女高跟AV在线| 狠狠操,使劲操| 天天综合~91入口| 天欧美在线| 69视频入口| 在线另类| 密臀国产在线| 久精品无码av一区二免费国产在线观看 | 熟妇高潮一区二| 麻豆国产97在线| 夜夜嗨一区二区| 久热99999| 国产av强奸美女| 免费的av网| 国产97亚洲| 国产在线精品偷| 中文字幕色AV| 岛园激情| 精品久久久久成人码免| 九九黄色视频在线观看| 少妇熟女视频一区二区三区| 免费一级特黄特色大片在线观看看| 91在线丝袜视频| 久久久久久人妻一区精品色欧美| 狠肏骚人妻| 日韩激情毛片一级久久久| 少妇500双飞99| 天天射天天| 伦理弟一页| 乳欲人妻办公室奶水| 综合色拍| 亚洲国产一级精品毛一级精品看免费视频 | 91精品国产91久久青草| 嗯嗯嗯嗯啊啊啊好紧好大| 天天影视综合色| 无码天天操| 超碰97在线中文| 1769精品一区二区三区| 传媒在线观看一区二区三区| 天天干一干| 明星性猛交ⅹxxx乱大交| 国产久久一区二区三区野外在线| 日韩欧无码一区二区三区免费不卡| 图色综合网| 日韩无码一级黄色av片| 欧美久久久15P| 日韩A优精品在线观看| 大香交| 中文字幕 国产 精品| 91麻豆天美传媒在线| 97玖玖人妻| 精品亚洲国产成人精品| 亚洲黄色电影| 亚洲第91页| 午夜精品久久久久久久99蜜桃一| 男同专区一区二区三区在线| 国产版a级片直播在线| 欧美久久人体| 四季AV综合网址| 精品国产一区二区三区四区在线看| 免看60秒涩涩视频| 啊啊啊啊啊啊啊国| 欧美日韩另类在线播放| 日日爽熟女| 91网18| 日韩,欧美,中文在线| 亚洲色图A| 99自拍B亚洲| 久久久国产亚洲精品系列| 热热色中文无码| 午夜精品人妻二区三区| wuyechaopeng| 天堂涩涩| 裸体1区| av天天在线| 91综合国产精品| 二区熟妇韩日| 伊人久久在线视频观看| 亚洲黄色电影| 91爱看| 日韩亚洲美州欧洲综三区一品在线| 国产日韩欧美中文在线播放| 天天干嫩逼网| 亚洲综合 欧美| 天天综合欧美综合| 69精品在线| 两性综合网| 亚欧免费| 97干97色| 高清孕妇孕交 交孕妇| 国产传媒1234区| 久久久人体| 精品成人av一区二区三区在线| 四虎影视国产精品| 日韩精品影视| 日韩精品怡红院| 日夜干射色啊| 久久精品视频久久久| 强奸乱伦Av网| 内射夫妻三片| 欧美性色欧美| 一本大道青青| 美女网站黄页| 色天欧美| 久久久久久久久久久久黄色| 色哟哟-国产专区| 亚洲av影院在线观看| 国产精品无码av嫩草| 中文字幕日韩精品久久| 成人免费性爱视视| 秋霞 色色| 亚洲一二三四区| 日本一级真人黄色性爱视频| 久久久999国产精品| 欧美色蜜桃97| 久区视频| 亚洲av青草久久一区二区| 精品久久久久综合无码| 中文字幕视频二区| 91n处女在线观看| 热热色青青草| 久久99干一本高清| 亚洲在线A| 亚洲一区中文字幕| 亚州Av天美传媒| 色噜噜狠狠色综无码久久| 色偷综合| 欧美日韩欧美| 国产精品乱码久久久| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师黑人潮喷一 | 特级特黄一级毛片免费| 久久无码一区二区二三区性色| 精品人妻一二三| 亚洲综合20p| 一级人妻性爱视频| 在线欧美69V免费观看视频| 久久精视频美日韩在线视频| 色色色综合网| 色综合中文字幕不卡| 无码视频一区二区| 麻豆尤物视频网| 免费成人在线观看91| 人人插人人搞人人操| 久久免费中文字幕在线观看| 欧美国产有色电影| 男人天堂新| 天天射天天| 国产九九九九九九九九| 婷婷综合| 啊操爽品善一区二区三区| 蜜桃臀一区二区三区久久| 综合五月天| 无码精品久久| 成人网址在线观看| 精品美女在线视频| 丰满熟女人妻一区二区三五十一路| 老司机香蕉久久久久| 日韩免费一级性爱视频| 人妻乱仑一区二区三区| 欧美日韩丝袜| 91操人| 天堂v无码免费视频| 黄色av一区二区在线| 蜜桃中文字日产乱幕4区| 一本一道久久综合久久| 无码久久国产| 亚洲人成网www| 91熟女少妇| 亚洲蜜乳av| 国内黄色精品| 91女色| 欧州一区二区三区四区| 亚洲欧美大香蕉| 国产97综合| 久久性爱网站| 2025亚洲男人天堂| 老熟女91视频| 国产亚洲在线观看| 最新中文字幕av| 亚洲天堂在线怕怕视频 | 亚洲本色精品一区二区久久| 91五月天| 亚洲欧美成人网站AAA| 中文字幕一区二区三区视频播放| 人妻熟女一区在| 好好的日:com久久九九| 久久久96| 97久久超碰| 啊灬快c我灬啊灬用力灬啊灬-国产精品性做久久久久久-成人AV | 国产噜噜噜噜噜久久久久久久久| 久草加勒比一区在线| 十八禁视频网站| 欧洲精品欧洲精品| 色乱二区| 国产日韩中文字幕欧美| 日韩性爱视频在线免费观看 | 97干97色| 天美传媒国产原创中文字幕亚洲欧美另类| 欧洲一区二区| 97无码视频在线播放| 欧美午夜精品久久久久久3D| 综合网亚洲1| 欧美激情中文字幕另类小说| 久草久日| blacked精品一区国产| 精品无码久久久久| 中日韩免费看男女操逼大全| 天天日日舔舔| 久久内射| 久久曰曰| 97欧美综合| 花野真衣| 欧美日韩大香蕉| 97超级久久强资源| 欧美性xxxxx狂欢| 国产白嫩精品久久| 亚洲激情在线观看一区| 亚洲素人网| 国产精品久久久久无码A√| 久久久久9999精品九九九| 精品人体无圣光凹凸| 精品综合久久久久久97| 浪人综合网| 亚洲少妇自拍中文字幕懂色| 99色热| 久久久久九九九九| 后入 亚洲 美女 射| 九九精品无码专区免费| 日韩欧美天天爽爽爽天天爽爽| 极品色www影院| 亚欧美综合网| 不卡九肏| 一级aaaaa欧美中文字幕录像片| 国产蜜臀精品一区二区尤物| 亚洲一区中文字幕久久,果冻传媒一区二区天美传媒 | 一级啊性爱在线视频| 日本亚洲嫩草影院啪啪| 亚洲国产欧美日韩精品一区二区三区,国产一区二区三区在线看片,欧美性猛交 XXX | 天天爽入口| 99性爱| 精品成人无码| 麻豆熟妇乱妇熟色A片在线看| 精品久久久久久亚洲| 老熟妇一区二区三区…| 日韩精品-原创伙伴| 麻豆伊人网| 97色碰| 久久久久久日韩| 天天综合网91| 成人天天爽| 97网址www| 亚洲国产一区二区三区四区国产| 欧美同性恋 的搜索结果 - 91n| 9久久精品| 午夜一区二区三区国产| 人妖欧美一区二区| 亚洲精品欧洲精品| 欧美性爱五月天| 岛国在线免费视频| 好湿好紧视频| Aa东京男人的天堂| 人人综合| 中文字幕在线免费观看视频| 国产一区二区三区久久久精品| 久久久久久久9| 老司机久久| 欧美日韩免费专区在线| 乱色视频中文字幕| 大香蕉强奸乱伦| 国产无码精品久久久久久| 熟女欧美日韩综合婷婷| 不卡在线一区,精品一区二区三区中| 国产亚洲禁久一区二区| 亚州免费啪啪视频| jizz啪啪| 亚洲综合91| 激情一区二区| 啊啊啊啊好疼| 亚洲激情久久久伊人综合| 狠操91,com| 91性高| 麻豆人妻少妇在线免费观看| 91亚洲不卡一区| 人妻熟女午夜精品在线| 国产女人成人精品视频| 国产精品自拍欧美在线| 精品国产丝袜一区二区三区乱码| 一级@啪啪视频| 偷拍三区| 亚洲春色一区二区三区| 欧美Ⅴ性爱| 色图综合网| 亚洲久久久久| 91免费看一区二区三区| 超碰在线一区| 国产精品一区二区麻豆| 操淫穴亚洲五月丁香| 久久国语| 亚洲综合校园春色| 9 9无尺码天堂网| 亚洲怡春院| 欧美色吧综合| 国产精品一区二区密臀| 麻豆色99999| 本道综合精品| 人人爱人人乐人人操| 操屄日韩| 免费伦费视频在线观看| 青娱乐久久艹| 色5月婷婷| 五月婷婷丁香六月| 亚洲日本韩国极品一区二区| 国产精品乱人伊人网| 精产国品一区二三产品| 欧美 熟女 日韩| 九九九九97| 淫淫综合网| 99精品国产户外露出| 精品高清一区二区三区三州| 乱伦熟女区| 91久久国产综合久久| 大香蕉中文aV在线| 色网1| 欧美亚洲韩国视频十五区 | 日本性爱少妇| 看一级黄色视频| 欧美精品在线观看| 午夜福利在线视频1000| 国产精品一区在线播放| 日韩啊V| 人人妻人射| 欧美日韩高潮喷水91| 色香在线| 熟妇色99| 日本色色视频网站| 丁香五月天啪啪| 人人乐大香蕉| 鸥美极品| 色逼综合| 日韩视频啪啪| 超碰79人人乐| 亚洲综合骚逼| 亚洲无992tv| 国产Aα| 亚洲最大黄网| 精品少妇一区二区| 人人操人人色网| 久久精品美女一区| 嫩草影院永久在线制服丝袜| 99精品无码| 日韩一性一交一A片俄罗斯| 99国产人成精品| 麻豆一区二区AV天美| 人人看人人爰人人操| 亚洲综合另类| 欧美激情亚洲情色| 黄色大片免费在线| 婷婷情色综合网| 久久精品99| 干B网| 精品国产乱码久久久久久久久1 | 一区二区不卡视| 凹凸久久人人| 330Dv国产女人终合视频极品人与兽| 九九九九AV| 婷婷激情综合网| 精品久久9| 99久久无码| 性色avv| 上特色A在线| 天天色综合图片| 成人性交午夜免费片| 五月婷色| 啪啪综合网| 99综合网| 一区二区三区麻豆| 91精品丝袜在线观看| 欧美天堂亚洲电影院一区在线播放| 欧综合网| 无码色| 日日超碰亚洲| 成人AV素股で擦久久| 97视频免费在线| 偷看洗澡一二三区美女| 九九九九精品在线| 伊人久操| 自拍啪啪视频| 99热66| 青青草久草| 日本3级一区二区免费| 久久久久久久| 久久久艹艹艹| 亚洲色图欧美一区二区不卡| 动漫片子网站3黄| 日韩操逼HD| 国产国产亚洲一二三久久| 男男H黄动漫啪啪无遮挡网站| AV女资源| 日韩精品区二区三区不卡| 日本一二区不卡| 亚洲欧洲精品成人| 性久久| 亚洲色婷婷综合久久久久中文| 综合影院亚洲| 国产成人自拍视频视频| 日本高清熟女久久一区| 99色热| 国产无吗在线播放| 天天综合网~91综合网| 99热精品在线| 欧美Aⅴ| 尤物AV免费网站| 欧美综合色站| 天天操天天干一区二区 | 手机看片91人妻| 91九九九馒头| 看免费一级在线播放毛片| 91熟女.com| 91丝袜美女国产| 在线视频 亚洲精品| 欧美激情精品久久久| 大胆91| 黄片www.| 日本一区二区三区午夜观看| 人妻丰满熟妇av无码区蜜桃| 精品久久視頻在线| 欧美gv在线观看| 精品日韩产品在线,日韩在线不卡视频,欧美日韩免费专区/久, | 亚洲人精品久久久| 日韩精品99久久久久久中文字幕 | 老司机福利青青草| 亚洲日韩黑丝| 欧亚日韩三区| 激情综合五月| 国产一级内射无挡观看| 日韩9区| 中文一区二区| 操逼精品视频| 日韩美一区| 日韩美女操b| 日本成a人v网站在线观看| 久久伊人东京热| 涩涩久久精品| 青青操少妇| 九一屌逼| 91N欧美| 久久香蕉影院| 日本高清有码网址视频| av网站在线观看了| 天天夜躁日日躁狠狠2002| 日本不卡一区| 九九九九九九九九九国产精品| 青青草女人天天干| 品亲网欧美品亲网| 天天舔九色婷婷| 久操高青| 亚洲成人一二三区| 丁香五月天堂网| 婷婷五月天福利| 强奸乱伦av电影| 国产久久成人| 亚洲欧洲日本精品中文a∨| 精品在线蜜臀| 天天噜| 人妻三级在线中文字幕| 夜夜高潮夜夜爽夜夜爱爱一区| 国产自偷| 东北女人高潮视频| 欧美第一页| 麻豆人妻偷人精品无码视频| 色大师网站www永久网站视频| 日本三级小说中文字幕| 久操99| 国产不卡精品91| 欧美 传媒 麻豆 日韩 偷拍| 久久精品天美| 上床不卡网站| 91爱看| 97 国产精品| 91精品人妻一区二区三区蜜桃| 天天干人妻视频| 亚洲熟女av中文字幕| 午夜福利国产欧美日韩夜夜| 天堂а√在线最新版在线| 日韩在线一区高清在线| 日韩人妻 中文字幕| 免费看日本操逼视频| 这里只有精品视频| 亚洲情色五月天| 久久成年精品| 欧美特黄视频网站| 大香蕉中文201| 欧美v日韩v亚洲v最新在线| 午夜AV人气不卡| 欧美婷婷五月天| 亚洲精品骚逼| 亚洲熟妇白浆无码AV| 亚欧色图在线激情| 伊人五月天激情| 婷婷丁香五月综合| 中文字幕黑人大片|