久久亚洲成a人片熟女精品色一区二区三区|国产精品视频第一精品视频|av天堂热无码手机版|亚洲?v无码久久无遮挡|国产精品偷伦视频免费观看国产|麻豆国产自产精品丰满熟妇|av无码av不卡一区二区|久久亚洲精品中文字

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

嵌入式數(shù)據(jù)搬運(yùn)選型:DMA、NEON與CPU拷貝底層邏輯與實(shí)戰(zhàn)

嵌入式數(shù)據(jù)搬運(yùn)選型:DMA、NEON與CPU拷貝底層邏輯與實(shí)戰(zhàn) 寫這份分享時(shí)我剛在板子上調(diào)完一版 DMA 環(huán)形緩沖區(qū)順手把總線上的數(shù)據(jù)搬運(yùn)負(fù)載從 CPU 手里徹底剝了下來。說實(shí)話在嵌入式或者驅(qū)動(dòng)開發(fā)里“拷貝數(shù)據(jù)”這件事看起來基礎(chǔ)但對性能的影響往往是一票否決級的。你到底是該無腦 memcpy還是上 DMA或者干脆用 NEON 向量指令暴力搬運(yùn)我見過太多人在這個(gè)問題上憑感覺選結(jié)果要么 CPU 占用率被打滿要么數(shù)據(jù)一致性踩坑。所以今天這篇就專門來盤一盤 DMA、NEON、CPU 這三種拷貝方式的底層邏輯、適用場景和實(shí)戰(zhàn)選型思路。這篇文章適合正在做驅(qū)動(dòng)開發(fā)、嵌入式音視頻處理、網(wǎng)絡(luò)收發(fā)邏輯優(yōu)化以及任何被“數(shù)據(jù)搬運(yùn)太慢”困擾的朋友。1. 三種拷貝方式底層到底在干什么選型之前先把三者的本質(zhì)差異搞清楚。很多人以為 DMA 是“更快的拷貝”NEON 是“更快的拷貝”CPU 普通拷貝是“更慢的拷貝”這個(gè)認(rèn)知大方向沒錯(cuò)但底層機(jī)制完全不同直接決定了它們在不同場景下的表現(xiàn)。1.1 CPU 普通拷貝的本質(zhì)CPU 拷貝最常見的就是 memcpy本質(zhì)上就是讓處理器內(nèi)核直接參與數(shù)據(jù)搬運(yùn)。具體流程是CPU 從源地址加載數(shù)據(jù)到寄存器再從寄存器寫回目標(biāo)地址。這個(gè)過程完全由 CPU 的流水線驅(qū)動(dòng)走的也是 CPU 的 Load/Store 單元。這里有個(gè)關(guān)鍵點(diǎn)容易被忽略CPU 拷貝的速度受限于主頻、內(nèi)存帶寬和緩存命中率。如果數(shù)據(jù)在 Cache 里熱著memcpy 可以非??烊绻麛?shù)據(jù)在 DDR 里冷著CPU 就得一路等內(nèi)存總線這時(shí)性能會(huì)嚴(yán)重下滑。而且CPU 在搬運(yùn)過程中沒法干別的活執(zhí)行流水線被占住這就是“阻塞”的本質(zhì)。還有一個(gè)不太好察覺的細(xì)節(jié)現(xiàn)代 CPU 的 memcpy 實(shí)際上會(huì)利用 SIMD 指令集。編譯器在處理大數(shù)據(jù)塊時(shí)會(huì)自動(dòng)向量化一次拷貝 16 字節(jié)甚至 32 字節(jié)而不是逐字節(jié)搬。所以單純從“指令效率”來看CPU 的 memcpy 已經(jīng)做了不少優(yōu)化。但在嵌入式領(lǐng)域尤其是 Cortex-A 系列這樣的應(yīng)用處理器上CPU 拷貝的核心瓶頸不在指令效率而在于它占用了 CPU 的執(zhí)行資源。你在 memcpy 大數(shù)據(jù)塊的時(shí)候中斷響應(yīng)延遲會(huì)明顯變差實(shí)時(shí)性受影響。1.2 NEON 拷貝的本質(zhì)差異NEON 是 ARM 平臺的 SIMD 指令集它的思路和 CPU 普通拷貝有很大區(qū)別它的定位是“用更寬的寄存器、并行處理更多數(shù)據(jù)”本質(zhì)上還是 CPU 在搬但它用的是 NEON 單元而非普通 Load/Store 單元。舉個(gè)例子Cortex-A7 的 NEON 寄存器是 128 位寬的Q0-Q15一次 vld1q 指令能從內(nèi)存一次性加載 16 字節(jié)vst1q 再一次性寫回。這比普通寄存器 32 位寬一次 4 字節(jié)要高效得多。NEON 拷貝的典型寫法是循環(huán)展開 預(yù)取把內(nèi)存訪問延遲壓到最低。NEON 在拷貝上的優(yōu)勢有兩個(gè)維度一是數(shù)據(jù)并行度二是 cache 友好性。你可以用 pld 指令把下一塊數(shù)據(jù)提前預(yù)取到 cache配合 vld1q/vst1q 流水線批量搬運(yùn)實(shí)測在大部分 ARM 平臺上NEON 拷貝帶寬是普通 memcpy 的 1.5 到 2 倍。但注意NEON 的優(yōu)勢僅限于“數(shù)據(jù)在內(nèi)存和寄存器之間搬運(yùn)”這個(gè)場景它并沒有繞開 CPU 核心所以它依然會(huì)占 CPU 資源。另一個(gè)值得提的點(diǎn)是 NEON 對數(shù)據(jù)對齊的要求。vld1q/vst1q 要求 16 字節(jié)對齊時(shí)效率最高未對齊時(shí)雖然也能工作但會(huì)觸發(fā)額外的內(nèi)存訪問。這也是為什么很多高性能代碼里你會(huì)看到“先按字節(jié)把頭尾修的干干凈凈再用 NEON 刷中間大塊”這種典型寫法。后面講實(shí)操時(shí)我會(huì)給出具體的對齊處理思路。1.3 DMA 的本質(zhì)把數(shù)據(jù)搬運(yùn)變成外設(shè)邏輯DMA 和 CPU 拷貝、NEON 拷貝有本質(zhì)區(qū)別它壓根不用處理器核心參與。它的全稱是 Direct Memory Access直接內(nèi)存訪問通過一個(gè)獨(dú)立的總線控制器在源地址和目標(biāo)地址之間傳輸數(shù)據(jù)傳輸完成后通過中斷或事件通知 CPU。整個(gè)過程中CPU 只需要做兩件事啟動(dòng)時(shí)配置好 DMA 的描述符包括源地址、目標(biāo)地址、傳輸長度、突發(fā)大小傳輸完成時(shí)處理中斷。中間的大塊時(shí)間CPU 完全解放出來。這就是 DMA 最大的價(jià)值。但要注意DMA 的出現(xiàn)不是為了“更快”。它的性能并不一定高于 NEON 或 CPU 拷貝尤其是對于小數(shù)據(jù)塊DMA 的配置開銷可能比本身傳輸時(shí)間還長。DMA 的優(yōu)勢是“不占用 CPU”而不是“傳輸速度快”。這也直接影響了選型策略大批量、持續(xù)性的數(shù)據(jù)搬運(yùn)優(yōu)先 DMA小批量、偶爾一次性的數(shù)據(jù)搬運(yùn)CPU 或 NEON 反而更劃算。2. 不同場景下怎么選這才是真正的核心問題理論上理解了三種方式后選型邏輯才真正落地。我的實(shí)際經(jīng)驗(yàn)是選型不只看數(shù)據(jù)量還得看處理頻率、數(shù)據(jù)特點(diǎn)、實(shí)時(shí)性要求甚至看你手里的硬件平臺支持什么特性。這里我把實(shí)戰(zhàn)中最常遇到的場景逐一拆開講。2.1 大數(shù)據(jù)塊搬運(yùn)優(yōu)選 DMA但要處理對齊和描述符先說最經(jīng)典的大批量場景從網(wǎng)卡 NIC 收包到內(nèi)存緩沖區(qū)從 ADC 采集 FIFO 搬到內(nèi)存或者從攝像頭傳感器把一幀 YUV 數(shù)據(jù)搬到內(nèi)存。這類數(shù)據(jù)傳輸?shù)奶攸c(diǎn)是單次數(shù)據(jù)量大可能是幾 KB 甚至幾 MB而且通常是周期性發(fā)生的。在這個(gè)場景下DMA 是絕對的主力。原因也很直白用 CPU 或 NEON 搬一個(gè)大塊的同時(shí)整個(gè) CPU 都沉浸在搬運(yùn)中而 DMA 可以把 CPU 釋放出來去做更緊急的事比如協(xié)議解析、狀態(tài)機(jī)處理、用戶態(tài)調(diào)度。你說 NEON 更快確實(shí)更快但在驅(qū)動(dòng)層跑 NEON 拷貝很容易導(dǎo)致中斷處理時(shí)間過長觸發(fā)高層 watchdog。不過用 DMA 也有幾個(gè)細(xì)節(jié)要注意。首先是內(nèi)存類型。DMA 使用的緩沖區(qū)必須是 cache 一致性的或者你要手動(dòng)做 cache 無效化/clean 操作。否則會(huì)出現(xiàn) DMA 已經(jīng)把數(shù)據(jù)寫進(jìn)內(nèi)存了CPU 卻從 cache 里讀到舊數(shù)據(jù)的經(jīng)典 bug。在多核 CPU 上這個(gè)問題更容易踩雷因?yàn)槟闵踔翢o法預(yù)判 cache line 被哪個(gè)核加載。其次是 DMA 描述符的管理。有些平臺的 DMA 驅(qū)動(dòng)是簡單的寄存器模式一次配置一個(gè)塊傳輸有些則支持描述符鏈表比如 Zynq 的 SG-DMA可以把多個(gè)不連續(xù)的內(nèi)存塊串成一個(gè)鏈表逐個(gè)搬運(yùn)。后者在處理網(wǎng)絡(luò)報(bào)文分片時(shí)特別好用。但帶來的復(fù)雜度也直線上升你要小心描述符的回寫狀態(tài)、半傳輸中斷、傳輸完成中斷的時(shí)序。2.2 小批量高頻拷貝NEON 是甜點(diǎn)區(qū)DMA 反而累贅很多人上來就想用 DMA 優(yōu)化一切但小數(shù)據(jù)量場景下 DMA 的成本是完全不劃算的。舉個(gè)例子一個(gè) 64 字節(jié)的控制結(jié)構(gòu)體從內(nèi)核態(tài)拷貝到用戶態(tài)DMA 做什么你要分配 DMA buffer、配置描述符、開啟通道、等待中斷——這一套動(dòng)作的延遲可能就得幾微秒而 64 字節(jié)用 NEON 四個(gè) vld1q four vst1q 指令納秒級完成。這種情況下 DMA 就是殺雞用牛刀而且刀還沒磨好。我建議的分界線大致是 256 字節(jié)以下走 NEON 或普通 CPU 拷貝256 到 1KB 之間看場景靈活切換1KB 以上才認(rèn)真考慮 DMA。這個(gè)閾值不是嚴(yán)格的黃金比例但它是基于“DMA 固定開銷 中斷延遲”和“CPU 逐字節(jié)搬運(yùn)成本”交叉計(jì)算出來的經(jīng)驗(yàn)值。NEON 在做小批量拷貝時(shí)還有個(gè)底層優(yōu)勢它的預(yù)取指令可以讓“下一個(gè)塊”的數(shù)據(jù)提前進(jìn)入 cache。如果你在一個(gè)循環(huán)里反復(fù)拷貝多個(gè)小塊數(shù)據(jù)NEON 的小塊拷貝速度會(huì)特別穩(wěn)定。但要注意NEON 拷貝雖然不調(diào)操作系統(tǒng) API但你得自己保證內(nèi)存對齊。我的做法是在每個(gè)拷貝入口做一個(gè)指針對齊檢查未對齊的先用普通拷貝把首部修正再把中間的大塊交給 NEON。2.3 緩存一致性問題DMA 和 Cache 的愛恨糾葛這一節(jié)必須單獨(dú)拿出來講因?yàn)檫@是區(qū)分“能跑”和“能穩(wěn)定上線”的關(guān)鍵。簡單解釋一下什么叫 cache 一致性問題。假設(shè)你有一個(gè) DMA 緩沖區(qū)它是一塊普通的內(nèi)存CPU 和 DMA 控制器都可以訪問它。CPU 讀數(shù)據(jù)時(shí)優(yōu)先查 cache如果數(shù)據(jù)在 cache 里命中就直接用 cache 里的副本不會(huì)去訪問內(nèi)存?,F(xiàn)在 DMA 控制器從外設(shè)把數(shù)據(jù)寫進(jìn)了這塊內(nèi)存新的數(shù)據(jù)已經(jīng)在內(nèi)存里了但 cache 里還是舊數(shù)據(jù)。CPU 再讀的時(shí)候命中 cache讀到的是舊數(shù)據(jù)——bug 出現(xiàn)了。解決這個(gè)問題的思路有三個(gè)其一將 DMA 緩沖區(qū)配置為 non-cacheable也就是不走 cache每次 CPU 訪問都直接打到內(nèi)存。這種方法最簡單但性能會(huì)下降CPU 在上面頻繁讀寫的開銷翻倍。其二在 CPU 讀 DMA 數(shù)據(jù)前顯式地執(zhí)行 cache invalidate 操作告訴 cache “老數(shù)據(jù)作廢”在 CPU 寫 DMA 數(shù)據(jù)前執(zhí)行 cache clean 操作把數(shù)據(jù)刷到內(nèi)存。這種方法是性能與正確性的平衡點(diǎn)也是驅(qū)動(dòng)開發(fā)中最常見的做法。其三使用硬件自動(dòng)維護(hù) cache 一致性的機(jī)制比如 ARM 的 DMA 設(shè)備帶 inner/outer shareable 屬性或者用 IOMMU/SMMU 做地址重映射。這類方案在復(fù)雜 SoC 上越來越普及但在很多嵌入式平臺上并沒有完整實(shí)現(xiàn)所以不能拍腦袋依賴它。我在一輪實(shí)際調(diào)試中的體會(huì)是cache 問題在單核簡單 DMA 場景下還比較可控真正常常翻車的是多核 CPU 上的 DMA 緩沖。因?yàn)槲覜]辦法預(yù)判某個(gè) cache line 是哪個(gè)核加載的只有嚴(yán)格按“DMA 寫 → invalidate → CPU 讀”、“CPU 寫 → clean → DMA 讀”的規(guī)范來才能真正避免那種“偶發(fā)性數(shù)據(jù)錯(cuò)誤”——這種 bug 是最難查的因?yàn)樗皇潜噩F(xiàn)而是偶爾出現(xiàn)一次復(fù)現(xiàn)周期可能是一小時(shí)甚至一天。3. 實(shí)操串口 DMA 接收不定長數(shù)據(jù)的完整實(shí)現(xiàn)這一節(jié)我挑一個(gè)大家都熟悉的場景來完整走一遍串口 DMA 接收不定長數(shù)據(jù)。這可能是 DMA 教程里點(diǎn)擊率最高的一類需求因?yàn)榇谕ㄓ嵲谇度胧介_發(fā)中太常用了而 DMA 處理不定長數(shù)據(jù)的核心技巧就是“空閑中斷 DMA 環(huán)形緩沖”。3.1 環(huán)境與基礎(chǔ)原理以 STM32F103 為例或者擴(kuò)大到任何帶 UART DMA 的 MCU。核心思路是把串口的 RX DMA 配置為循環(huán)模式讓 DMA 在內(nèi)存里一圈一圈地搬運(yùn)數(shù)據(jù)不關(guān)心什么時(shí)候收到一幀風(fēng)的數(shù)據(jù)。那怎么判斷一‘幀’數(shù)據(jù)結(jié)束呢就需要用到串口的空閑中斷IDLE當(dāng)總線上沒有新數(shù)據(jù)進(jìn)來時(shí)串口硬件會(huì)觸發(fā)一個(gè)空閑中斷這時(shí)候 CPU 去讀 DMA 當(dāng)前傳輸計(jì)數(shù)就能算出本輪收到了多少字節(jié)。這是串口 DMA 接收不定長數(shù)據(jù)的經(jīng)典套路。它的好處是接收過程全程 DMA 搬運(yùn)CPU 幾乎不參與只有在一幀數(shù)據(jù)接收完成后CPU 才去處理一次。這就把一個(gè)高頻的“每個(gè)字節(jié)中斷一次”變成了“每一幀中斷一次”CPU 負(fù)載大幅下降。3.2 配置步驟和關(guān)鍵代碼以 HAL 庫為例初始化時(shí)開 UART 的 DMA 接收為循環(huán)模式再使能 IDLE 中斷。下面給出一個(gè)典型的初始化片段// 假設(shè) UART_Handle 已經(jīng)初始化好 // 配置 DMA RX 緩沖區(qū)和長度 #define RX_BUF_SIZE 1024 uint8_t rx_buf[RX_BUF_SIZE]; // 開啟 UART DMA 接收循環(huán)模式 HAL_UART_Receive_DMA(huart1, rx_buf, RX_BUF_SIZE); // 使能 UART 的 IDLE 中斷注意要直接操作寄存器 __HAL_UART_ENABLE_IT(huart1, UART_IT_IDLE);然后寫一個(gè)中斷回調(diào)處理函數(shù)這里有個(gè)技巧HAL 庫的 UART 中斷處理函數(shù)會(huì)把 IDLE 中斷吞掉所以你得先調(diào)用它的處理函數(shù)再自己判斷標(biāo)志位void UART_IDLE_Callback(UART_HandleTypeDef *huart) { if (huart huart1) { // 讀取當(dāng)前 DMA 剩余計(jì)數(shù) uint16_t remain __HAL_DMA_GET_COUNTER(hdma_usart1_rx); // 當(dāng)前 DMA 總共要搬 RX_BUF_SIZE 字節(jié)所以已接收長度 uint16_t recv_len RX_BUF_SIZE - remain; // 這里 recv_len 就是本輪接收到的完整數(shù)據(jù)長度 // 接下來就可以把 rx_buf 中的數(shù)據(jù)提交給協(xié)議?;蛱幚砗瘮?shù) process_recv_data(rx_buf, recv_len); // 關(guān)鍵步驟重啟下一次 DMA 接收 HAL_UART_Receive_DMA(huart1, rx_buf, RX_BUF_SIZE); } }當(dāng)然你需要在串口中斷服務(wù)函數(shù)里手動(dòng)調(diào)用這個(gè)回調(diào)因?yàn)?HAL 庫不會(huì)自動(dòng)調(diào)它。具體做法是在UART_IRQHandler里判斷 IDLE 標(biāo)志并清除然后調(diào)用上面的處理函數(shù)。3.3 環(huán)形緩沖區(qū)的進(jìn)階處理上面的例子是最簡單的單緩沖區(qū)版本實(shí)際項(xiàng)目里我更推薦把 RX 緩沖區(qū)做成環(huán)形。也就是說 DMA 始終在一個(gè)固定大小的數(shù)組里循環(huán)搬運(yùn)每次收到一幀數(shù)據(jù)時(shí)幀的起止位置不一定在數(shù)組頭部而是在數(shù)組中間旋轉(zhuǎn)。處理思路是通過 DMA 當(dāng)前計(jì)數(shù)計(jì)算讀寫偏移量然后按“先拷貝尾部再拷貝頭部”的方式把完整幀拼接出來。環(huán)形緩沖區(qū)的核心代碼邏輯大致如下// 環(huán)形緩沖區(qū)讀寫指針 volatile uint16_t rx_head 0; // DMA 當(dāng)前寫入到的位置 uint16_t rx_tail 0; // 應(yīng)用層已經(jīng)讀到的位置 void UART_IDLE_Callback(UART_HandleTypeDef *huart) { uint16_t remain __HAL_DMA_GET_COUNTER(hdma_usart1_rx); uint16_t current_pos RX_BUF_SIZE - remain; if (current_pos rx_tail) { // 數(shù)據(jù)沒有跨越緩沖區(qū)尾部直接分段拷貝 handle_frame(rx_buf[rx_tail], current_pos - rx_tail); } else { // 數(shù)據(jù)跨越緩沖區(qū)尾部需要分兩次拷貝 uint16_t first_part RX_BUF_SIZE - rx_tail; handle_frame(rx_buf[rx_tail], first_part); handle_frame(rx_buf[0], current_pos); } rx_tail current_pos; }這個(gè)環(huán)形方案的優(yōu)點(diǎn)是不用頻繁停止和重啟 DMA數(shù)據(jù)始終在流入丟數(shù)據(jù)的概率更小。缺點(diǎn)是代碼邏輯要處理邊緣情況比如 DMA 寫指針繞回時(shí)和讀指針相等要判斷緩沖區(qū)是空還是滿這個(gè)標(biāo)簽位判斷一定要小心否則會(huì)復(fù)現(xiàn)那種“看起來偶發(fā)丟數(shù)據(jù)”的詭異 bug。4. DMA 性能實(shí)測與參數(shù)選擇解析聊完原理和選型很多人會(huì)問DMA 到底能快多少NEON 相比 memcpy 有沒有質(zhì)的提升這里我用自己的板子實(shí)測的數(shù)據(jù)來給一個(gè)直觀的參照。同時(shí)也會(huì)講到 DMA 驅(qū)動(dòng)里兩個(gè)很關(guān)鍵、卻經(jīng)常被忽略的參數(shù)burst size 和 alignment。4.1 實(shí)測數(shù)據(jù)CPU vs NEON vs DMA我基于一塊常見的 ARM 開發(fā)板主頻 1.2GHzDDR3 內(nèi)存分別測試了 4 種拷貝方式在不同數(shù)據(jù)量下的吞吐量。測試方法很簡單循環(huán)拷貝 1000 次記總時(shí)間除以總字節(jié)數(shù)得到帶寬。數(shù)據(jù)源是 16 字節(jié)對齊的內(nèi)存塊排除首末處理干擾??截惙绞?2B256B4KB1MBCPU memcpy0.9 GB/s1.8 GB/s2.1 GB/s2.2 GB/sNEON 優(yōu)化拷貝1.5 GB/s3.2 GB/s3.8 GB/s3.7 GB/sDMA含中斷開銷0.05 GB/s0.3 GB/s1.5 GB/s2.8 GB/s這個(gè)數(shù)據(jù)很能說明問題。在 32 字節(jié)的小數(shù)據(jù)塊場景下DMA 的速度慢到令人發(fā)指因?yàn)榕渲妹枋龇?、啟?dòng)通道、等待中斷這套流程的固定開銷遠(yuǎn)大于數(shù)據(jù)本身搬運(yùn)的時(shí)間。而 NEON 因?yàn)橄蛄坎⑿行?shù)據(jù)塊也能跑出不錯(cuò)的速度。在 4KB 這個(gè)檔位DMA 開始接近 CPU 的帶寬但仍未超越。到 1MB 級別DMA 才真正展現(xiàn)出吞吐優(yōu)勢加上它能做到 CPU 零占用綜合價(jià)值就遠(yuǎn)高于另外兩種了。所以別再迷信“DMA 快”這個(gè)說法。DMA 的價(jià)值是“解放 CPU”它的吞吐優(yōu)勢通常要在較大的數(shù)據(jù)塊下才能體現(xiàn)。4.2 Burst Size 的選擇與對齊策略DMA 配置里有個(gè)參數(shù)叫 Burst Size即每次總線事務(wù)突發(fā)訪問的次數(shù)。假設(shè)系統(tǒng)總線寬度是 64 位burst size 為 4 意味著 DMA 會(huì)一次性連續(xù)讀取 4 個(gè) 64 位數(shù)據(jù)也就是 32 字節(jié)連續(xù)訪問。這個(gè)參數(shù)極大地影響 DMA 的效率。理論上 burst 越大總線利用效率越高因?yàn)樗鼫p少了地址階段的切換開銷。但 burst 太大有一個(gè)副作用當(dāng) DMA 與 CPU 同時(shí)訪問內(nèi)存總線時(shí)DMA 會(huì)對總線進(jìn)行較長時(shí)間的“占用”導(dǎo)致 CPU 訪問內(nèi)存的延遲飆升影響整體性能。所以 burst size 并不是越大越好。我的建議是從小到大測試在典型負(fù)載下逐一測試 burst size 1、2、4、8選吞吐量和企業(yè)性能的平衡點(diǎn)。如果你的板子在 DMA 搬運(yùn)時(shí) CPU 表現(xiàn)明顯卡頓優(yōu)先減小 burst size。對齊策略則是另一個(gè)關(guān)鍵點(diǎn)。DMA 控制器通常要求源地址和目標(biāo)地址滿足一定對齊要求常見的有 4、8、16、32 字節(jié)對齊。如果你的 DMA 源數(shù)據(jù)是串口收來的字節(jié)流天然沒有對齊概念那就要在 DMA 描述符中配置允許非對齊訪問或者顯式地把數(shù)據(jù)搬到一個(gè)對齊緩沖區(qū)再進(jìn)行 DMA。否則硬件會(huì)報(bào)錯(cuò)或產(chǎn)生未知行為。NEON 拷貝也是一樣的邏輯只不過它自身對齊的要求是 16 字節(jié)寬只要源和目的地址都是 16 字節(jié)對齊NEON 就能以最高效率運(yùn)行。如果源地址是奇數(shù)偏移你只能用 vld1q_u8 之類的非對齊加載指令性能有所下降但不至于出錯(cuò)。這也是為什么我在做圖像處理時(shí)會(huì)先把圖像數(shù)據(jù)的行地址統(tǒng)一 align 到 16 字節(jié)的原因。5. 實(shí)戰(zhàn)中常見的坑與排查技巧現(xiàn)在進(jìn)入“坑位預(yù)警”環(huán)節(jié)。這三種拷貝方式帶來的問題通常都不是“性能不夠”而是“偶爾出錯(cuò)”“偶發(fā)卡死”“數(shù)據(jù)不對”。下面這些案例都是我自己或周圍同事實(shí)際踩過的把癥狀、原因、解決方案列出來大家可以對照排查。5.1 DMA 數(shù)據(jù)舊值問題cache 一致性徹底翻車有次在調(diào)試一個(gè)網(wǎng)絡(luò)驅(qū)動(dòng)客戶端收包的時(shí)候偶爾會(huì)出現(xiàn)相同的一包數(shù)據(jù)被重復(fù)上報(bào)。排查了很久發(fā)現(xiàn)不是協(xié)議問題而是 DMA 的 cache 一致性問題DMA 把新數(shù)據(jù)寫進(jìn)了內(nèi)存但 CPU 讀取時(shí)從 cache 讀到的是上一次的舊數(shù)據(jù)。這種情況特別容易在“DMA 接收緩存剛好命中 CPU 之前讀過的 cache line”時(shí)出現(xiàn)因?yàn)?CPU 對這塊內(nèi)存是有緩存的它覺得自己讀的是最新數(shù)據(jù)實(shí)際卻是舊的。解決方法是在任何“DMA 寫完數(shù)據(jù)之后CPU 讀取該緩沖區(qū)之前”顯式調(diào)用 cache invalidate API。Cortex-A 平臺通常有dma_map_single或dma_sync_single_for_device這樣的接口驅(qū)動(dòng)層直接調(diào)用即可。對裸機(jī)開發(fā)可以查 ARM 架構(gòu)手冊中的DC IVAC指令手動(dòng) invalidate。關(guān)鍵點(diǎn)在于這個(gè)動(dòng)作不能在 DMA 啟動(dòng)前一次性做完后就萬事大吉必須在每一次 DMA 傳輸完成后、CPU 讀數(shù)據(jù)前執(zhí)行否則就會(huì)出現(xiàn)“偶爾”的數(shù)據(jù)錯(cuò)亂。5.2 小數(shù)據(jù)塊 DMA 反而把系統(tǒng)拖垮有人把 DMA 用在頻率極高但數(shù)據(jù)量很小的場景比如每 100 微秒傳輸 32 字節(jié)的狀態(tài)信息。表面看 DMA 在搬運(yùn)這 32 字節(jié)但底層它在每 100 微秒就要觸發(fā)一次中斷CPU 被中斷子程序包圍。雖然中斷處理很短但高頻中斷對流水線預(yù)取、cache 命中率的破壞是巨大的???CPU 占用率可能不高但系統(tǒng)實(shí)時(shí)性嚴(yán)重惡化。這種情況我的經(jīng)驗(yàn)是直接改用 NEON 或普通 memcpy。32 字節(jié)的搬運(yùn)是百納秒級別DMA 的中斷開銷卻是微秒級別怎么算都不劃算。還有一個(gè)更隱蔽的坑DMA 中斷服務(wù)函數(shù)里的處理邏輯如果太復(fù)雜會(huì)導(dǎo)致下一次 DMA 中斷被延遲處理如果 DMA 通道沒有緩沖能力就可能丟數(shù)據(jù)。所以 DMA 中斷服務(wù)函數(shù)里要遵循“快進(jìn)快出”原則只做必要的數(shù)據(jù)指針更新和計(jì)數(shù)器維護(hù)真正的協(xié)議解析放到主循環(huán)或高優(yōu)先級任務(wù)里。5.3 NEON 拷貝在裸機(jī)上的數(shù)據(jù) ABORTNEON 指令本身不難難在它的使用環(huán)境。如果你在一個(gè)不帶 NEON 單元的老舊處理器上執(zhí)行 NEON 指令或者操作系統(tǒng)的 NEON 上下文保存與恢復(fù)機(jī)制沒有正確注冊就會(huì)觸發(fā) Undefined Instruction 異常。在 Linux 內(nèi)核模塊中使用 NEON 指令時(shí)要特別小心因?yàn)閮?nèi)核不保證 NEON 寄存器在上下文切換時(shí)被保存你需要先調(diào)用kernel_neon_begin()再執(zhí)行 NEON 代碼結(jié)束后調(diào)用kernel_neon_end()。裸機(jī)環(huán)境下相對簡單你只需要確認(rèn)編譯選項(xiàng)里打開了-mfpuneon鏈接時(shí)也要有對應(yīng)的浮點(diǎn)庫支持。否則即使代碼寫對了編譯出來的二進(jìn)制在真正執(zhí)行時(shí)也會(huì)異常。另一個(gè)容易踩的坑是指令集兼容性Cortex-A53 支持 NEON但某些入門級的 Cortex-M0/M0 根本不支持。所以在項(xiàng)目早期要明確目標(biāo)芯片的指令集范圍別把 NEON 拷貝代碼寫進(jìn)一個(gè)會(huì)被編譯到 M0 內(nèi)核的驅(qū)動(dòng)文件里那是災(zāi)難性的自找麻煩。6. 我自己的一套決策心法講了這么多原理和坑最后把這個(gè)選型思路凝練成一套簡單的判斷流程方便大家在實(shí)際項(xiàng)目中快速?zèng)Q策。先問三個(gè)問題數(shù)據(jù)塊多大傳輸頻率多高CPU 是否有更緊急的任務(wù)如果數(shù)據(jù)塊小于 256 字節(jié)或者傳輸頻率極高但每份數(shù)據(jù)只有幾個(gè)字節(jié)直接放棄 DMA選擇 NEON 或 memcpy如果數(shù)據(jù)塊大于 1KB并且傳輸頻率合理DMA 是第一選擇如果數(shù)據(jù)量在中間地帶就需要進(jìn)一步評估當(dāng)前 CPU 負(fù)載是否吃緊如果吃緊即使單次傳輸不太大也傾向于 DMA畢竟任何 CPU 拷貝的帶寬消耗都會(huì)占用核心執(zhí)行資源如果 CPU 還很閑那 NEON 的簡單高效就足夠了??紤]數(shù)據(jù)特點(diǎn)。如果源數(shù)據(jù)和目標(biāo)數(shù)據(jù)在內(nèi)存里天然是分散的比如多段不連續(xù)的內(nèi)存SG-DMA 的鏈表模式非常適合如果數(shù)據(jù)是連續(xù)的CPU 和 NEON 都可以簡單處理。考慮實(shí)時(shí)性。如果系統(tǒng)對中斷有極嚴(yán)格的要求比如中斷必須在某個(gè)硬期限內(nèi)響應(yīng)那 DMA 是唯一選擇因?yàn)樗诎徇\(yùn)大塊數(shù)據(jù)時(shí)不會(huì)阻塞 CPU。反之如果中斷的抖動(dòng)不太敏感NEON 反而簡單穩(wěn)定。這套心法的本質(zhì)就是一句話DMA 的價(jià)值不在“更快”而在“不占 CPU”NEON 的價(jià)值在“快而便宜”CPU memcpy 的價(jià)值在“簡單可靠”。三者的分工非常清晰沒有誰完全覆蓋誰。你只需要識別出自己的瓶頸到底在吞吐還是 CPU 占用答案往往就自己浮現(xiàn)了。寫到這里想起踩過的不少坑其實(shí)大多不是原理不懂而是沒把“為什么選它”想明白。抱著“DMA 一定比 CPU 快”的想法去設(shè)計(jì)幾個(gè)迭代之后就會(huì)撞上 cache 一致性、中斷延遲、描述符管理這些墻。反過來如果你帶著“讓合適的工具處理合適規(guī)模的數(shù)據(jù)”的思路去選型大部分情況下都能少走很多彎路。最后再分享一個(gè)小技巧把所有拷貝路徑做成一個(gè)統(tǒng)一的抽象接口內(nèi)部根據(jù)長度自動(dòng)選擇 memcpy、NEON 或 DMA這樣在項(xiàng)目初期不管你的選擇是否精準(zhǔn)后續(xù)調(diào)整都只需要改一處代碼不用把外層邏輯全部推翻。我就是靠著這個(gè)抽象層在一周之內(nèi)把整個(gè)通信驅(qū)動(dòng)的效率提了一倍也沒有引入新的難查 bug。希望這篇文章能幫你少掉幾根頭發(fā)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
黄色片大香蕉| 亚州Av天美传媒| 青久操| 欧美日动态视频| 美女91在线观看| 亚洲精品 欧美精品| 欧美亚州手机在线| 日韩欧美丝袜诱惑| 久久久一二三四区| 亚洲欧洲自拍图片专区满春格| 亚洲人成网站7777| 蜜乳AV免费观看| 国产91乱伦| 亚洲精品a人片在线观看视| 操逼日韩无码| 国厂麻豆77q4| 久操97| 1人人看人人摸人人操| 欧美日韩精品一区二区三区高清| 天天爽夜夜操| 久久亚洲色图中文字幕| 国产亚洲精品A在线观看下载| 日本欧美色| 蜜臀AV成人精品蜜臀| 国产一区二区久久| 日本高清视频xxxx| 99爱在线视频| 五月天婷婷社区| 国产黄片精品在线| 日本97久久久精品| 日韩av性爱在线播放| 色一情一乱一乱一区91Av| 九九玖玖精品| 国产999精品久久久| 蜜乳Av成人片网站| 久久色一区| 久久久成人免费av电影| 97干在线视频| 东北女人高潮视频| 五月天激情小说| 国产AV天美传媒一区二区三区 | 亚洲欧美一区二区不卡视频播放| 国产性爱强奸乱伦大全| 亚洲男人bt天堂| 大白逼三四级| 殴美大黄片| 欧美综合网1| 亚洲**2021在线观看| 亚洲国产一区二区三区在线 | 日本少妇va7777| 一起草三级AV电影在线观看| 韩国轻伦国内自拍一区| 狠狠色伊人亚洲综合网站色| 欧美影音在线| 五月丁香六月婷| 天天日熟妇| 国产精品自拍xxxx| 欧美se综合| 亚洲av无码成人精品国产| 青久久| 人妻激情偷乱视三区频一区二区| 女人久久久| 91在线限制级| 亚洲国产高清福利视频| 一区二区三| 性性久久| 97AV爱| 日本色色的视频| 亚洲欧美999| 午夜综合在线| 91爱做| 影音先锋国产精品| 岛国网址国产| 亚洲成人激情小说视频| 在线黄色污污网站| 亚州色交| www久久99| 日本视频在线中文字幕| 欧美九一精品久久久熟妇| 丁香六月婷婷久久综合| 久久久久国产精品喷潮免费观看臀 | 大屁股国产在线视频| 亚州国产精品乱| 免费自拍三级综合| 人妻偷拍一区二区三区| 久久香蕉国产线看观看亚洲女人 | 国产一国产一级毛片古装| 插入综合网| 亚洲国产婷婷在线播放| 国产精品嫩草影院午夜两性 | 97极品无码| 在线情色电影 91大 | AV九九| 国产女人高潮嗷嗷嗷叫小说| 免费家庭乱伦视频| 另类图片欧美激情综合| 久久九九97| 亚洲欧美综合网站| 学生妹天天看| 吊色| 粉嫩久久久极品| 精彩久久中文| 国产日韩精品一区二区三区| 麻豆蜜桃视频在线观看| 打av高清| 亚洲综合九| 4141514逼喷水三级片| 久久人人爽爽爽人久久久| 青青草自拍视频在线播放| 艳美熟妇先锋一二三区| 欧美 亚洲 大香| 欧美日韩国产电影| 99爱爱| 后入式999| 91精品在线播放| 久久久精精精| 国产精品久久久久久久无码AV| 蜜臀久久99精品久久久久久无删减 | 一起草三级AV电影在线观看 | 亚洲自拍小说| 9久久精品| 精品国产乱码久久| 91午夜无码| 91天堂色男人的天堂| 双插性欧美一二三区| 天美麻花大全视频| 亚洲人在线| 五月天欧美色图| 人妻第一页| a片自拍直播视频| 九月丁香婷婷色| 人妻天堂综合网| 熟妇一区二区三区| 国产精品农村妇女| 91人妻最真实刺激绿帽| 97综合在线| AV在线资源| 97这里只精品| 五十路六十路素人熟女| 深爱五月天| 国产人伦精品一区二区三区| 天天看特黄的免费网站 | 五月婷婷六月丁香| 欧美色图在线视频少妇| 秋霞成人一级在线观看| 青青网三级视频| 亚洲色图综合网| 日本中文熟女视频| 啊好大好舒服| 91人妻人人澡人人爽人人精品| 黄色高清无码无码破解免费暗网| 亚州综合色图| 在线播放成人高清免费视频 | 精品.99999| 亚洲欧美综合图片| 精品国产肉丝袜在线拍国语| 熟女精品一区二区在线观看| 少妇人妻好深太紧了vr91| 色婷婷九月| 青操影院| 激情丁香五月婷婷| 俞拍久久国应视频| 丁香五月天激情| 熟女高潮精品一区二区| 亚洲av无码成人精品国产| 韩国毛片一区二区三区| 欧美网站免费| 精久久久| 日本亚洲熟女视频| 躁躁躁日日躁2020| 久久超碰亚洲人| 在线观看不卡一区二区三区| 国产AV天美| 999久久久| 欧美综合站| 啊啊啊啊操死我| 97超碰69| 亚洲一本色道中文无码aV天美| 久久噜| 最新中文字幕在线亚洲| 九区国产| 国产在线不卡导航| 自慰白浆在线观看| 亚洲精品自拍| 亚洲情色综合网| 男人天堂一区二区| 国产亚洲日本精品在线| 国产9区| 天天干人妻| 大香蕉丝袜一级片| 翔田千里AⅤHD无码| 97在线亚洲| 大香樵伊人网| 亚洲第一狼人丝袜美女另类| 精品国产乱码久久久久久蜜臀| 国内精品久久国产,www香蕉久久五月丁香,亚洲欧美日韩精品永久在线,日本精品一 | 最近的最新的中文字幕视频| 日韩极品无码B| 日韩国产十八禁| 精品色色| 91视频伊人| 麻豆色约约| 成年女人一区| 67914亚洲精品| 强奸乱伦亚洲第一页| 久久欧美激情| 九九九九免费视频| 试看福利| 天堂av2019| 亚洲成A∨人影院在线欢看| 69av一区二区三区| 婷婷干黄色| 高清有码一区二区| 午夜舔阴达高潮视频免费看| 欧美精品宗合| 亚洲男人综合| 欧美91视频| 成人精品水蜜桃久久久久久久| 91精品国产综合久久久蜜臀| 精品夜夜澡人妻无码| 亚洲另类在线观看| 亚洲激情av| 夜夜爽爽爽| 国产日韩美女小穴视频网站不卡| 免费视频观看60秒| 九九九国产| 天天干人妻视频| 九九九九AV| 九九九久久久| 日日操免费视频| 久久久久亚洲Av无码专区老牛影视| 亚洲学生妹高清av| 影视综合无码少妇| 人人摸人人叼| 精品国产自在在线99| 免费视频a级毛片免费视频| 亚洲欧洲国产综合av| 久久久麻豆精品| 色婷婷影院| 英伦大奶子熟妇吊带| 久久这里精品国产99丫e6| 91精品电影18| 高清不卡 中文 人妻| 久久精品操| 无码一区免费在线不卡| 中国zzijzzijzzwww精品| 亚洲制服欧美另类内射| 99999无码| 九九九精品一区二区无码| 久久有码视频| 亚洲1区2区三区高清中文字幕| 国产AV毛片| 99色综合| 亚洲人人夜夜澡人人爽| 日日夜夜摸| 91动漫操逼视频| 男人的天堂啪啪| 色九九九九| 久久大香蕉97| 色色网91| 久久本道| 国产97亚洲| 99亚洲国产精品色一区二区三区| 国产做?爰片久久毛片?片美国| 天天插天天干| 手机在线大香蕉| 狠狠色狠狠色狠狠五月| 91女网站| 91精品国产91熟女| 交换娇妻呻吟声不停中文字幕| 香蕉久久国产AV一区二区| 秋霞福利网| 亚洲国产精品成人综合| 96久久科窝| 高清无码 国产精品| 日韩啪啪啪视频| 国产精品麻豆成人av| 久久久爆乳翘臀一线天伦理视频| 人妻第一页| 免费一级欧美片片线观看| 久久爱超碰网| 日韩 欧美 另类 人妻| 亚洲精品国产av天美传媒| 黄片免费视频2019| 丝袜综合| 国产51色综合久久免费| 久久久国产精品亚洲精品| 自拍偷拍国产欧美日韩韩| 91人妻超碰| 97这里只有精品| 日韩专区数据列表-第3230页-精品国产一区二区三区香蕉 久久99熟女人妻中文字 | 青青草好吊色| 伊人色综合超碰| 精品熟女呻吟久久91| 午夜天堂精品久久久久91| 国产一区二区在线看| 中文字幕在线高清男人的天堂| 日韩欧美久久婷婷网站| 色情综合| 日韩欧美日韩| 九月AV| 尤物黄色在线观看网站| 伊色久人大在线| 9/A片| 国产精品制服丝袜清纯唯美| 青青在线视频日韩欧美| 最新精品久久蜜桃| www.婷婷| 国产精品日韩在线一区| 四虎免费在线播放| 国产亚卅97| 九九色图| 婷婷av在线中文字幕| 日日日大屁股骚女人精品| 亚洲午夜AV| 18禁看网站一区| 国产超碰欧美| 精品久久久av| aaaa少妇高潮大片| 人人摸人人入| 超碰在线综合97| 校园春色制服丝袜中文字亚洲| 免费中文综合精品| 中文字幕乱亚洲美女精品一区| 久久伊人在线五区| 色婷婷成人| 99re热有精品视频国产| 成人线上超碰| 操东北女人| 日韩欧美传媒一区国产| 欧美色吧综合| 中文字幕熟女人妻丝袜丝| 久久最新视频免费观看| 91亚洲黑人| 美日韩成人| 国产日产精品久久快鸭的功能介绍| 清纯唯美亚洲| 在线日韩精品一区二区三区| 亚洲一区二区av| 免费男人的天堂| 97在线欧| 国产97在线播放| 人妻精品综合中文字幕在线| 四月丁香婷婷| 区一在线观看| 中文字幕精品乱码| 黄色一区三区| 一本色道熟妇| 中文字幕一区二区视频在线观看| 欧美一级美片在线观看免费| 九色在线熟女国产黑人| 操逼网站地址| 婷婷久久网| 日本精品无码三级网站| 亚洲精品亚洲人成在线麻豆| 日韩性爱高清免费视频| 久久久久久国产无码精品| 黄色性爱网网| 国产成人精品日本视频| 色婷婷电影网| 97精品视频免费| 加勒比伊人综合| 新怡红院| 思思久热在线精品66| 久久中文字幕一区不卡| 欧美日韩午夜精品一区二区三区 | 国产精品久久久啊| 伊人久久综合影院精品久久久| 精品福利视频| 97精品97久久| 国产h小视频在线观看免费| 一二三四视频中文字幕在线看| 国产欧美精选自拍一区| 日本天天色| 久久欧洲| 色网亚洲人| 中文字幕后石码四区五区| 精品人妻av在线播放| www.夜夜| 中字一区| 人人玩人人添人人澡免费| 91精品91久久久中77777| 中文字幕 人妻不满 在线视频| 超碰超碰95| 91劲爆| 乱操乱伦AV| 黄色视频特级毛片| 久久久国产精品人妻丝袜| 99热这里都是精品| 日人妻视频91| 一本久久精品中文字| 啪啪自拍九九综合| 黄色免费网页无码| 日韩欧美丝袜诱惑| 91丨人妻丨国产丨丝袜| 少妇高潮对白在线观看| 精品大久久| 亚洲色图91| 国产一级黄色片在线观看| 啊啊啊不要好爽日韩无码一区| 欧美一区二区日韩三区| 尤物av网站| 视频一区二区免费在线| 中文啪啪视频| 欧美人与动性人交a| 九九玖玖精品| 亚洲日本韩国在线| 久久东京热成人| 极品色社| 久久久免费的精品| 伊人精品久久网站| 国产精品ⅴ无码大片在线看.| 欧亚日韩中文在线| 色色婷婷丁香| 干少妇视频| 美女一区二区国产精品| 丝袜色综合| 天天搞在线综合网| 97超碰色屌| 超碰在线香蕉| 97色在线视频| 2025亚洲男人天堂| 久久亚洲国产成人| 很很很很操| av资源在线播放天堂| 天天干人人乐| 超碰97男人| 人人弄人人摸| 日躁天天爽爽| 亚洲欧美在线观看免费| 日韩伦理久 久久 清纯| 深喉吞精| 日本熟妇人妻中出视频| 99啪啪| 干少妇视频| 强免费黄色网址| 97在线观视频免费观看| av黄图片在线观看| 婷婷尹人大香蕉免费| 国产精品久久久久久久免牛肉蒲团| 性色综合网| 女人午夜视频777| 亚洲 欧美 另类 日韩 人妻一区| 亚洲精品九九九| 1769精品一区二区三区| 97超碰这里只有精品| 一区二区三区免费视频入口| 精品妇女一区二区三区| 亚洲色性| 亚洲欧美中文日韩视频中国语| 性性久久| 久久精品国产99精品亚洲蜜...| 91在线|亚| 久久久久国色αv免费观看| 欧美午夜一区二区三区| 亚洲欧美日韩国产丝袜自拍中文| 久久久久久久伊人精品| 日日天天久久啊啊aaa| 一本色道久久综合精品婷婷| 国产中文大片资源中文字幕| 1区2区3区中文字幕日韩| 欧美一级黄色免费专区| 欧美色图天堂网m| 亚洲熟女诱惑| 国产成人亚洲精品自产在线| 青草精品视频日本久久久久网站在线| 久热91| 91国产丝袜白虎| 国产精品熟女乱伦| 东京热91| 欧美躁死她一区二区| 日韩大香蕉AV影片| 骚货人妻偷情自拍在线视频| 国产色图乱伦| 久艹伊人精品综合在线| 亚洲无码太久| 亚洲综合贴图91| 国语av最新自产拍在线观看| 尤物视频新赏网鲜网色诱网| 国产成人网址| 亚洲久久久久| 亚州再线| 成年女人黄网站| 久久一区二区加油站| 欧美一区二区三区四区综合| 久久久久9| 欧美日韩国产色图在线| 中文字幕激情小说| 高清不卡视频| 久久中文字幕一区不卡| 91AV天美在线视频| 五月天婷婷久久| 97伊人超碰| 日韩在线76| aaa亚无码专区| 人妻 欧美 中文| 欧美午夜视频免费观看| 久久成人网站| 91爱综合| 精品中文字幕第一页| 欧美亚洲高清晰| 欧美日韩高潮喷水91| 亚洲AV成人精品网站在AV| 日本日日色视频| 国精精品无码一二三区水多多| 欧美色图片色哟哟| 亚洲宅男天堂| 人人摸.人人色| 欧美色图99| 67914亚洲精品| 酒色综合网| 91网站视频在线观看| 日本在线视频导航| 日韩强奸av| 青青草伊人久久| 亚洲精品影视老司机| …中文字幕亚洲乱,97人妻无码费视…| 男人天堂欧美| 婷婷九月国产| 亚洲乱色视频一区、二区在线| 欧美伊人久久综合网| 中日韩久久久免费看| 少妇99成人麻豆| 一区二区三区免费岛国片| 97爱亚洲| 99re只有精品| 婷婷中文网| 高清无码久操视频| 久久9精品网站| 亚洲人在线| 丁香五月色情| 岛国免费黄色网址| 人妻丝袜美腿中文字幕| 校园春色家庭伦理欧美激情| 成人无码专区精品视频| 美中日韩无码| 蜜乳视频网站| 啊啊啊啊啊啊好多水| 乱老熟女一区二区三区| 在线观看十八禁| 中文字幕亚洲在线一区| 久久在线观看免费视频| 96久久久久| 婷婷五月天无码| 色月天AV导航| 日本一本一区二区三区四区五区欧美日韩中文字幕 | 91看黄片| 97久久国产| 中文无线日韩一区| 国产自产91区13区| 久久性爱大全| 无码精品久久久天天影视| 狠狠婷婷亚洲中文综合久久| 噜噜噜噜天天狠狠| 青青青草伊人精品| 农村妇女精品一区二区| 国产自偷自拍一区| 丝袜熟女一区二区三区| 一本色道综合久久欧美| 亚洲男人天堂网| 九九九偷拍| 亚洲成人妻日韩在线| 一区二区三区四区五区高清无码永久视频| 五月丁香婷婷色| 国产精品无码久久久久2028| 久久透逼视频| 性爱综合一区二区| 三级日韩一区二区三区| 亚洲97资源| 欧美伦乱爱| 亚洲。日韩。欧美| 狠狠操狠狠爱| 91成人久久 | 亚洲欧美中日韩| 丁香五月激情啪啪| 狠狠操天天干| 久草五月| 长长久久曰曰夜夜成人网| 色色色热| 深夜啪啪啪视频免费| 人妻少妇视频在线播放| 久久久久成人蜜桃精品| AV一二区| 欧美在线55555| 久操大香蕉超碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰 | 91亚洲不卡一区| 男人的天堂2019AV| 五月天丁香网| 激情五月天色色网| 亚洲男人天堂2019| 欧美十八禁在线看| 高清无码 国产精品| 亚洲最大的综合性av| 91人人臊| 五月丁香色婷婷| 精品成人女人久久| 久久久婷| 国产一线二线三线av| 中国AV美女| 亚 欧 美 综合| 久久久婷| 5月婷婷6月六月丁香| 亚洲素人综合| 色牛牛AV| 黄色成年| 日韩懂色网| 91视频国品一二三区| 天天日天天搞天天干| 可能人人看人人摸| 亚洲在钱| 69AV女优男人的天堂| 日本成人A片网站| 精品久久久久综合无码| 日日嗨AV一区二区夜夜| 九月丁香婷婷| 乱欲一区二区| 国产精品3| 太久视频| 婷婷九月丁香| 色吧综合网| 精品国产综合久久福利,热99这里有精品综合久久,99热这里只有免费国产精品,精 | 精品人妻一区二区免费蜜桃| 婷婷色色五月天| 女优视频第10页| 日韩不卡av一二三| 久久9999 | 家庭乱伦麻豆| 久久九九97| 久久人爽| 婷婷情色五月天| 一区二区久久天天干狠狠| 在线v中文字幕一区二区三区| 欧美色亚洲| 一区二区三区四区姦女| 老司机福利青青草| 夜夜嗷嗷一区二区| 日韩性爱毛片操骚逼| 97在线欧洲| 国产精品麻豆成人av| 国产成人久久久精品免费AV| 国产老太乱伦一区| 超碰人妻中文在线| 很黄很色的视频在线观看| 337p大胆噜噜噜噜噜91Av| 午夜免费视频1000| 大香蕉丝袜一级片| 加勒比aⅴ| 亚洲AV免费在线观看| 亚洲伊人久久精品狠狠在线| 伊人综合色网| 成人影 天天操 亚洲| 丝袜内射| 亚洲在高跟鞋自慰久久在色线| 久久久久免费少妇| 色欲久久久久综合网| 日本黄色天堂| 天美传媒国产原创中文字幕亚洲欧美另类 | 91高清欧美| 玖草在线视频| 98人妻精品一区二区色欲| 视频一区二区三区精品| 一区二区视频你懂的| 成人日韩欧美| 欧美日韩国产中文精品字幕自在自线, | 粉嫩小泬久久久一区二区| 国产性刺激| 夜夜操夜夜爽夜夜高潮| 99自拍视频在线观看| 中文字幕在线观看永久| 97资源站久久| 国产小炒后入式| 欧美1727免费观看视频| 波多野结衣AV无码一区| 老熟妇综合| 天天草天天日| 水澄无码AV| www. 男人天堂成人在线| 日韩免费中文字幕视频| 久久手机好看网站| 久热99999| 一级黄色性爱A级片| 五十路熟女工口| 在线情色电影 91大 | 亚洲国产午夜真人一级片中文字幕精品黄网站 | 国产91影院| 美国精品国产精品| 五月天色图影视| 少妇99| 久久久天美| 啪啪啪亚欧美视频| 操我无码| 97视频观看| 国产精品96久久久久久| 91精品人妻一品二品三品| 日韩在线观看中文字幕视频| 久久亚州大香蕉| 国产九九九九九九九九| 密臀AV在线| 26uuu性物| 日韩少妇在线视频| 久草精品国产99| 大吊色| 亚洲无992tv| 尤物av网站| 火箭成精品视频884必出精品| 东京日日夜夜| 国产精品人妻一区二区| 亚洲精品国产精品乱码不卡| 熟女五十路一区二区三| 99热大香蕉伊在线| 亚洲日本韩国在线| 男人的天堂va在线| 久久综合精品一区二区三区| 蜜乳AV.COM| 风骚少妇视频中文字幕| 强奸xx国产| 天天拍夜夜| 欧美精品丝袜久久久中文字幕| 国产精品久久久久久久久久梁医生| 嗯嗯啊好大| 亚洲AV无码成人精品久久| 国产日本顶级一区二区三区| 91亚州日韩高清| 日本不卡五区| 国产偷人妻精品一区二区在线| 午夜AV人气不卡| 一区二区三区男人的天堂| 一区二区激情国产熟女| 天天噜| 久久久性爱视频| 殴美大黄片| 午夜噜噜噜| 欧美最婬乱婬爆婬性视频| 91天天综合日韩欧美| 欧美一级AAAAAAA| 男人的午夜天堂| 视频二区熟女人妻| 97中文字幕一区| 中精品一区二区三区| 亚洲伊人青青草| 乱伦一二三| 无码聚合| 殴美性色a级欧美| 亚洲中文字幕网| 欧美综合97www| 亚洲熟女乱综合一区二区三区| 婷婷久久五月| 91骚熟女| 91综合无码| 屁股久久久久久| 婷婷中文网| 久操热| 天天日天天操VV| 人人操人人色网| 亚洲综合校园春色| 色婷婷国产精品一区在线观看| 亚洲一本色码中文字幕| 亚洲高清在线| 免费日韩黄片| 91丝袜在线播放| 日本伦理一区二区| 最近的最新的中文字幕视频| 久久精品国产亚洲AV清纯| 内射黑人| 九九伊人网| 日韩人妻播放| 色色毛片| 亚洲人妻日日日| 伊人久久亚洲色欲综合网站 | 性爱av网站| 99久久久久久亚洲精品不卡| 久久久亚洲精品中文字幕人妻| 白丝少妇一区二区| 精品少妇一区二区三区在线视频| 亲子敌伦对白在线播放| 中文日韩欧美熟| 国产精品午夜成人福利| 人妻激情偷乱视频一区二区三区 | 欧美网站免费| 2017人人操,人人摸| 亚州一区二区| 午夜啊啊| 尤物AV免费网站| 91强在线播放| 九九热这里只有在线精品视 伊人草 成人菠萝蜜视频在线观看 | 欧美淫穴| 久久激情视频| 人妻22p| 人摸人人操人| 欧美成人免费在线观看| 四方色播| 97超碰9| 久久久亚洲熟妇资源| 东京热99999| 天综合中文| 99自拍视频| 囯产操逼片| 国产精品亚洲无码| 久热在线精品免费观看| 国产日韩精品suv| 亚洲综合另类| 成·人免费午夜在线观看| 久肏视频字幕| 一二三四区电影| 日日嗷| 日韩美女,国产传媒,视频一区| 亚洲色图加勒比| www四虎| 亚洲不卡av在线| 久久综合五月天| 久久婷婷五月天| 黄色电影观看久久9| 人人摸.人人色| 久久国产免费激情视频| 色狠狠 - 百度| 国产女乱淫真高清免费视频| 亚洲欧美在线观看无码| 色在线亚洲视频www| 久久国产性爱| 97精品熟女少妇一区| 干日本人少妇午夜寂寞影院| 天天操夜夜嗨| 美女被艹尤物视频| 久久男女激情视频网站| 丝袜大香蕉| 久久极品一区二区| 黑人精品成人一区二区三区| 日韩乱伦AⅤ| 日日夜夜精品| 九九九久久久| 国产内射爽爽大片| 日韩中文字幕视频| 人人操人人uiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii | 超清中文乱码字幕| 亚洲无码视频免费在线观看网址!| 日本成熟少妇A∨网站| 欧美伊人久久综合网| 蜜乳AV一区| 色综合久| 又黑又大又粗| 另类图片五月| 啊啊啊啊操死我了| 欧美在线干| 野狼福利社区| 中文字幕日韩精品久久| 日本一区二区三区四区免费观看| www久久99| 强奸乱伦麻豆| 天天综合91在线| 超碰在线974| 一牛一区二区三区久久| 婷婷色香| 91少妇通奸网站| 熟妇女伦乱视频视频| 熟女熟妇一区二区三四区| 国产精品乱码久久久久| 超碰精品日韩欧美国产| 久久久久久久久成人av解说| 国产女生在线| 日日操天天操| 欧美AB在线观看| 亚洲欧美日韩国产丝袜自拍中文| 丝袜亚洲91| 久一区久久蜜桃| 亚洲暴力强奸AV| 天天综合,91综合永久| 日韩美女,国产传媒,视频一区| 亚洲自拍小说| 最新亚洲人成网站在线影院| 99九九久久| 老女人碰碰在线碰碰视频| 精品人妻一区二区三区四区| 熟妇一区二区| 国产亚洲精品av一区| 精品女人999| 中日韩久久久免费看| 精品国模无码| 色999;丁香五月| 国产青视频| 91九色丨风韵犹存| 成人性爱美曰韩| 丝袜制服字幕在线| 色偷偷综合91久久噜噜| 婷婷av在线中文字幕| 上海一级黄片| 无码一区二区三区四区五区六区七区八区九区十区视频 | 欧美夜夜草视频| 免费看日本操逼视频| 久久綜合很很很| 9丨久久九九九| 日韩操啪| 亚洲 综合 欧美| 亚欧美综合网。| 午夜小电影在线插入淫高潮| 国产精品免费视频人成| 熟妇艹鸡八| 97超碰大| 欧美极品性爱天天射| 91原创在线观看| 天天综合网合集91| 91春色| 大香蕉520| 中文精品一区二去| 精品亚洲国产成人av网站| 一区二区三区四区五区高清无码永久视频 | 久久偷偷色综合蜜桃| 26uuu国产亚洲综合| 91狠狠综合久久久久久| 青青三级视频| 国产精品第一区第一页| 一品道视频一区二区三区| 国产精品久久久亚洲第一牛牛_在线观看 | www.高清无码诱惑一区.com| 亚洲男人在线观看天堂| 欧美做爰无码A片视频| 近亲乱伦一区二区| 精品女同一区二区三区| 98色网| 大色综合网| 久久九九热| 综合av社区| 熟女欧美日韩综合婷婷| 色官网色综合| 综合网 欧美| 熟妇熟女亚洲天堂网| 操逼无毒无码免费视频| 性爱乱伦一区| 欧美少妇第一页| 欧美精品三区| 欧美日韩222| 五月丁香婷婷色| 无码抄逼网| 九九九九九九九九九国产精品| 乱伦熟女区| 少妇激情一区二区三区视频| av在线资源| 美女久久久| 国精综合一二三区影视| 中文操嬖片。| 精品欧美乱码久| 另类av天堂| 久久久夜夜嗨免费视频| 97av在线观看| 久久国模av| 激情五月天网站| 99久久精品无码一区二区毛片免费| 亚洲色入欧美| 亚洲少妇色| 欧美日韩精品一区二区三区高清| 熟妇乱伦一区二区| 久久一区无码| 亚洲无码 国产无码| 色 亚洲 91| 动漫片子网站3黄| 日日噜噜夜夜久久亚洲一区二区 | 亚洲视频二区 | 国产无马视频| 午夜精品久久久久久久99热影院| 九久久九精品视频| 国产AV超爽| 日本免费人成视频播放120秒| 97chaopenrihan| 丝袜内射| 日韩精品人妻中文字幕久久久| 97色色,97综合| 天天插天天插| 97在线视频观看免费| 激情五月综合网| 玖色av| 国内精品不卡无毒99999| 岛国天天午夜影院传媒网| 亚洲欧洲偷拍一区| ,成人免费啪啪视频| 人妻大香蕉| 天天操狠狠日夜夜干超碰撸com视频在线观看 | 亚州九九九精品视频| 亚洲精品久久久久久久蜜桃臀| 熟妇人妻精品一区二区| 久久、1234| 日韩av乱伦| 国产91精品在线免费| 78超碰| 人人搞人人插人人操| 九九久久一区二区伦理| 欧美亚洲综合色| 在线小说视频一区| 亚洲少妇在线观看| 97人人干| 日产精品久久久一区二区| 久久只有精品| 91N综合在线| 亚洲凸凹超碰成人| 大象AV在线| 丁香五月天啪啪| A男人的天堂| 伊人网青青| 久99视频| 大香蕉日亚洲日本亚大| 日韩中文字幕国产| 亚洲国产欧美另类自拍| 欧美少妇第一页| 97在线看| 这里都是精品在线观看| 天天插天天操天天摸天天射天天看| 精品一区二区三区蜜桃臀赵总 | 啊啊啊好爽快点啊啊啊嗯嗯| 粉嫩久久久久| 蜜乳av一区二区| 丰满搜索结果 -第18页- 久久高清无码| 9久热这里只有精品| 五月丁香综合啪啪| 丝袜美腿丝袜| 日本久久精品| 热热色国产一二区AV| 思思热影视| 安微少妇操BBB| 亚洲成?V人片在线观看福利| 999久久久精品国产| 亚洲欧美91√| 玖草在线视频| 97操操| 99热18这里只有精品| 九九九九欧美| 在现视频女上位好爽| 人人透人人操| 91碰超| 一个国产在线综合网站| 久操国产在线| 美女91网| 九九九九九九九| 久久鲁夜| 日韩ab网 | 国产一级高清免费观看| 亚洲成成熟女人综合一区二区| 日韩综合97P| 91撸色网 玖玖网 欧美| 日韩无码嘿咻黑热久| 天堂精品在线| 99色视频| 久久五月综合| 曰韩av中文字幕专区| 黄色片大香蕉| 日本高清有码网址视频| 国产精品自在线发布| 日本潮催一卡操| 不卡日本一区二区| 欧美天天综合网| 久久超碰com| 蜜臀一区二区三区亚洲最新章节在线观看 - 高清蜜臀一区二区三区亚洲全集播放 | 欧美亚洲清纯| 大白逼三四级| 9久9久| 热久久无毒不卡| 欧美在线综合| 素人伊尹大香蕉免费下载视频| 亚洲高清男人天堂| 亚洲91射| 日韩无码AB| 日韩精品操少妇| 9久久9综合| 国产人妻精品久久久一区二区三区 | 综合色欧美| 欧美日韩欧美| 91亚洲色图| 日本欧美中文字幕| 精品无码欧美三级| 99亚洲精品| 69少妇一区二区| 亚洲AV无码黄色强奸| 国产熟女乱论| 欧美综合娱乐久久| 深夜激情无码| 黑丝内射一区二区三区| 麻豆亚洲Av成人无码一区精品| 青青11操操操操操操操操| 99re视频在线观看这里只有精品| 黑丝少妇| 中文字暮97| 午夜欧美J进J出白浆流出久久久| 精品久久久久久久久久久久| 啊啊啊啊啊好舒服视频| 欧美性五月| 熟女人妻一区二区三区免费看 | 十八禁啪啦拍视频无遮挡| 啪啪啪大香蕉| 亚洲 欧美 中文 日韩超碰| 久久25| 91国产在线精品| 亚洲小说视频| 精品无码产区一区二| 老熟女天天操| 另类图片综合| 欧美日韩国产另类综合| 亚洲精品精品一区二区| 丁香五月影院| 九九热免费在线国产视频伊人五月| 黑丝日韩av丝袜av| 51一区二区三区| 久操视频在线观看| 天天草夜夜草高潮片| 免费人成毛片乱码| 免费观看日本操逼视频| 久久久久久网址| 午夜小电影在线插入淫高潮| 91性网| 黑人综合网| 97天天日| 日韩三级伦理中文字幕| 好涩综合| 国产又粗又长的视频| 情色五月天网| 久久精品日韩专区免费观看| 九九热午夜欧亚国产视频| 精品九九淫乱男| 亚洲AV在线资源| 青青草这里只有精品| 99精品国产户外露出| 国产在线强奸视频| 青青草天天亲夜夜操网| 青青操青娱乐| 午夜120视频在线观看| 人人做人人妻人人夜视频| 丁香激情五月天| 天天欧美色| 超碰碰激情97+久| 国产精品白领在线观看 | 狠狠操狠狠插| 美女露胸露屁股| 五月天激情小说| 日本人人操人人操| 亚洲天堂色图| 1.igao73.com 加入收藏 免费专区 国产精品 中文字幕 日韩精品 欧美精品 精彩 | 精品一区二区三区蜜桃臀赵总 | 久久久久久中文| 牛牛操视频逼| 97在线精品| 91影视亚洲| 国产精品嫩草影院午夜两性 | 这里都是精品在线观看| www.狠狠干.coom| 日本黄色天堂| 欧美高清无码免费视频高清版| 国产尤物AV尤物在线观看不卡| 91在线综合网| 欧美色干| 熟女字幕| 人妻免费观看| 91搞逼视频| 黄片在线免费在线观看| 亚州人妻| 国产亚洲99久久精品熟| 日本片日本片祼观看网站在线看中文版网页在线看| 久久久久久久78| 久久春色| www激情| 男人把坤坤插入女人的下体| 精品性爱| 日韩情色视频| 精品午夜福利| 91社操逼|