前陣子我需要一塊 RISC-V AI 芯片的實(shí)驗(yàn)臺(tái)。芯片工程樣片還在工廠里軟件棧又不能等于是我把目標(biāo)轉(zhuǎn)向了 QEMU在一臺(tái)普通的 x86 主機(jī)上用純軟件模擬拉起一塊 RISC-V 64 位開發(fā)板把 Linux、PyTorch、RVV 向量擴(kuò)展環(huán)境全部跑通。和以前不一樣的是這次環(huán)境搭建不是我一條命令一條命令手敲的整個(gè)過(guò)程由 AGENT 主導(dǎo)它負(fù)責(zé)拆任務(wù)、查資料、生成腳本、分析啟動(dòng)日志我只在最關(guān)鍵的架構(gòu)選擇上做最終確認(rèn)。寫這篇內(nèi)容是想把整套“Agent QEMU RISC-V AI軟件棧”的搭法記錄下來(lái)給準(zhǔn)備做 RISC-V 軟件預(yù)研、內(nèi)核驅(qū)動(dòng)開發(fā)或者 AI 推理?xiàng)Ｒ浦驳呐笥岩粋€(gè)可直接復(fù)用的參考。我不會(huì)把每個(gè)細(xì)節(jié)都講成教科書重點(diǎn)放在三個(gè)地方為什么用 QEMU 而不是等真板子、Agent 在這個(gè)過(guò)程里到底能承擔(dān)什么、以及真正跑通一塊 AI 實(shí)驗(yàn)臺(tái)會(huì)遇到哪些坑。1. 先搞清楚這塊實(shí)驗(yàn)臺(tái)到底要模擬什么動(dòng)手之前務(wù)必先想清楚一件事QEMU 到底是用來(lái)“替身”哪一塊硬件的。如果你連這個(gè)都沒(méi)想好后面整個(gè)環(huán)境搭出來(lái)也會(huì)四不像。1.1 RISC-V AI 芯片QEMU 能模擬到哪一層RISC-V 和 x86 不太一樣它不是一個(gè)具體 CPU而是一套指令集架構(gòu)下面還有一系列可選擴(kuò)展。AI 芯片通常關(guān)注的是向量計(jì)算能力也就是 RISC-V 的 V 擴(kuò)展RVV以及 AI 推理時(shí)常會(huì)用到的各種自定義指令。QEMU 作為一個(gè)指令級(jí)模擬器可以在-cpu參數(shù)里把這些擴(kuò)展打開讓 guest 里的代碼真正執(zhí)行到 RVV 指令比如vadd.vv、vfmacc.vv這樣的向量運(yùn)算。這是最接近“AI 芯片計(jì)算核心”的模擬層級(jí)。QEMU 也能承擔(dān)平臺(tái)級(jí)模擬。virt機(jī)器是一塊虛擬開發(fā)板包含 UART、PCI 總線、virtio 外設(shè)等。你能在上面跑完整 Linux 內(nèi)核也能通過(guò)-device掛載額外的模擬設(shè)備。如果你有一顆自研的 NPU想把它的寄存器模型做成 QEMU 設(shè)備再在 guest 里寫驅(qū)動(dòng)訪問(wèn)它這條路也是通的。還有一層是軟件棧級(jí)模擬也就是不關(guān)心底層是不是真的仿了 NPU只要 guest 里能跑 PyTorch、ONNX Runtime 這類 AI 軟件驗(yàn)證它們?cè)?riscv64 上能否編譯、能否運(yùn)行就達(dá)到了目的。我這次選擇的是“指令級(jí) 軟件棧”組合一方面用-cpu rv64,vtrue驗(yàn)證 RVV 代碼另一方面在 guest 里搭 Python AI 推理環(huán)境。至于具體 NPU 的寄存器模型后面再慢慢加。這樣做的好處是周期短、可控性強(qiáng)壞處是沒(méi)辦法評(píng)估真實(shí)芯片的性能因?yàn)?QEMU 的 TCG 翻譯執(zhí)行比真實(shí)硬件慢很多跑出來(lái)的性能數(shù)據(jù)沒(méi)有參考意義。1.2 為什么不等真板子非要折騰 QEMU很多人的第一反應(yīng)是去買一塊 RISC-V 開發(fā)板不就行了嗎如果只是玩一玩確實(shí)可以。但放到項(xiàng)目里真板子有幾個(gè)繞不開的麻煩。第一貨期不可控。芯片廠商給的評(píng)估板數(shù)量有限經(jīng)常要排隊(duì)有時(shí)候軟件團(tuán)隊(duì)要提前三個(gè)月開始干活。第二成本不可控。一塊帶 NPU 的 RISC-V 板子價(jià)格不低而 QEMU 只需要一臺(tái)能跑 x86 的普通電腦零硬件成本。第三CI/CD 需求。我想在每次代碼提交后自動(dòng)跑一遍 RISC-V 的軟件測(cè)試真板子只有一兩塊沒(méi)法并行跑多實(shí)例QEMU 則可以同時(shí)開四五個(gè)虛擬機(jī)每個(gè)測(cè)試一個(gè)干凈環(huán)境。QEMU 還有一點(diǎn)被很多人忽略它可以模擬“還沒(méi)存在的芯片”。芯片流片之前軟件開發(fā)必須先行這時(shí)候 QEMU 是唯一能讓你提前接觸指令集和平臺(tái)模型的工具。你可以在 QEMU 上先把內(nèi)核驅(qū)動(dòng)寫好、把 AI 推理框架移植好等芯片回來(lái)直接跑。當(dāng)然也有代價(jià)。RISC-V guest 在 x86 宿主機(jī)上不能走 KVM 加速只能靠 TCG 動(dòng)態(tài)翻譯CPU 密集型任務(wù)會(huì)明顯變慢。如果你要測(cè)真實(shí)推理延遲、吞吐量那還是得等真板子。我的建議是軟件棧驗(yàn)證、功能調(diào)試、內(nèi)核開發(fā)用 QEMU性能測(cè)試和功耗測(cè)試等硬件。2. AGENT 鏈路設(shè)計(jì)怎么寫任務(wù)書怎么防止它亂來(lái)這次環(huán)境搭建最特別的一點(diǎn)是我把大量工作交給了 AGENT。很多人用 AI 工具只是問(wèn)一句“怎么寫命令”然后自己復(fù)制粘貼。真正像樣的做法是把 AGENT 當(dāng)成一個(gè)會(huì)自己動(dòng)手的實(shí)習(xí)生給它明確任務(wù)、明確邊界、明確驗(yàn)收標(biāo)準(zhǔn)。2.1 任務(wù)書不只是幾句 Prompt我建了一個(gè)工作目錄在里面放了一個(gè)TASK.md內(nèi)容不是隨便幾句話而是帶驗(yàn)收條件的任務(wù)書。# TASK.md 目標(biāo)在宿主機(jī)上用 QEMU 拉起 RISC-V 64 位 Linux并在 guest 里安裝可用的 AI 推理環(huán)境。 環(huán)境約束 - 操作系統(tǒng)宿主機(jī)為 Ubuntu 22.04 - 工作目錄/home/user/riscv-lab - 不允許修改宿主機(jī)全局配置 - 所有產(chǎn)物輸出到 /home/user/riscv-lab/build 執(zhí)行步驟 1. 檢查 qemu-system-riscv64 是否存在不存在則用 apt 安裝 qemu-system-misc 2. 獲取 Ubuntu riscv64 cloud image 或可替代 rootfs 3. 編寫并執(zhí)行啟動(dòng)腳本 qemu-run.sh 4. 確認(rèn) guest 能通過(guò) SSH 訪問(wèn) 5. 在 guest 中安裝 python3-venv給出 PyTorch CPU 版本的安裝方案 6. 輸出啟動(dòng)腳本、運(yùn)行日志、每步執(zhí)行記錄 驗(yàn)收標(biāo)準(zhǔn) - 啟動(dòng)腳本可以直接拉起到串口控制臺(tái) - SSH 端口映射可用 - guest 內(nèi)能執(zhí)行 python3 -V - 記錄失敗的步驟和原因這份任務(wù)書看起來(lái)簡(jiǎn)單但比普通 Prompt 多出了“約束”和“驗(yàn)收”兩部分。約束是告訴 AGENT 什么不能碰驗(yàn)收是保證它不會(huì)只在表面上完成一半就交差。我在后面還會(huì)強(qiáng)調(diào)一點(diǎn)AGENT 每一步產(chǎn)生的日志都要落盤畢竟它跑完就忘了日志是我事后復(fù)盤和回滾的依據(jù)。很多人在用 AGENT 的時(shí)候會(huì)糾結(jié)該選哪種 agent 框架。其實(shí)沒(méi)有標(biāo)準(zhǔn)答案。對(duì)我來(lái)說(shuō)關(guān)鍵是這個(gè) AGENT 有沒(méi)有“執(zhí)行命令”的能力而不是停留在聊天界面上。所謂 harness就是讓 AGENT 調(diào)用工具時(shí)走權(quán)限檢查的殼技能 skill 則是一些可復(fù)用的套路比如“QEMU 啟動(dòng)參數(shù)模板”。如果你用現(xiàn)成的 Agent 框架選支持終端操作的如果你是技術(shù)出身也可以自己寫一個(gè)循環(huán)本質(zhì)上就是“模型決定下一步動(dòng)作 - 執(zhí)行命令 - 把輸出反饋給模型”。2.2 AGENT 自動(dòng)完成的部分和我人工確認(rèn)的關(guān)鍵點(diǎn)整個(gè)流程里AGENT 自動(dòng)完成的事情包括檢查 QEMU 是否安裝、搜索 Ubuntu riscv64 鏡像下載地址、生成啟動(dòng)腳本、分析啟動(dòng)日志并嘗試修復(fù)、給出 guest 內(nèi) Python 環(huán)境的安裝步驟。這些事如果我自己做大概要一到兩個(gè)小時(shí)AGENT 十幾分鐘就跑完了。但我沒(méi)有把所有決策都交給它。有幾個(gè)點(diǎn)是我人工確認(rèn)后才讓它繼續(xù)的。一個(gè)是機(jī)器選型。AGENT 一開始用的方案是-machine sifive_u因?yàn)榫W(wǎng)上很多舊教程都是拿這塊板子舉例。但我想用virt原因是virt 是純虛擬平臺(tái)virtio 設(shè)備支持更完整后續(xù)要掛自定義設(shè)備模型也更容易。這個(gè)選擇直接影響了整個(gè)環(huán)境的基礎(chǔ)。另一個(gè)是網(wǎng)絡(luò)模式。AGENT 默認(rèn)建議用-netdev user我認(rèn)可。但如果未來(lái)想用固定 IP、多臺(tái)虛擬機(jī)互相通信就需要改成tap0橋接模式這涉及宿主機(jī)網(wǎng)橋配置權(quán)限要求高不能隨便讓 AGENT 自動(dòng)改。還有一個(gè)是 rootfs 選擇。它最初想下載完整的 Ubuntu cloud image我確認(rèn)了這個(gè)方向沒(méi)問(wèn)題但提醒它先檢查鏡像里是否自帶內(nèi)核和引導(dǎo)避免啟動(dòng)時(shí)還要自己去拼 OpenSBI、內(nèi)核、initrd。事實(shí)證明這個(gè)檢查很關(guān)鍵后面省了很多事。2.3 權(quán)限邊界與回滾機(jī)制AGENT 能執(zhí)行終端命令聽(tīng)起來(lái)很爽但也意味著它有破壞宿主機(jī)的風(fēng)險(xiǎn)。我的經(jīng)驗(yàn)是盡量不讓 AGENT 直接拿到 root 權(quán)限即使它說(shuō)“需要 sudo”也要在任務(wù)書里寫明必須停下來(lái)詢問(wèn)。如果一定要允許就在宿主機(jī)上創(chuàng)建一個(gè)低權(quán)限用戶只給它操作工作目錄的權(quán)限。另外工作目錄本身也要設(shè)計(jì)成可丟棄的。我把所有下載的鏡像、生成的 rootfs 都放在build/下萬(wàn)一搞壞了直接刪掉重來(lái)。QEMU 的磁盤鏡像我用的是 qcow2 格式它天然支持快照環(huán)境弄亂之后可以qemu-img snapshot -a一鍵回滾。這一點(diǎn)強(qiáng)烈建議你做到因?yàn)槟阕?AGENT 自由操作時(shí)它一定會(huì)踩坑能回滾比什么高級(jí)技巧都實(shí)在。3. QEMU 拉起 RISC-V 系統(tǒng)的關(guān)鍵實(shí)操現(xiàn)在進(jìn)入物理層面。無(wú)論 AGENT 多聰明最終還是要落地成幾個(gè)命令和文件。下面的操作我在 Ubuntu 22.04 上完整跑通過(guò)細(xì)節(jié)比較啰嗦但每一步都有原因。3.1 宿主機(jī)準(zhǔn)備與鏡像獲取先把宿主機(jī)需要的軟件裝上。sudo apt update sudo apt install -y qemu-system-misc qemu-utils wget xz-utils檢查 QEMU 是否裝好qemu-system-riscv64 --version如果提示找不到命令可能是因?yàn)榘l(fā)行版里這個(gè)二進(jìn)制被拆分了。Debian/Ubuntu 下qemu-system-misc包含 riscv64 模擬器裝好后直接可用。下一步是獲取鏡像。我用的是 Ubuntu riscv64 cloud image這個(gè)鏡像基于 qcow2 格式可以直接被 QEMU 作為磁盤使用不需要再轉(zhuǎn)換。下載地址在 Ubuntu 官方 cdimage 站點(diǎn)選擇release下對(duì)應(yīng)版本的ubuntu-XX.XX-preinstalled-server-riscv64.img.xz。mkdir -p /home/user/riscv-lab/build cd /home/user/riscv-lab/build wget 鏡像下載鏈接 xz -d ubuntu-*.img.xz解壓后得到一個(gè).img文件。注意這個(gè)文件的格式是 qcow2不要習(xí)慣性地把它當(dāng)成 raw 鏡像。用file命令確認(rèn)一下file ubuntu-*.img輸出里應(yīng)該能看到QEMU QCOW2 Image (v3)字樣。確認(rèn)之后我建議先創(chuàng)建一塊數(shù)據(jù)盤專門放模型權(quán)重和測(cè)試腳本。用 qcow2 的好處是宿主機(jī)上只占用實(shí)際寫入的大小。qemu-img create -f qcow2 data.qcow2 20G3.2 啟動(dòng)命令逐行拆解下面這條命令是我最終跑通的先整體看一遍。qemu-system-riscv64 \ -machine virt \ -cpu rv64,vtrue \ -smp 4 \ -m 8G \ -drive fileubuntu-riscv64.img,formatqcow2,idhd0 \ -device virtio-blk-device,drivehd0 \ -drive filedata.qcow2,formatqcow2,idhd1 \ -device virtio-blk-device,drivehd1 \ -netdev user,idnet0,hostfwdtcp::2222-:22 \ -device virtio-net-device,netdevnet0 \ -nographic逐個(gè)解釋參數(shù)不然 AGENT 很可能隨機(jī)調(diào)參而你根本不知道哪里出了問(wèn)題。-machine virt指定平臺(tái)模型。RISC-V 下常見(jiàn)的是virt和sifive_u。我選 virt 的理由前面已經(jīng)說(shuō)過(guò)virtio 支持完整設(shè)備樹規(guī)范社區(qū)生態(tài)都圍繞它。-cpu rv64,vtrue開啟 RVV 向量擴(kuò)展。如果你后續(xù)想跑 RVV 向量代碼這個(gè)參數(shù)必須有。QEMU 7.2 之后對(duì) V 擴(kuò)展的支持已經(jīng)很成熟可以放心開。-smp 4開 4 個(gè)虛擬 CPU。-m 8G給 guest 8G 內(nèi)存。因?yàn)?AI 推理有時(shí)會(huì)吃內(nèi)存2G 太緊8G 比較寬松。如果你只是驗(yàn)證啟動(dòng)可以用-m 2G減少宿主機(jī)負(fù)載。-drive和-device virtio-blk-device是配套的。第一塊盤裝系統(tǒng)第二塊盤是數(shù)據(jù)盤。這里有個(gè)容易踩的坑很多人只寫-drive filexxx,formatqcow2忘了-device結(jié)果 guest 里根本看不到硬盤。在 RISC-V virt 機(jī)器上不能假設(shè)盤會(huì)自動(dòng)接到某條總線上必須顯式掛一個(gè) virtio-blk-device。-netdev user,idnet0,hostfwdtcp::2222-:22是用戶態(tài)網(wǎng)絡(luò)。這種模式最簡(jiǎn)單guest 通過(guò) QEMU 內(nèi)置的 NAT 上網(wǎng)宿主機(jī)無(wú)需 root也不需要網(wǎng)橋。hostfwd把宿主機(jī)的 2222 端口轉(zhuǎn)發(fā)到 guest 的 22 端口這樣后面可以用 SSH 連接。如果你想要 guest 里的固定 IP或者希望 guest 能被局域網(wǎng)內(nèi)其他機(jī)器直接訪問(wèn)就要換成tap0橋接但那種模式需要?jiǎng)?chuàng)建tap設(shè)備和網(wǎng)橋權(quán)限和網(wǎng)絡(luò)拓?fù)涠家?guī)劃我這次沒(méi)選。-device virtio-net-device,netdevnet0是網(wǎng)絡(luò)設(shè)備。在 virt 機(jī)器上一定要用virtio-net-device不要用 e1000因?yàn)?virt 平臺(tái)默認(rèn)沒(méi)有 e1000 這種 PCI 網(wǎng)卡。很多 Agent 生成的腳本會(huì)照抄 x86 的參數(shù)拿到這里就起不來(lái)。-nographic把串口作為控制臺(tái)直接在當(dāng)前終端顯示 guest 的輸出。加上這個(gè)參數(shù)你就能在純文本終端里控制整個(gè)虛擬機(jī)不需要圖形桌面。3.3 從啟動(dòng)到 SSH 登錄執(zhí)行啟動(dòng)腳本后第一次會(huì)看到一個(gè)比較慢的啟動(dòng)過(guò)程因?yàn)?QEMU 正在用 TCG 翻譯 guest 指令。幾秒鐘后應(yīng)該能看到 OpenSBI 的 logo然后是內(nèi)核啟動(dòng)日志最后進(jìn)入登錄提示。Ubuntu cloud image 默認(rèn)用戶名一般是ubuntu密碼在鏡像說(shuō)明里會(huì)有通常安裝時(shí)有提示。登錄后建議馬上改密碼然后檢查網(wǎng)絡(luò)。ip addr show如果沒(méi)問(wèn)題會(huì)看到一個(gè)eth0或者enp0s1網(wǎng)卡IP 是 QEMU 用戶態(tài)網(wǎng)絡(luò)分配的 10.0.2.15。這個(gè) IP 只有 guest 內(nèi)部可見(jiàn)想要從宿主機(jī)進(jìn)來(lái)還得走端口轉(zhuǎn)發(fā)。從宿主機(jī)連ssh ubuntulocalhost -p 2222第一次連接會(huì)提示 host key 確認(rèn)正常。如果連不上十有八九是 guest 里沒(méi)啟用 SSH 服務(wù)或者 cloud-init 還沒(méi)完成初始化。等兩分鐘再試。為了方便傳文件我習(xí)慣加一塊 9p 共享目錄。在啟動(dòng)命令里插入-virtfs local,path/home/user/riscv-lab/shared,mount_taghost0,security_modelnone,idhost0在 guest 里掛載sudo mkdir -p /mnt/shared sudo mount -t 9p -o transvirtio,version9p2000.L host0 /mnt/shared這塊共享目錄最初讓我很驚訝因?yàn)?RISC-V 的 guest 內(nèi)核必須編譯進(jìn) 9p 支持才能掛載。Ubuntu 官方內(nèi)核默認(rèn)帶了所以能用。如果之后你自己編譯內(nèi)核記得把CONFIG_NET_9P_VIRTIO和CONFIG_9P_FS選上否則會(huì)報(bào)mount: /mnt/shared: unknown filesystem type 9p。這個(gè) 9p 目錄是我傳模型權(quán)重、測(cè)試腳本和日志的主要通道比 SSH 傳文件方便得多尤其是大文件。4. Guest 里搭建 AI 運(yùn)行環(huán)境系統(tǒng)起來(lái)了網(wǎng)絡(luò)通了只是萬(wàn)里長(zhǎng)征第一步。既然是“AI 芯片實(shí)驗(yàn)臺(tái)”還得把 AI 運(yùn)行環(huán)境搭出來(lái)。這里有很多和 x86 完全不同的坑AGENT 可以幫你生成步驟但幾個(gè)現(xiàn)實(shí)問(wèn)題必須提前知道。4.1 Python 與 PyTorch 在 RISC-V 上的安裝現(xiàn)實(shí)進(jìn)入 guest 后先確保 Python 環(huán)境可用。sudo apt update sudo apt install -y python3-venv python3-pip build-essential git mkdir -p /home/ubuntu/ai-lab cd /home/ubuntu/ai-lab python3 -m venv venv source venv/bin/activate pip install --upgrade pip接下來(lái)是重頭戲裝 PyTorch。壞消息是PyTorch 官方并不提供riscv64的預(yù)編譯 wheel。你在pip install torch時(shí)pip 會(huì)在 PyPI 上找不到合適的包然后嘗試下載源碼包現(xiàn)場(chǎng)編譯。CPU 版 PyTorch 在 RISC-V 上源碼編譯是可行的但耗時(shí)非常長(zhǎng)我試過(guò)一次8G 內(nèi)存 4 核的虛擬機(jī)里編了兩三個(gè)小時(shí)還沒(méi)編完而且很容易因?yàn)閮?nèi)存不足被 kill。如果你只是想驗(yàn)證推理邏輯而不是真的拿到一個(gè)可用的 torch 包我更推薦一條折中的路先用 NumPy 實(shí)現(xiàn)一個(gè)小型神經(jīng)網(wǎng)絡(luò)推理把整條數(shù)據(jù)通路跑通。等確認(rèn)了真正的目標(biāo)芯片和工具鏈之后再去編譯 PyTorch。另外ONNX Runtime 對(duì) RISC-V 的支持比 PyTorch 好一些有社區(qū)構(gòu)建的包雖然不一定官方發(fā)布但成功率更高。下表是我的選擇建議需求推薦方案原因快速驗(yàn)證推理流程N(yùn)umPy 手動(dòng)實(shí)現(xiàn)零編譯幾分鐘內(nèi)跑通跑標(biāo)準(zhǔn) ONNX 模型ONNX Runtime 源碼/社區(qū)包編譯量比 PyTorch 小依賴輕完整 PyTorch 環(huán)境源碼編譯時(shí)間長(zhǎng)、吃內(nèi)存但要拿真實(shí)結(jié)果只能走這條驗(yàn)證 RVV 指令gcc 交叉編譯匯編/C最貼近芯片真實(shí)計(jì)算核心如果你決定源碼編譯 PyTorch建議不要直接在 QEMU guest 里編。先在 x86 宿主機(jī)上把交叉編譯工具鏈準(zhǔn)備好生成 riscv64 的交叉編譯環(huán)境再嘗試交叉編譯。這是很多人的經(jīng)驗(yàn)?zāi)苁〉?guest 里內(nèi)存不足的問(wèn)題。不過(guò)交叉編譯 PyTorch 依賴項(xiàng)非常復(fù)雜涉及 OpenBLAS、protobuf、eigen 等坑比想象的深新手容易勸退。4.2 用一個(gè)小型推理程序驗(yàn)證實(shí)驗(yàn)臺(tái)我最后在實(shí)驗(yàn)臺(tái)上跑通的第一個(gè)正經(jīng) AI 程序是一個(gè)兩層的 MLP用來(lái)做簡(jiǎn)單的二分類。為了不依賴 PyTorch我用 NumPy 手寫前向傳播。代碼如下import numpy as np def sigmoid(x): return 1.0 / (1.0 np.exp(-x)) class MLP: def __init__(self): self.w1 np.random.randn(4, 16).astype(np.float32) self.b1 np.zeros((1, 16), dtypenp.float32) self.w2 np.random.randn(16, 2).astype(np.float32) self.b2 np.zeros((1, 2), dtypenp.float32) def forward(self, x): h sigmoid(x self.w1 self.b1) out sigmoid(h self.w2 self.b2) return out model MLP() x np.random.randn(1, 4).astype(np.float32) print(model.forward(x))在 RISC-V guest 里執(zhí)行python3 inference.py能看到輸出一個(gè)形狀為(1, 2)的數(shù)組說(shuō)明 Python、NumPy、CPU 浮點(diǎn)運(yùn)算鏈路是通的。這個(gè)測(cè)試雖然簡(jiǎn)單但對(duì)實(shí)驗(yàn)臺(tái)來(lái)說(shuō)意義重大它證明了你可以在 RISC-V 虛擬硬件上跑數(shù)據(jù)流后續(xù)把 NumPy 換成 PyTorch 或者 ONNX Runtime只是換一個(gè)算子庫(kù)的事數(shù)據(jù)通路不用改。如果你想更貼近“AI 芯片”的計(jì)算核心可以用 RISC-V 工具鏈寫一個(gè)使用向量擴(kuò)展的程序。在 guest 里安裝 gccsudo apt install -y gcc寫一個(gè)最簡(jiǎn)單的向量加法#include riscv_vector.h #include stdio.h int main() { int n 16; float a[16], b[16], c[16]; for (int i 0; i n; i) { a[i] i; b[i] i * 2; } for (int i 0; i n; i) c[i] a[i] b[i]; for (int i 0; i n; i) printf(%f , c[i]); return 0; }用-marchrv64gcv編譯gcc -O2 -marchrv64gcv -o vadd vadd.c ./vadd如果程序正常輸出說(shuō)明 QEMU 的 V 擴(kuò)展真的在工作。你可以在這基礎(chǔ)上逐步加向量化矩陣乘、卷積等算子這就是一個(gè)最原始的 AI 芯片計(jì)算單元實(shí)驗(yàn)臺(tái)。4.3 與真實(shí) AI 芯片相關(guān)的驅(qū)動(dòng)和虛擬設(shè)備模擬如果想更進(jìn)一步模擬一顆具體的 AI 芯片QEMU 也支持你自定義設(shè)備模型把 NPU 想象成一個(gè)掛在 PCIe 上的加速卡guest 里寫驅(qū)動(dòng)通過(guò) MMIO 訪問(wèn)寄存器。QEMU 提供了比較完整的設(shè)備建模接口你可以注冊(cè)一個(gè) PCIe 設(shè)備static void riscv_npu_class_init(ObjectClass *klass, void *data) { DeviceClass *dc DEVICE_CLASS(klass); dc-desc RISC-V NPU accelerator; dc-realize riscv_npu_realize; dc-reset riscv_npu_reset; }這只是設(shè)備側(cè)的骨架實(shí)際還要實(shí)現(xiàn) PCIe 配置空間讀寫、BAR 空間映射、中斷、DMA 等邏輯。guest 側(cè)再寫一個(gè) Linux 內(nèi)核模塊注冊(cè)一個(gè)platform_driver或者pci_driver通過(guò)ioremap訪問(wèn)寄存器。這套流程就是一個(gè)完整的“驅(qū)動(dòng)先行”開發(fā)閉環(huán)芯片還沒(méi)有驅(qū)動(dòng)和用戶態(tài)棧已經(jīng)在 QEMU 上聯(lián)調(diào)完了。不過(guò)我要提醒一句自定義 QEMU 設(shè)備模型涉及 QOM 和 PCIe 模擬的不少概念不要指望 AGENT 一次生成對(duì)。我建議先跑通最小 GPIO/UART 設(shè)備模型再往 AI 方向擴(kuò)展。AGENT 在這里的價(jià)值是幫你生成代碼骨架、查 QEMU 源碼里現(xiàn)成設(shè)備模型的實(shí)現(xiàn)方法而不是憑空替你設(shè)計(jì)硬件邏輯。5. 常見(jiàn)問(wèn)題與排查手記Agent 是主力排查員最后這部分是我最想分享的。環(huán)境搭建過(guò)程中遇到了一堆問(wèn)題AGENT 作為主力排查員確實(shí)幫我省了很多時(shí)間。下面這些問(wèn)題幾乎都會(huì)遇到建議收藏。5.1 啟動(dòng)卡在 OpenSBI或者串口完全無(wú)輸出現(xiàn)象執(zhí)行啟動(dòng)命令后終端里只有 OpenSBI 的幾行字然后一直卡住或者干脆什么都沒(méi)顯示。排查順序第一確認(rèn)你用了-nographic。如果沒(méi)有串口輸出不會(huì)直接打到終端上可能會(huì)去圖形窗口而你如果在一個(gè)純 SSH 會(huì)話里根本看不到。第二確認(rèn)有沒(méi)有給內(nèi)核傳正確的 console 參數(shù)。如果是 Ubuntu cloud image它通常會(huì)自己處理但如果你是自己拼內(nèi)核和 rootfs需要在-append里加consolettyS0否則內(nèi)核日志不會(huì)出現(xiàn)在串口。第三看分區(qū)。root/dev/vda是常見(jiàn)寫法但如果你少加了-device virtio-blk-deviceguest 里沒(méi)有/dev/vda內(nèi)核就會(huì)在掛根文件系統(tǒng)時(shí)崩潰日志最后會(huì)停在VFS: Cannot open root device vda。第四如果卡在 OpenSBI 階段多半是固件問(wèn)題。Ubuntu 官方鏡像自帶引導(dǎo)不需要單獨(dú)指定-bios。如果從網(wǎng)上找了舊教程加了奇怪的-bios參數(shù)反而可能沖突。遇到這種問(wèn)題我一般直接把完整啟動(dòng)日志存到文件里丟給 AGENT 讓它幫我定位是在哪個(gè)階段卡住的。它比人眼看著更快的點(diǎn)在于能迅速搜索日志關(guān)鍵詞比如Kernel panic、No working init found、Failed to mount。5.2 SSH 連不上guest 里能看到網(wǎng)絡(luò)但宿主機(jī)過(guò)不去現(xiàn)象guest 里ip addr能看到10.0.2.15ping 外網(wǎng)也能通但宿主機(jī)上ssh ubuntulocalhost -p 2222就是連不上。原因大多是兩個(gè)。一個(gè)是 guest 里的 SSH 服務(wù)沒(méi)起來(lái)Ubuntu cloud image 默認(rèn)會(huì)裝 openssh-server但如果你用的是其他 rootfs可能需要手動(dòng)安裝并啟動(dòng)sudo systemctl enable ssh --now另一個(gè)是端口轉(zhuǎn)發(fā)寫錯(cuò)了。hostfwdtcp::2222-:22的語(yǔ)法是宿主機(jī)端口在前guest 端口在后。如果你寫反成hostfwdtcp::22-:2222那宿主機(jī)的 22 端口會(huì)轉(zhuǎn)發(fā)到 guest 的 2222 端口而 guest 的 SSH 在 22 上當(dāng)然連不上。還有一種情況是 cloud-init 還沒(méi)有完成。鏡像第一次啟動(dòng)時(shí)會(huì)自動(dòng)擴(kuò)展根分區(qū)、配置網(wǎng)絡(luò)、生成 SSH host key這個(gè)過(guò)程可能要一兩分鐘。如果你在啟動(dòng)后幾十秒就去連可能服務(wù)還沒(méi)就緒。耐心等一分鐘后重試。5.3 GDB、快照與性能調(diào)試的實(shí)際經(jīng)驗(yàn)QEMU 自帶 GDB stub內(nèi)核開發(fā)時(shí)可以在啟動(dòng)命令里加-s -S-S表示啟動(dòng)后暫停 CPU等待調(diào)試器連接-s表示在宿主機(jī) 1234 端口開 GDB 服務(wù)。然后用交叉版的 gdb 連上去gdb-multiarch vmlinux target remote :1234不過(guò)如果你只是想調(diào)試用戶態(tài)程序沒(méi)必要用 QEMU 的 GDB 接口直接在 guest 里gdb ./a.out就完了。QEMU 的 GDB 更多是給內(nèi)核、引導(dǎo)代碼用的。另外一個(gè)經(jīng)驗(yàn)是QEMU 多核模擬有時(shí)候反而會(huì)比單核慢。TCG 模式下多核會(huì)有同步開銷如果你跑的任務(wù)不是并行密集用-smp 1可能啟動(dòng)更快。如果你確實(shí)需要多核可以嘗試-accel tcg,threadmulti這會(huì)啟用多線程 TCG在宿主機(jī)是多核時(shí)能明顯改善性能。但這屬于錦上添花我在實(shí)驗(yàn)臺(tái)上跑 NumPy 推理時(shí)單核也能接受。磁盤快照在這里是保命工具。qcow2 天然支持內(nèi)部快照在 guest 里裝好了一輪環(huán)境之后回到宿主機(jī)執(zhí)行qemu-img snapshot -c healthy ubuntu-riscv64.img下次如果想恢復(fù)到干凈狀態(tài)qemu-img snapshot -a healthy ubuntu-riscv64.img這個(gè)方法比重新下載鏡像快很多也避免 AGENT 自動(dòng)操作時(shí)把環(huán)境改壞后無(wú)法回滾的痛苦。5.4 Agent 排查問(wèn)題的一個(gè)通用套路如果讓 AGENT 幫你排查我的做法是把現(xiàn)象、啟動(dòng)日志、配置文件粘貼給它然后明確告訴它“不要給我解釋原理先給我下一步操作”。很多人讓 AI 排查失敗是因?yàn)閱?wèn)題描述太模糊只說(shuō)了“連不上”沒(méi)有任何客觀信息。一份合格的排查信息長(zhǎng)這樣QEMU 啟動(dòng)后 guest 能登錄宿主機(jī) ssh localhost -p 2222 連不上。 日志顯示 sshd 已啟動(dòng)宿主機(jī)的端口監(jiān)聽(tīng)正常。 hostfwd 配置是 tcp::2222-:22。 請(qǐng)給我下一步的排查命令。AGENT 拿到這種輸入會(huì)優(yōu)先檢查監(jiān)聽(tīng)端口、防火墻、SSH 配置而不是漫無(wú)目的地展開長(zhǎng)篇大論。最終它定位到的問(wèn)題是guest 的 sshd 只監(jiān)聽(tīng)了 IPv6而localhost解析成了127.0.0.1。這種問(wèn)題人工看半天也未必能馬上反應(yīng)過(guò)來(lái)讓 AGENT 過(guò)濾日志反而更快。寫在最后這套實(shí)驗(yàn)臺(tái)搭建下來(lái)我最深的體會(huì)是AGENT 不是用來(lái)替代你的判斷力的它是幫你把臟活累活干掉的。環(huán)境搭建里大量工作其實(shí)是機(jī)械搜索、試錯(cuò)、翻日志這些 AGENT 做得又快又好。但哪些參數(shù)不能亂動(dòng)、哪條路線會(huì)浪費(fèi)時(shí)間、要在什么層級(jí)上模擬 AI 芯片這些決策最后還是得你自己想清楚。如果讓我重來(lái)一次我不會(huì)讓 AGENT 一上來(lái)就拉 Ubuntu 完整鏡像而是會(huì)先讓它用最小的 BusyBox rootfs 把 QEMU RISC-V 啟動(dòng)鏈路跑通再一步步加上網(wǎng)絡(luò)、共享目錄、Python。小系統(tǒng)更輕、問(wèn)題更少排查起來(lái)也不容易被一堆 cloud-init 日志干擾。還有一個(gè)小技巧想分享現(xiàn)在這套環(huán)境里我會(huì)把每次修改 QEMU 啟動(dòng)參數(shù)的命令記錄到一個(gè)history.md文件里順手讓 AGENT 在每次做完事之后追加一段變更說(shuō)明。時(shí)間一長(zhǎng)這個(gè)文件就是最好的項(xiàng)目文檔比什么環(huán)境搭建筆記都管用。下一塊真正帶 NPU 設(shè)備模型的模擬器我就是在這個(gè)文件的基礎(chǔ)上繼續(xù)擴(kuò)展的。