Nova-Quantum 是一個(gè)很有意思的項(xiàng)目一個(gè)約 41 MB 的 ISO 鏡像啟動(dòng)后不進(jìn)入 Linux、不加載 Windows而是直接進(jìn)入一個(gè)自定義內(nèi)核由這個(gè)內(nèi)核自己完成大語言模型的加載和推理。項(xiàng)目副標(biāo)題里的 Bootet Ohne OS 是德語意思就是“在沒有操作系統(tǒng)的狀態(tài)下啟動(dòng)”。換句話說從 BIOS 或 UEFI 固件交棒之后頁表、內(nèi)存管理、串口輸出、模型文件解析、tokenizer、transformer 前向計(jì)算、采樣輸出全部由項(xiàng)目自己的代碼接管。這種形態(tài)不是常見的“嵌入式 Linux 推理框架”而是把 Linux 內(nèi)核、用戶態(tài)、驅(qū)動(dòng)、Python、PyTorch 這一整條棧全部去掉只保留真正做推理的那部分。它的價(jià)值不在性能多強(qiáng)而在于把“從按下電源鍵到生成第一個(gè) token”之間的每一層細(xì)節(jié)都暴露出來。對(duì)想理解引導(dǎo)過程、想在受限硬件上跑 LLM、或者想從零看一遍 transformer 前向計(jì)算的開發(fā)者來說這是一個(gè)可學(xué)習(xí)、可復(fù)現(xiàn)、可排查的切入點(diǎn)。這篇文章會(huì)圍繞 Nova-Quantum 的工程形態(tài)說明 bare-metal LLM kernel 的啟動(dòng)鏈路、ISO 結(jié)構(gòu)、內(nèi)核骨架、模型加載與推理實(shí)現(xiàn)以及最常見的踩坑點(diǎn)和排查順序。1. Bare-Metal LLM Kernel 是什么和常規(guī)推理?xiàng)Ｓ惺裁幢举|(zhì)區(qū)別1.1 一句話解釋內(nèi)核自己就是“操作系統(tǒng)”常規(guī)的 LLM 部署鏈路通常很長。操作系統(tǒng)負(fù)責(zé)內(nèi)存管理、設(shè)備驅(qū)動(dòng)、進(jìn)程調(diào)度Python 運(yùn)行時(shí)負(fù)責(zé)解釋代碼PyTorch 負(fù)責(zé)算子調(diào)度最終才會(huì)落到矩陣乘法上。每一步都有成熟工具但每一步也都有抽象屏蔽。Nova-Quantum 走的是另一條路線它自己實(shí)現(xiàn)一個(gè)極小的內(nèi)核這個(gè)內(nèi)核只做兩件事先初始化最基本的硬件環(huán)境再加載模型權(quán)重并執(zhí)行 LLM 前向計(jì)算。沒有 shell沒有文件系統(tǒng)驅(qū)動(dòng)沒有進(jìn)程模型沒有虛擬內(nèi)存保護(hù)除了最基礎(chǔ)的頁表。啟動(dòng)之后直接進(jìn)入推理狀態(tài)。這種設(shè)計(jì)的前提是推理本身不需要操作系統(tǒng)的大部分能力。LLM 推理本質(zhì)上是幾百次矩陣乘法和內(nèi)存搬家需要的只是“一塊能讀寫的內(nèi)存”和“一個(gè)能做乘加的 CPU”。把這些能力直接暴露給推理代碼反而省去了中間所有轉(zhuǎn)換和調(diào)度的開銷。1.2 與常規(guī)部署方式的對(duì)比對(duì)比項(xiàng)Linux Python PyTorch嵌入式 Linux C 推理引擎Nova-Quantum 這類 Bare-Metal 內(nèi)核啟動(dòng)過程BIOS/UEFI - 內(nèi)核 - init - Python 進(jìn)程BIOS/UEFI - 內(nèi)核 - 應(yīng)用進(jìn)程BIOS/UEFI - GRUB - LLM 內(nèi)核內(nèi)存管理內(nèi)核負(fù)責(zé)用戶態(tài)通過系統(tǒng)調(diào)用內(nèi)核負(fù)責(zé)應(yīng)用通過 malloc內(nèi)核自己管理簡(jiǎn)單堆區(qū)設(shè)備驅(qū)動(dòng)完整驅(qū)動(dòng)棧按需裁剪只做串口、內(nèi)存、可能加上定時(shí)器模型加載文件系統(tǒng) 系統(tǒng)調(diào)用文件系統(tǒng)或裸分區(qū)GRUB module 直接放進(jìn)內(nèi)存體積數(shù) GB數(shù)百 MB約 41 MB ISO調(diào)試難度日志、gdb、perf 齊全有基礎(chǔ)調(diào)試手段主要靠 QEMU 和串口日志學(xué)習(xí)價(jià)值被抽象隔離部分暴露全鏈路暴露表格里的“約 41 MB”是 Nova-Quantum ISO 的總大小不是內(nèi)核大小。這個(gè)數(shù)字決定了它在學(xué)習(xí)環(huán)境里很容易被分享和下載也決定了模型必須經(jīng)過量化否則根本放不進(jìn)去。1.3 41 MB 這個(gè)體積意味著什么一個(gè) 41 MB 的 ISO并不是全部空間都裝模型。用 grub-mkrescue 生成的鏡像會(huì)包含 GRUB 的 BIOS 引導(dǎo)代碼和 UEFI 運(yùn)行時(shí)通常要占 3 MB 到 6 MB內(nèi)核 ELF 包含啟動(dòng)匯編、驅(qū)動(dòng)和推理邏輯1 MB 到 2 MB 很常見剩下大約 33 MB 到 36 MB 才是模型權(quán)重區(qū)域。按 4 位塊量化每參數(shù)約 4.5 比特計(jì)算33 MB 大約能容納 5000 萬到 6000 萬參數(shù)的小模型。這個(gè)規(guī)模放在大模型領(lǐng)域很小但放在“一個(gè) ISO 直接啟動(dòng)”的場(chǎng)景里是合理的。它可以完成簡(jiǎn)單的文本補(bǔ)全、關(guān)鍵詞生成、表達(dá)式計(jì)算也可以作為教學(xué)模型演示完整的 transformer 前向過程。易誤解的地方是不要指望這個(gè)體積的模型具備 ChatGPT 級(jí)別的能力。Bare-Metal LLM kernel 的目標(biāo)是“能用極簡(jiǎn)棧跑通 LLM”而不是“用極小模型打敗大模型”。理解了這一點(diǎn)后續(xù)學(xué)習(xí)方向才不會(huì)跑偏。2. 先理解從 ISO 到模型推理的整條啟動(dòng)鏈路2.1 固件、GRUB、multiboot2 三者如何交接Nova-Quantum 并不是從零寫引導(dǎo)器而是使用 GRUB2 加載自己的內(nèi)核。這樣做是合理的GRUB 已經(jīng)處理好了 BIOS 和 UEFI 兩類固件的差異包括文件系統(tǒng)讀取、內(nèi)存探測(cè)、圖形模式初始化。內(nèi)核只需要遵循 multiboot2 協(xié)議把自己聲明成 GRUB 可以識(shí)別的 ELF 文件即可。整條鏈路如下機(jī)器上電固件初始化硬件。固件找到啟動(dòng)介質(zhì)進(jìn)入 GRUB。GRUB 讀取 ISO 里的grub.cfg顯示菜單。用戶選擇 Nova-QuantumGRUB 用 multiboot2 協(xié)議加載內(nèi)核 ELF。GRUB 同時(shí)加載module2指定的模型文件到內(nèi)存。CPU 跳轉(zhuǎn)到內(nèi)核入口_start內(nèi)核從此完全接管。Linux 啟動(dòng)時(shí)經(jīng)常出現(xiàn)Decompressing Linux... Parsing ELF... done. Booting the kernel.這類日志Nova-Quantum 沒有解壓環(huán)節(jié)GRUB 直接按 ELF 的 program headers 把段加載到指定地址然后跳轉(zhuǎn)入口。這也是裸內(nèi)核比常規(guī)系統(tǒng)啟動(dòng)更快的原因之一。2.2 模型文件通過 GRUB module 機(jī)制加載Bare-Metal 環(huán)境沒有文件系統(tǒng)驅(qū)動(dòng)內(nèi)核自己讀 ISO 里的文件非常麻煩。Nova-Quantum 這類項(xiàng)目通常采用 multiboot2 的 module 機(jī)制在grub.cfg里用module2聲明一個(gè)文件GRUB 會(huì)在加載內(nèi)核后把該文件讀入內(nèi)存并把它的起始地址和結(jié)束地址寫進(jìn) multiboot2 信息結(jié)構(gòu)里內(nèi)核通過解析這個(gè)結(jié)構(gòu)就能拿到模型數(shù)據(jù)。set timeout3 set default0 menuentry Nova-Quantum (Bare-Metal LLM Kernel) { multiboot2 /boot/nova-quantum.elf module2 /boot/model.bin }這個(gè)設(shè)計(jì)的精妙之處在于GRUB 已經(jīng)解決了文件系統(tǒng)解析問題內(nèi)核不需要再實(shí)現(xiàn) ISO9660 驅(qū)動(dòng)。代價(jià)是模型文件必須能整體放進(jìn)內(nèi)存且內(nèi)存映射不能和內(nèi)核自身代碼沖突。對(duì) 33 MB 的模型來說這個(gè)約束完全可接受。2.3 內(nèi)核態(tài)跑推理的運(yùn)行時(shí)約束內(nèi)核態(tài)推理和用戶態(tài)推理有幾個(gè)關(guān)鍵差異直接影響代碼組織方式?jīng)]有標(biāo)準(zhǔn)庫可用printf、malloc、memcpy要么自己實(shí)現(xiàn)要么使用 freestanding 編譯器提供的-ffreestanding模式。沒有系統(tǒng)調(diào)用內(nèi)存只能自管。內(nèi)核啟動(dòng)后要自己把可用內(nèi)存劃分成代碼區(qū)、堆區(qū)、模型區(qū)和 KV cache 區(qū)。沒有異常處理機(jī)制兜底。用戶態(tài)程序段錯(cuò)誤會(huì)終止進(jìn)程內(nèi)核里訪問非法地址就是 page fault處理不好就是 triple faultQEMU 直接重啟。沒有調(diào)度器。推理循環(huán)是獨(dú)占 CPU 的一次 token 生成期間不能被打斷。這些約束不是缺點(diǎn)而是理解 OS 內(nèi)核工作原理的入口。Nova-Quantum 正好把這些約束都?jí)嚎s在一個(gè)最小項(xiàng)目里。3. 構(gòu)建環(huán)境工具鏈、依賴和目錄結(jié)構(gòu)3.1 工具鏈清單本地構(gòu)建 Nova-Quantum 至少需要四類工具匯編器、交叉編譯器、鏈接器以及生成 ISO 的 GRUB 工具。推薦環(huán)境是 LinuxWindows 下建議用 WSL 或虛擬機(jī)避免工具鏈路徑問題。sudo apt update sudo apt install build-essential nasm xorriso grub-pc-bin grub-common mtools qemu-system-x86各工具作用如下工具作用說明nasm匯編啟動(dòng)代碼負(fù)責(zé) multiboot2 頭和 long mode 切換x86_64-elf-gcc編譯 C 內(nèi)核代碼需要 freestanding 模式x86_64-elf-ld鏈接內(nèi)核 ELF配合自定義鏈接腳本xorriso生成 ISOgrub-mkrescue 依賴它grub-pc-binGRUB 二進(jìn)制模塊提供 BIOS 引導(dǎo)所需文件mtools操作 FAT 鏡像grub-mkrescue 的間接依賴qemu-system-x86本地驗(yàn)證不需要真機(jī)也能跑完整流程交叉編譯工具鏈如果沒有安裝可以下載 x86_64-elf 版本的 GCC 工具鏈也可以先確認(rèn)系統(tǒng)自帶 gcc 是否支持-ffreestanding -mcmodelkernel。學(xué)習(xí)階段兩者都行但建議從一開始就使用交叉編譯器減少內(nèi)核對(duì)宿主環(huán)境的隱式依賴。3.2 工程目錄結(jié)構(gòu)一個(gè)可維護(hù)的 Bare-Metal LLM 內(nèi)核工程建議這樣組織nova-quantum/ ├── Makefile ├── boot.S # multiboot2 頭、棧、long mode 切換 ├── kernel.c # 內(nèi)核入口、串口、模型解析、推理循環(huán) ├── linker.ld # 內(nèi)核內(nèi)存布局 ├── grub.cfg # GRUB 啟動(dòng)菜單 ├── src/ │ ├── serial.c # 串口驅(qū)動(dòng) │ ├── vga.c # 屏幕輸出 │ ├── model.c # 模型文件解析 │ ├── tokenizer.c # 字節(jié)級(jí) BPE tokenizer │ └── transformer.c # attention、ffn、采樣 ├── tools/ │ └── export_model.py # 把 PyTorch 權(quán)重導(dǎo)出為裸二進(jìn)制格式 └── iso_root/ └── boot/ ├── grub/grub.cfg ├── nova-quantum.elf └── model.bin這里model.bin是模型權(quán)重的裸二進(jìn)制文件不是 PyTorch 的safetensors也不是 GGUF。裸二進(jìn)制的目的是讓內(nèi)核代碼零依賴讀取文件頭自己定義結(jié)構(gòu)。3.3 構(gòu)建前檢查清單在寫第一行代碼之前先做這幾項(xiàng)檢查能省掉后面很多排查時(shí)間確認(rèn)nasm -v、x86_64-elf-gcc -v、grub-mkrescue --version都能正常輸出版本號(hào)。確認(rèn) QEMU 可用運(yùn)行qemu-system-x86_64 --version。確認(rèn)grub-pc-bin已安裝否則 grub-mkrescue 會(huì)提示缺少 BIOS 支持文件。確認(rèn)model.bin文件頭魔數(shù)和內(nèi)核代碼里定義的 magic 一致。確認(rèn)目標(biāo)內(nèi)存模式內(nèi)核代碼只放在 1 MB 以上模型模塊加載地址由 GRUB 決定需要在內(nèi)核里打印出來確認(rèn)。4. 編寫最小 Bare-Metal 內(nèi)核骨架4.1 引導(dǎo)匯編multiboot2 頭與 long mode 切換內(nèi)核第一個(gè)文件是boot.S。它做三件事聲明 multiboot2 頭、初始化棧、從 32 位保護(hù)模式切換到 64 位 long mode。multiboot2 頭的結(jié)構(gòu)是固定的magic 值0xe85250d6、架構(gòu)字段、長度字段、校驗(yàn)和以及若干 tag。GRUB 通過掃描 ELF 前 8 KB 來尋找這個(gè)頭如果校驗(yàn)和錯(cuò)誤會(huì)出現(xiàn)error: no multiboot header found。section .multiboot align 8 multiboot_start: dd 0xe85250d6 dd 0 dd multiboot_end - multiboot_start dd -(0xe85250d6 0 (multiboot_end - multiboot_start)) ; end tag dw 0 dw 0 dd 8 multiboot_end: section .bss align 16 stack_bottom: resb 16384 stack_top: section .text global _start _start: cli mov esp, stack_top call init_long_mode lgdt [gdt64] jmp 0x08:long_mode_entry這里注意兩點(diǎn)。第一.multiboot段必須放在鏈接腳本最前面保證 GRUB 能在映像開頭找到。第二進(jìn)入 C 代碼前必須先建立自己的棧因?yàn)樵?long mode 切換之后call kernel_main需要rsp指向合法內(nèi)存。long mode 切換的完整代碼比較長核心步驟如下init_long_mode: ; 關(guān)閉分頁 mov eax, cr0 and eax, 0x7fffffff mov cr0, eax ; 設(shè)置 PML4 - PDPT - PD先建立臨時(shí)頁表 mov eax, pml4 or eax, 0x3 mov cr3, eax ; 開啟 PAE mov eax, cr4 or eax, 0x20 mov cr4, eax ; 設(shè)置 EFER.LME mov ecx, 0xC0000080 rdmsr or eax, 0x100 wrmsr ; 開啟分頁和保護(hù)模式 mov eax, cr0 or eax, 0x80000001 mov cr0, eax ret頁表使用 2 MB 大頁可以簡(jiǎn)化時(shí)間。常見做法是用 NASM 宏展開 512 項(xiàng)把物理地址 0 到 1 GB 區(qū)間的每個(gè) 2 MB 頁都映射一遍。這段匯編里最容易出錯(cuò)的地方是CR0.PG開啟的時(shí)機(jī)以及GDT是否已經(jīng)加載。順序錯(cuò)了就會(huì)觸發(fā) triple faultQEMU 表現(xiàn)為主機(jī)直接重啟。4.2 鏈接腳本把內(nèi)核放到固定虛擬地址鏈接腳本決定內(nèi)核段在 ELF 文件里的地址布局。Bare-Metal 內(nèi)核通常從1M地址開始因?yàn)榈?1 MB 區(qū)域被 BIOS、VGA 顯存和固件占用。ENTRY(_start) SECTIONS { . 1M; .multiboot : ALIGN(8) { *(.multiboot) } .text : ALIGN(8) { *(.text*) } .rodata : ALIGN(8) { *(.rodata*) } .data : ALIGN(8) { *(.data*) } .bss : ALIGN(8) { *(COMMON) *(.bss*) } }這里的關(guān)鍵點(diǎn)是.multiboot必須放在最前面。鏈接完成后用objdump -h nova-quantum.elf檢查.multiboot段的地址如果它沒有出現(xiàn)在文件開頭或者地址超過 4 MB都需要回頭檢查鏈接腳本。4.3 C 入口串口初始化和內(nèi)存信息打印kernel.c的第一個(gè)任務(wù)是讓內(nèi)核“說話”。在 bare-metal 環(huán)境里串口是最可靠的調(diào)試輸出通道。QEMU 里用-serial stdio可以把串口輸出直接顯示在終端。void serial_init(void) { outb(0x3F8 1, 0x00); // 關(guān)閉中斷 outb(0x3F8 3, 0x80); // 設(shè)置 DLAB outb(0x3F8 0, 0x03); // 波特率 38400 outb(0x3F8 1, 0x00); outb(0x3F8 3, 0x03); // 8 位數(shù)據(jù)無校驗(yàn) outb(0x3F8 2, 0xC7); // 開啟 FIFO } void kernel_main(void* mb_info) { serial_init(); printk(Nova-Quantum: bare-metal LLM kernel\n); printk(booted without OS (Bootet Ohne OS)\n); printk(multiboot2 info 0x%x\n, (uint64_t)mb_info); for (;;) { asm volatile(hlt); } }outb是端口 I/O 指令需要內(nèi)聯(lián)匯編實(shí)現(xiàn)。printk是自己寫的極簡(jiǎn)格式化輸出函數(shù)只支持%s、%x、%u。不要在這里引入標(biāo)準(zhǔn)庫的printf它依賴大量用戶態(tài)環(huán)境。4.4 用 GRUB 打包可啟動(dòng) ISO內(nèi)核編譯出 ELF 后利用 GRUB 的grub-mkrescue生成 ISO。Makefile 至少包含編譯匯編、編譯 C、鏈接、打包四個(gè)目標(biāo)。AS nasm CC x86_64-elf-gcc LD x86_64-elf-ld CFLAGS -ffreestanding -fno-pic -fno-stack-protector -mno-red-zone -O2 LDFLAGS -n -T linker.ld all: nova-quantum.iso boot.o: boot.S $(AS) -f elf64 boot.S -o boot.o kernel.o: kernel.c $(CC) $(CFLAGS) -c kernel.c -o kernel.o nova-quantum.elf: boot.o kernel.o $(LD) $(LDFLAGS) boot.o kernel.o -o nova-quantum.elf nova-quantum.iso: nova-quantum.elf model.bin grub.cfg rm -rf iso_root mkdir -p iso_root/boot/grub cp nova-quantum.elf iso_root/boot/ cp model.bin iso_root/boot/ cp grub.cfg iso_root/boot/grub/ grub-mkrescue -o nova-qu