ECC這個(gè)詞在圈子里絕對(duì)是個(gè)多義詞。搞硬件的看到它第一反應(yīng)是內(nèi)存糾錯(cuò)碼Error Correction Code做芯片測(cè)試的腦子里冒出來(lái)的是MBIST里的ECC校驗(yàn)邏輯而搞企業(yè)信息化的老哥第一時(shí)間想到的卻是SAP ECC那套ERP系統(tǒng)的年度結(jié)賬流程。同一個(gè)縮寫三種完全不同的技術(shù)棧但底層都離不開(kāi)“查錯(cuò)”和“糾錯(cuò)”這兩個(gè)核心動(dòng)作。這篇文章我想把這三個(gè)維度的ECC串起來(lái)聊一聊從糾錯(cuò)碼的原理開(kāi)始講到服務(wù)器內(nèi)存里常見(jiàn)的ECC和 uncorrected ECC error 顯示2 這種告警怎么排查再聊到芯片設(shè)計(jì)里MBIST怎么借助ECC機(jī)制做存儲(chǔ)器測(cè)試最后說(shuō)說(shuō)SAP ECC年結(jié)到底在結(jié)什么、為什么每年都有人在這上面翻車。無(wú)論你是管服務(wù)器的運(yùn)維、寫RTL的芯片工程師、做測(cè)試的還是被財(cái)務(wù)追著問(wèn)“年結(jié)怎么還沒(méi)跑完”的IT支持這篇文章里應(yīng)該都能找到對(duì)你有用的東西。1. ECC的核心邏輯糾錯(cuò)碼到底在糾什么1.1 為什么需要糾錯(cuò)數(shù)據(jù)翻轉(zhuǎn)這個(gè)“小概率大事故”糾錯(cuò)碼這個(gè)概念的誕生本質(zhì)上是因?yàn)橐粋€(gè)很樸素的問(wèn)題數(shù)據(jù)在存儲(chǔ)和傳輸?shù)倪^(guò)程中可能出錯(cuò)。這個(gè)概率在大多數(shù)普通人看來(lái)可以忽略不計(jì)但在大規(guī)模數(shù)據(jù)系統(tǒng)里它是個(gè)必須正視的現(xiàn)實(shí)。拿DRAM內(nèi)存舉例內(nèi)存里的每個(gè)bit本質(zhì)上是靠電容存儲(chǔ)電荷來(lái)區(qū)分0和1的電容會(huì)漏電需要定期刷新。一旦某個(gè)電容的電荷量因?yàn)槟撤N原因發(fā)生異常衰減或者受到外部粒子轟擊導(dǎo)致電荷突變這個(gè)bit就翻了1變00變1。這就是我們常說(shuō)的“位翻轉(zhuǎn)”bit flip。引發(fā)位翻轉(zhuǎn)的因素有很多。一是高能粒子比如宇宙射線轟擊芯片封裝材料產(chǎn)生次級(jí)粒子擊中存儲(chǔ)單元二是芯片本身的老化和電壓波動(dòng)制程越先進(jìn)存儲(chǔ)單元就越小電荷量越少遇到干擾時(shí)翻車的概率就越高三是鄰近單元之間的耦合干擾這也是制程微縮后越來(lái)越頭疼的問(wèn)題。一個(gè)bit翻轉(zhuǎn)如果發(fā)生在普通的圖片、視頻數(shù)據(jù)里頂多花屏或者出現(xiàn)一個(gè)壞像素。但如果發(fā)生在操作系統(tǒng)的內(nèi)核代碼、數(shù)據(jù)庫(kù)的事務(wù)日志、科學(xué)計(jì)算的關(guān)鍵中間結(jié)果里后果就是系統(tǒng)崩潰、計(jì)算錯(cuò)誤、甚至數(shù)據(jù)永久損毀。這時(shí)候就需要一種機(jī)制讓計(jì)算機(jī)能自己發(fā)現(xiàn)錯(cuò)誤、糾正錯(cuò)誤這就是ECC糾錯(cuò)碼存在的意義。1.2 ECC如何工作漢明碼的思路與SEC-DED我們把“糾錯(cuò)碼”拆開(kāi)看核心就兩件事加冗余、算校驗(yàn)。最簡(jiǎn)單的方案是奇偶校驗(yàn)Parity給一組數(shù)據(jù)加1個(gè)bit讓整個(gè)組里1的個(gè)數(shù)是奇數(shù)還是偶數(shù)這樣能發(fā)現(xiàn)奇數(shù)個(gè)bit的錯(cuò)誤但發(fā)現(xiàn)不了錯(cuò)誤在哪兒也糾不了錯(cuò)只能報(bào)“你壞了”。這就像快遞外包裝上貼了個(gè)“是否破損”的標(biāo)簽?zāi)苤老渥涌赡軌牧说恢览锩婺募浳锼榱?。真正讓ECC在內(nèi)存領(lǐng)域普及起來(lái)的是Richard Hamming提出的漢明碼。漢明碼的思路極其聰明不是給整組數(shù)據(jù)加一個(gè)校驗(yàn)位而是把數(shù)據(jù)按不同的位置規(guī)則分組給每組分別計(jì)算校驗(yàn)位這樣這些校驗(yàn)位之間就有了一種“交叉印證”的關(guān)系。當(dāng)某一位出錯(cuò)時(shí)多組校驗(yàn)結(jié)果會(huì)同時(shí)異常通過(guò)比對(duì)各組異常的組合模式就能精確算出是哪一bit翻了從而把它再翻轉(zhuǎn)回來(lái)。以經(jīng)典的漢明碼(7,4)為例4個(gè)數(shù)據(jù)位3個(gè)校驗(yàn)位。校驗(yàn)位分別落在第1、2、4位它們各自覆蓋不同的數(shù)據(jù)位組合。接收端重新計(jì)算校驗(yàn)位并與發(fā)送來(lái)的校驗(yàn)位比對(duì)會(huì)得到一個(gè)叫“校正子”Syndrome的二進(jìn)制值這個(gè)值在二進(jìn)制里代表的數(shù)字就是出錯(cuò)bit的位置。Syndrome為0表示沒(méi)錯(cuò)非0就可以直接對(duì)相應(yīng)位置做取反操作完成糾錯(cuò)。這種只糾正單bit錯(cuò)誤的能力叫SECSingle Error Correction。如果再增加一個(gè)全局偶校驗(yàn)位就能實(shí)現(xiàn)檢測(cè)雙bit錯(cuò)誤即SEC-DEDSingle Error Correction, Double Error Detection這也是現(xiàn)代內(nèi)存ECC最主流的能力基準(zhǔn)。1.3 糾錯(cuò)不是萬(wàn)能的覆蓋范圍與代價(jià)說(shuō)句實(shí)在話ECC并不是魔法它的糾錯(cuò)能力是有邊界的。單bit錯(cuò)誤可以糾正雙bit錯(cuò)誤只能檢測(cè)不能糾正一旦檢測(cè)到不可糾正的錯(cuò)誤系統(tǒng)能做的只是報(bào)錯(cuò)或者直接halt防止錯(cuò)誤數(shù)據(jù)擴(kuò)散。而且糾錯(cuò)能力的強(qiáng)弱和開(kāi)銷是成正比的。校驗(yàn)位越多能糾的錯(cuò)誤越多但存儲(chǔ)開(kāi)銷、編碼延遲、帶寬損耗也會(huì)跟著漲。在存儲(chǔ)系統(tǒng)里如果用復(fù)雜的Reed-Solomon碼或BCH碼可以在NAND Flash等場(chǎng)景下糾正多bit連續(xù)錯(cuò)誤但控制器里的計(jì)算復(fù)雜度遠(yuǎn)高于漢明碼。在DDR內(nèi)存控制器里ECC校驗(yàn)計(jì)算消耗的是訪存延遲在SSD里L(fēng)DPC糾錯(cuò)消耗的是主控的處理能力和前端讀取延遲。所以沒(méi)有哪套機(jī)制是“最好”的只有“在成本、延遲、可靠性之間取得平衡”的方案。理解了這一層后面對(duì)內(nèi)存ECC告警、MBIST ECC測(cè)試邏輯、甚至SAP年結(jié)里的“對(duì)賬”思路就都有了通感的抓手——所有糾錯(cuò)/校驗(yàn)機(jī)制本質(zhì)上都是在冗余成本和錯(cuò)誤風(fēng)險(xiǎn)之間做博弈。2. 內(nèi)存ECC服務(wù)器穩(wěn)定性的第一道防線2.1 Registered ECC與Unbuffered ECC的區(qū)別在服務(wù)器和高端工作站里ECC內(nèi)存幾乎是標(biāo)配。但同樣是ECC內(nèi)存還分Registered ECC簡(jiǎn)稱RDIMM和Unbuffered ECC又稱UDIMM。這兩者最大的區(qū)別在于RDIMM的地址和控制信號(hào)經(jīng)過(guò)寄存器Register緩沖后再進(jìn)入內(nèi)存顆粒數(shù)據(jù)線不受影響所以在同一通道上可以多插幾條內(nèi)存容量能做很大高負(fù)載穩(wěn)定性也更好。UDIMM沒(méi)有寄存器緩沖地址線直接連到內(nèi)存顆粒延遲略低一點(diǎn)點(diǎn)但電氣負(fù)載更大一個(gè)通道能插的條數(shù)很有限一般就2條。從外觀上看RDIMM和UDIMM最明顯的差異是內(nèi)存條中間位置有沒(méi)有額外的寄存器芯片——RDIMM通常會(huì)有幾顆較小的芯片做信號(hào)中繼。兩者的物理防呆缺口位置也不同不能混插。選擇上家用平臺(tái)或入門級(jí)單路服務(wù)器常見(jiàn)UDIMM ECC雙路及以上的服務(wù)器幾乎清一色RDIMM。還有LRDIMM通過(guò)Rank緩沖技術(shù)進(jìn)一步降低負(fù)載適合需要超大規(guī)模內(nèi)存容量的場(chǎng)景價(jià)格也更高。2.2 如何確認(rèn)內(nèi)存是否開(kāi)啟ECC很多買了“支持ECC的主板”的新手以為只要插上ECC內(nèi)存就自動(dòng)開(kāi)啟了ECC其實(shí)并不是。內(nèi)存控制器需要顯式啟用ECC模式并且要和CPU、主板BIOS配合。在服務(wù)器上通常可以在BIOS的Memory Configuration里確認(rèn)ECC Mode是否為Enabled。有些主板里如果同時(shí)開(kāi)啟了Memory Encryption或部分內(nèi)存鏡像功能和ECC可能會(huì)組合出不同的容錯(cuò)策略。進(jìn)了Linux系統(tǒng)后可以用dmidecode查看內(nèi)存條的類型信息。重點(diǎn)關(guān)注兩個(gè)字段Total Width和Data Width。如果Total Width比Data Width多8位比如72位 vs 64位說(shuō)明這根內(nèi)存帶ECC如果兩者一樣都是64位那就是普通非ECC內(nèi)存。dmidecode --type memory | grep -E Total Width|Data Width|Size|Speed|Manufacturer|Part Number如果Total Width顯示72 bitsData Width顯示64 bits那8位的差距就是ECC校驗(yàn)位。Bit 0-63是數(shù)據(jù)位Bit 64-71是校驗(yàn)位。UC和SEC-DED的校驗(yàn)開(kāi)銷不同但72648是業(yè)界最普遍的DDR ECC配置。2.3 uncorrected ECC error 顯示2 是怎么來(lái)的在服務(wù)器帶外管理系統(tǒng)比如IPMI/BMC管理界面或者Linux的EDAC驅(qū)動(dòng)日志里經(jīng)常會(huì)看到類似“uncorrected ECC error count: 2”的信息。這里的關(guān)鍵詞是Uncorrected也就是不可糾正錯(cuò)誤。要理解這條告警先要明確ECC對(duì)錯(cuò)誤的處理路徑。當(dāng)內(nèi)存控制器發(fā)現(xiàn)某個(gè)bit錯(cuò)了并且能算出它是哪個(gè)位置它會(huì)直接在硬件層面修正然后把修正結(jié)果寫回同時(shí)遞增一個(gè)Corrected ECC錯(cuò)誤計(jì)數(shù)。這種錯(cuò)誤對(duì)系統(tǒng)是無(wú)感的業(yè)務(wù)不會(huì)中斷但記多了說(shuō)明內(nèi)存條所在的DIMM可能正在漸進(jìn)性老化。而Uncorrected錯(cuò)誤則是錯(cuò)誤程度超過(guò)了ECC的糾正能力比如一個(gè)數(shù)據(jù)字里同時(shí)出現(xiàn)了兩個(gè)bit的錯(cuò)誤ECC只能檢測(cè)到有錯(cuò)但不知道具體錯(cuò)在哪兩個(gè)位置無(wú)法修補(bǔ)。一旦發(fā)生不可糾正錯(cuò)誤內(nèi)存控制器會(huì)生成一個(gè)機(jī)器檢查異常MCE。在Intel平臺(tái)上這個(gè)MCE可能記錄在Bank 0的MCE日志里同時(shí)通過(guò)IPMI向BMC上報(bào)SEL事件顯示“Uncorrected ECC Error”。那個(gè)“顯示2”通常代表這個(gè)事件已經(jīng)被記錄并且累計(jì)了2次?？吹健皍ncorr. ecc 顯示2”第一反應(yīng)不應(yīng)該是“繼續(xù)用吧反正沒(méi)崩”而是立刻按下面流程處理先確認(rèn)錯(cuò)誤地址和關(guān)聯(lián)的DIMM槽位。通過(guò)IPMI SDR記錄、Linux的ras-mc-ctl --summary或者直接看 /sys/devices/system/edac/mc/mc*/csrow*/dimm_label。如果機(jī)器還在運(yùn)行盡快規(guī)劃維護(hù)窗口。因?yàn)槊恳淮蜺ncorrected錯(cuò)誤都是一次數(shù)據(jù)完整性事故下次可能直接造成文件系統(tǒng)損壞或進(jìn)程core dump。定位到具體DIMM后優(yōu)先做內(nèi)存條交叉驗(yàn)證把疑似故障條換到另一個(gè)槽位跑MemTest86壓力測(cè)試確認(rèn)是槽位問(wèn)題還是條子問(wèn)題。檢查散熱和供電。我遇到過(guò)一臺(tái)機(jī)器頻繁報(bào)uncorrected ECC換了內(nèi)存也沒(méi)用最后發(fā)現(xiàn)是CPU散熱器沒(méi)裝好內(nèi)存控制器過(guò)熱導(dǎo)致存取時(shí)序漂移。提示不要忽視單個(gè)Uncorrected ECC錯(cuò)誤。很多服務(wù)器里內(nèi)存故障的典型路徑就是“開(kāi)始報(bào)corrected - 錯(cuò)誤頻率上升 - 某天報(bào)uncorrected - 系統(tǒng)直接hang死”。從第一個(gè)Uncorrected事件開(kāi)始就已經(jīng)進(jìn)入故障處理流程了。3. 芯片設(shè)計(jì)中的MBIST ECC還沒(méi)出廠就把錯(cuò)誤揪出來(lái)3.1 為什么要做MBIST芯片內(nèi)部集成越來(lái)越多的SRAM用于緩存、FIFO、寄存器堆。到了先進(jìn)制程時(shí)代一顆SoC里SRAM的面積占比可以超過(guò)50%甚至到70%。這些片上存儲(chǔ)分布在芯片的各個(gè)角落數(shù)量多、密度大、頻率高但芯片封裝之后沒(méi)有那么多測(cè)試引腳可以直接訪問(wèn)每一塊SRAM。于是就有了MBISTMemory Built-In Self-Test把測(cè)試邏輯直接做進(jìn)芯片內(nèi)部。MBIST控制器和被測(cè)SRAM之間通過(guò)專用的測(cè)試端口連接測(cè)試時(shí)由控制器自己產(chǎn)生地址、數(shù)據(jù)、控制信號(hào)遍歷整個(gè)存儲(chǔ)陣列把讀回的數(shù)據(jù)和預(yù)期值比對(duì)一旦不一致就記錄失敗信息。MBIST的好處在于它不需要外部測(cè)試機(jī)去精確驅(qū)動(dòng)每個(gè)內(nèi)部信號(hào)只需要外部通過(guò)JTAG或IEEE 1500接口發(fā)送一條“開(kāi)始測(cè)試”的指令然后等結(jié)果。這樣測(cè)試成本大幅降低而且能在系統(tǒng)級(jí)測(cè)試、老化測(cè)試、甚至現(xiàn)場(chǎng)上電自檢時(shí)反復(fù)使用。3.2 MBIST如何與ECC配合MBIST和ECC其實(shí)是兩個(gè)不同層面的事MBIST是“測(cè)試手段”ECC是“防護(hù)機(jī)制”。但兩者在現(xiàn)代芯片設(shè)計(jì)里緊密配合。MBIST測(cè)試時(shí)通常并不依賴ECC去糾正錯(cuò)誤反而要繞過(guò)或禁用ECC這樣才能暴露出存儲(chǔ)單元最真實(shí)的物理缺陷。如果讓ECC在旁邊“幫忙”糾錯(cuò)MBIST可能測(cè)不出那些已經(jīng)存在但被掩蓋的故障單元生產(chǎn)測(cè)試就失去了意義。所以標(biāo)準(zhǔn)做法是MBIST模式下通過(guò)測(cè)試模式控制信號(hào)把ECC路徑旁路掉直接讀寫原始的數(shù)據(jù)和校驗(yàn)位。某些更高級(jí)的MBIST設(shè)計(jì)會(huì)把ECC校驗(yàn)邏輯作為被測(cè)對(duì)象的一部分來(lái)測(cè)試。因?yàn)镋CC的編碼、解碼、校正邏輯本身也是復(fù)雜邏輯電路萬(wàn)一編碼器有問(wèn)題即使存儲(chǔ)單元沒(méi)壞也會(huì)檢測(cè)出錯(cuò)。所以測(cè)試序列里會(huì)專門安排一組驗(yàn)證步驟往特定地址寫入可控?cái)?shù)據(jù)讀取時(shí)插入一位邏輯錯(cuò)誤然后檢查ECC校正電路能否正確糾正。MBIST在診斷方面的能力也很強(qiáng)。通過(guò)失敗日志可以記錄每一個(gè)發(fā)生故障的邏輯地址、數(shù)據(jù)模式和預(yù)期數(shù)據(jù)模式。把這些數(shù)據(jù)導(dǎo)出來(lái)做bitmap分析工程師能精確判斷是哪一根字線、位線、sense amplifier出了問(wèn)題。這對(duì)于新品調(diào)試和良率提升至關(guān)重要產(chǎn)線分析出來(lái)的故障模式直接反饋給工藝部門改進(jìn)。3.3 可測(cè)試性設(shè)計(jì)要點(diǎn)真正做芯片測(cè)試規(guī)劃時(shí)有幾點(diǎn)經(jīng)常被忽視我在這里提一下MBIST控制器要在低功耗模式下也能運(yùn)行。很多車規(guī)、IoT芯片需要在生產(chǎn)老化測(cè)試和板級(jí)測(cè)試時(shí)進(jìn)入低功耗自檢狀態(tài)這時(shí)候如果MBIST把整個(gè)SRAM功耗拉滿會(huì)導(dǎo)致測(cè)試芯片超過(guò)溫度規(guī)格觸發(fā)誤翻。在SoC集成多個(gè)SRAM時(shí)要合理分組成多個(gè)MBIST域BIST Domain并行測(cè)試不同域可以縮短整體測(cè)試時(shí)間但會(huì)帶來(lái)瞬時(shí)功耗沖擊。每個(gè)域的規(guī)模和控制策略需要仔細(xì)權(quán)衡。Repair機(jī)制是MBIST產(chǎn)線的自然延伸。檢測(cè)到故障后會(huì)通過(guò)內(nèi)建自修復(fù)BISR把前述故障行/列替換成冗余行/列修復(fù)結(jié)果記錄到eFuse。所以很多芯片標(biāo)稱“有MBIST”實(shí)際量產(chǎn)時(shí)跑的是“MBIST - 分析失效地址 - 冗余替換 - 重測(cè)驗(yàn)證”的完整閉環(huán)。用來(lái)輔助MBIST的ECC必須和產(chǎn)品正常模式用的ECC策略一致。如果產(chǎn)品宣稱具備SEC-DED能力那么MBIST對(duì)校驗(yàn)位區(qū)域的測(cè)試也要覆蓋不然校驗(yàn)存儲(chǔ)器本身有缺陷運(yùn)行時(shí)會(huì)直接生產(chǎn)錯(cuò)誤。4. SAP ECC年結(jié)ERP老系統(tǒng)的年度關(guān)賬4.1 SAP ECC是什么為什么還有人說(shuō)起它如果把話題切換到企業(yè)信息系統(tǒng)SAP ECC全稱是SAP ERP Central Component是SAP上一代旗艦ERP套件的核心組件。雖然SAP現(xiàn)在主推S/4HANA但現(xiàn)實(shí)中還有大量企業(yè)在繼續(xù)運(yùn)行SAP ECC系統(tǒng)尤其制造業(yè)、醫(yī)藥、能源行業(yè)系統(tǒng)里積累了幾十年的主數(shù)據(jù)、定制化增強(qiáng)代碼和復(fù)雜接口遷移成本極高?！癝AP ECC年結(jié)”在財(cái)務(wù)顧問(wèn)和IT運(yùn)維的口中就是財(cái)務(wù)年度結(jié)賬Year-End Closing。ERP系統(tǒng)不像普通財(cái)務(wù)軟件季度關(guān)了季度年終結(jié)轉(zhuǎn)賬很麻煩。它涉及資產(chǎn)折舊、總賬余額結(jié)轉(zhuǎn)、利潤(rùn)中心結(jié)轉(zhuǎn)、物料賬結(jié)算等一系列模塊之間的聯(lián)動(dòng)A步驟沒(méi)跑完B步驟就是跑不過(guò)去。每年12月底到次年1月初都是一批財(cái)務(wù)顧問(wèn)和IT支持守在機(jī)房蹲年結(jié)的日子。4.2 年結(jié)的關(guān)鍵步驟與實(shí)操要點(diǎn)年結(jié)在SAP里并不是單一事務(wù)代碼能搞定的而是一連串的順序操作。以最常見(jiàn)的資產(chǎn)會(huì)計(jì)FI-AA年結(jié)為例核心步驟分兩塊一是資產(chǎn)公司年末結(jié)賬。先用事務(wù)代碼AJRW運(yùn)行“資產(chǎn)年度余額結(jié)轉(zhuǎn)”或叫“余額結(jié)轉(zhuǎn)”把本年度資產(chǎn)的購(gòu)置值、累計(jì)折舊、賬面凈值結(jié)轉(zhuǎn)到新會(huì)計(jì)年度。然后事務(wù)代碼AJAB執(zhí)行資產(chǎn)會(huì)計(jì)年度最終關(guān)賬。很多公司遇到的“結(jié)不了賬”問(wèn)題都卡在AJAB這一步因?yàn)橄到y(tǒng)會(huì)檢查是否存在未折舊的資產(chǎn)、未過(guò)賬的采購(gòu)訂單、未結(jié)清的資產(chǎn)主數(shù)據(jù)等等任何一個(gè)校驗(yàn)沒(méi)過(guò)AJAB都會(huì)報(bào)錯(cuò)。二是總賬余額結(jié)轉(zhuǎn)。事務(wù)代碼FAGLGVTRSAP ECC 6.0或F.56把總賬科目的余額結(jié)轉(zhuǎn)到下一年度。執(zhí)行時(shí)要注意必須先把所有12月的會(huì)計(jì)憑證全部過(guò)賬完成把應(yīng)收應(yīng)付、存貨、損益類科目余額都結(jié)轉(zhuǎn)到對(duì)應(yīng)科目之后才能跑這一步否則結(jié)轉(zhuǎn)出來(lái)的余額就是錯(cuò)的。實(shí)操里我看到過(guò)幾個(gè)典型的翻車點(diǎn)過(guò)賬期間沒(méi)開(kāi)。年度切換后OB52里新年度過(guò)賬期間沒(méi)有及時(shí)打開(kāi)所有跑到新年的憑證都會(huì)報(bào)“期間未打開(kāi)”的錯(cuò)誤。資產(chǎn)年結(jié)前忘了跑折舊。資產(chǎn)折舊沒(méi)跑完AJAB會(huì)提示資產(chǎn)存在未折舊的情況讓你先回上月折舊期間跑AFAB。把測(cè)試數(shù)據(jù)和正式數(shù)據(jù)混了。年結(jié)前一定要用測(cè)試環(huán)境完整跑一遍年結(jié)腳本拿測(cè)試結(jié)果給財(cái)務(wù)確認(rèn)科目余額是否正確再在正式系統(tǒng)里操作。我見(jiàn)過(guò)有人跳過(guò)了測(cè)試直接在PRD里跑AJRW結(jié)果資產(chǎn)余額出現(xiàn)巨大差異只能做沖銷再來(lái)。4.3 一個(gè)成熟的年結(jié)檢查清單下面是我總結(jié)的年結(jié)前檢查清單分享給正在準(zhǔn)備年度結(jié)賬的同行每條背后都有踩坑的代價(jià)確認(rèn)所有12月期間的外幣評(píng)估、應(yīng)收應(yīng)付重分類、GR/IR清賬等周期性任務(wù)已經(jīng)完成。檢查AJAB運(yùn)行日志里的每一個(gè)錯(cuò)誤提示紅色報(bào)錯(cuò)全部處理后重新跑黃色警告要逐條評(píng)估是否影響結(jié)賬結(jié)果。總賬余額結(jié)轉(zhuǎn)前導(dǎo)出各科目的期末余額表和財(cái)務(wù)手工編制的科目余額表對(duì)照一致后再運(yùn)行。結(jié)轉(zhuǎn)后抽查幾個(gè)關(guān)鍵科目在新年度里是否已有期初余額尤其往來(lái)科目和存貨科目。注意物料賬ML的年度結(jié)賬流程CKM3N在年結(jié)時(shí)容易報(bào)“物料賬期未關(guān)閉”需要在后臺(tái)物料賬期間控制里同步調(diào)整。提示SAP ECC年結(jié)最怕的是“趕時(shí)間”。財(cái)務(wù)說(shuō)月底必須跑完但你一定不能省流程。先備份再測(cè)試最后動(dòng)生產(chǎn)。任何時(shí)候都要留出一到兩天的緩沖窗口用于處理意外問(wèn)題。5. 排障實(shí)戰(zhàn)從“uncorr. ecc 顯示2”開(kāi)始捋一套思路5.1 一次真實(shí)的內(nèi)存ECC錯(cuò)誤排查流程有一天客戶報(bào)一臺(tái)數(shù)據(jù)庫(kù)服務(wù)器IPMI里有Uncorrected ECC Error事件計(jì)數(shù)顯示2。登錄系統(tǒng)后我先確認(rèn)了操作系統(tǒng)是否信任ECC邏輯# 查看EDAC設(shè)備 ls /sys/devices/system/edac/mc/ cat /sys/devices/system/edac/mc/mc0/ue_count cat /sys/devices/system/edac/mc/mc0/ce_count結(jié)果顯示mc0的ue_count確實(shí)為2ce_count反而不高只有幾十說(shuō)明這顆DIMM有突發(fā)性、不可糾正錯(cuò)誤的風(fēng)險(xiǎn)已經(jīng)比較高了。我隨后用ras-mc-ctl --error-count獲取更詳細(xì)的地址映射ras-mc-ctl --error-count輸出里會(huì)列出哪個(gè)內(nèi)存控制器mc、哪個(gè)csrow和dimm標(biāo)記對(duì)應(yīng)具體物理DIMM位置。服務(wù)器BMC也會(huì)在SEL里記下DIMM槽位號(hào)。處理策略是先和業(yè)務(wù)確認(rèn)可以中斷的時(shí)間然后給服務(wù)器安排一次內(nèi)存壓力測(cè)試。用MemTest86完整跑兩遍如果連MemTest都報(bào)錯(cuò)那這內(nèi)存條基本可以判定為物理故障。之后聯(lián)系供應(yīng)商按保修流程更換。有個(gè)細(xì)節(jié)換完內(nèi)存后不要急著讓系統(tǒng)恢復(fù)正常運(yùn)行。我建議保留EDAC的ue_count清零確認(rèn)一下有些系統(tǒng)需要重啟后reload edac模塊計(jì)數(shù)才會(huì)清零。重啟后如果ue_count繼續(xù)快速增長(zhǎng)說(shuō)明可能是內(nèi)存控制器或者主板布線有問(wèn)題也可能是內(nèi)存條插槽的觸點(diǎn)臟了建議把CPU重新安裝一遍內(nèi)存條換個(gè)插槽再測(cè)試。5.2 MBIST fail怎么追作為芯片測(cè)試工程師處理MBIST FAIL的方法論更依賴數(shù)據(jù)。拿到fail log之后先看失敗地址的分布分析是行分布、列分布還是塊分布。單點(diǎn)失效大概率是粒子缺陷或介質(zhì)擊穿整行失效往往是字線驅(qū)動(dòng)電路損壞整列失效多為位線read/write通路問(wèn)題。這時(shí)候把物理地址映射到邏輯地址很關(guān)鍵。芯片內(nèi)部SRAM通常經(jīng)過(guò)行列地址重映射需要通過(guò)地址展開(kāi)腳本對(duì)照網(wǎng)表確認(rèn)對(duì)應(yīng)的物理單元。之后再結(jié)合bitmap和電鏡分析做缺陷定位判斷是光刻、刻蝕、還是金屬殘留導(dǎo)致。如果是量產(chǎn)階段的MBIST fail還要做良率相關(guān)性分析同一批次wafer里fail die的坐標(biāo)是否存在分布聚集某臺(tái)光刻機(jī)處理的區(qū)域是不是故障率偏高把這些數(shù)據(jù)反饋到工廠往往能快速定位工藝窗口漂移。ECC在這時(shí)候的作用是輔助分析比如修復(fù)后的die重測(cè)仍掛在ECC校驗(yàn)位區(qū)域就需要檢查eFuse冗余行的熔斷是否異常。5.3 年結(jié)報(bào)錯(cuò)如何快速定位SAP年結(jié)報(bào)錯(cuò)分成兩類配置類錯(cuò)誤和業(yè)務(wù)數(shù)據(jù)類錯(cuò)誤。配置錯(cuò)誤通常是年度變式、期間變式、屏幕變式?jīng)]有為新年度創(chuàng)建數(shù)據(jù)錯(cuò)誤則是某些陳舊的主數(shù)據(jù)或未清憑證卡住了流程。定位思路無(wú)非三步看消息號(hào)、查OSS noteSAP官方知識(shí)庫(kù)、做數(shù)據(jù)檢查。比如FIN_AA_YEAR_CLOSE里報(bào)“存在未過(guò)賬的折舊”先到AFAB里確認(rèn)所有折舊運(yùn)行是否都成功再檢查資產(chǎn)過(guò)賬期間有沒(méi)有錯(cuò)誤關(guān)閉。如果是OB52期間錯(cuò)誤直接修改相應(yīng)公司代碼的過(guò)賬期間即可如果是折舊范圍配置缺失可能要在AO11里補(bǔ)充折舊范圍。關(guān)鍵原則是在SAP里“強(qiáng)制關(guān)賬”永遠(yuǎn)是最下策。很多年結(jié)問(wèn)題不是靠強(qiáng)行解鎖跑過(guò)去的而是底層數(shù)據(jù)本身存在錯(cuò)漏該回去改憑證就改憑證該清未清項(xiàng)就清未清項(xiàng)。不要只盯著那個(gè)紅叉告警數(shù)據(jù)正確才是最終目標(biāo)。5.4 排查方法論關(guān)鍵詞到根因的三層定位這幾類問(wèn)題看著風(fēng)馬牛不相及但排障思路其實(shí)是相通的。我把常見(jiàn)做法整理成三層定位法基本通用第一層收斂關(guān)鍵詞?！皍ncorr. ecc 顯示2”里的核心詞是“不可糾正”和“計(jì)數(shù)為2”MBIST fail的“fail address”SAP年結(jié)報(bào)錯(cuò)里的“消息號(hào)”。先明確現(xiàn)象關(guān)鍵詞和相關(guān)模塊。第二層做組件歸因。內(nèi)存到DIMM、MBIST到SRAM陣列、SAP報(bào)錯(cuò)到后臺(tái)配置或數(shù)據(jù)表這一步是把問(wèn)題從“系統(tǒng)層面”縮小到“組件層面”。第三層隔離驗(yàn)證。換內(nèi)存、重測(cè)、跑仿真、重新執(zhí)行年結(jié)事務(wù)代碼確認(rèn)根因假設(shè)。到了這一步大部分問(wèn)題已經(jīng)能定性。這套方法用來(lái)對(duì)付日常的服務(wù)器監(jiān)控、芯片量產(chǎn)異常、ERP年結(jié)運(yùn)維都?jí)蛴昧?。如果拿不?zhǔn)寧可多花一小時(shí)收集數(shù)據(jù)也不要憑感覺(jué)拍腦袋下結(jié)論——這個(gè)經(jīng)驗(yàn)在我多年工作里被反復(fù)驗(yàn)證。結(jié)尾ECC這幾個(gè)字母從內(nèi)存到芯片再到大企業(yè)系統(tǒng)貫穿的其實(shí)是同一種工程思想用冗余換取可靠用校驗(yàn)換取信心。我這些年在服務(wù)器、芯片驗(yàn)證和企業(yè)系統(tǒng)運(yùn)維里來(lái)回穿梭最大的體會(huì)是遇到任何“錯(cuò)誤”“告警”“異?！鳖惖南⒌谝环磻?yīng)都應(yīng)該是記錄現(xiàn)場(chǎng)信息第二反應(yīng)才是動(dòng)手修。很多運(yùn)維同事一看到uncorrected ECC就嚇得直接重啟機(jī)器結(jié)果漏掉了現(xiàn)場(chǎng)日志反而失去了判斷根因的唯一線索很多芯片工程師在MBIST失敗之后不先看bitmap就開(kāi)始盲改測(cè)試流程最后只能靠撞運(yùn)氣解決問(wèn)題浪費(fèi)大量工時(shí)。最后分享一個(gè)小習(xí)慣無(wú)論管理多少臺(tái)服務(wù)器都應(yīng)該在監(jiān)控系統(tǒng)里給EDAC的ce_count和ue_count單獨(dú)建一條趨勢(shì)曲線。ECC錯(cuò)誤的增長(zhǎng)速率比單次錯(cuò)誤值更能反映硬件的健康走向——緩慢增長(zhǎng)大概率是正常老化指數(shù)級(jí)暴增多半是設(shè)備正在走向崩潰。提前發(fā)現(xiàn)趨勢(shì)既能避開(kāi)業(yè)務(wù)中斷也能讓保修流程走得從容許多。