很多剛接觸國資監(jiān)管報送的人對數(shù)據(jù)流轉(zhuǎn)的全貌是模糊的。知道要往監(jiān)管平臺報數(shù)據(jù)但這些數(shù)據(jù)從哪采集、經(jīng)過什么處理、最終到了誰的屏幕上整個鏈路說不太清楚。做了一年多的國資監(jiān)管報送系統(tǒng)開發(fā)和運維把數(shù)據(jù)從產(chǎn)生到最終消費的全鏈路畫出來講一遍。數(shù)據(jù)源頭業(yè)務(wù)系統(tǒng)國資監(jiān)管報送的數(shù)據(jù)不是憑空產(chǎn)生的都來自企業(yè)內(nèi)部的各類業(yè)務(wù)系統(tǒng)。財務(wù)系統(tǒng)提供資產(chǎn)負債表、利潤表、現(xiàn)金流量表等財務(wù)數(shù)據(jù)。這是監(jiān)管平臺最核心的數(shù)據(jù)來源之一。人力資源系統(tǒng)提供員工總數(shù)、薪酬總額、社保繳納等人力資源指標。資產(chǎn)管理系統(tǒng)提供固定資產(chǎn)臺賬、無形資產(chǎn)明細、產(chǎn)權(quán)變動信息。項目管理系統(tǒng)提供投資項目進度、投資金額、招投標信息。合同管理系統(tǒng)提供合同簽訂、執(zhí)行、變更等數(shù)據(jù)。這些系統(tǒng)的數(shù)據(jù)分散在不同數(shù)據(jù)庫中格式各異有些甚至是紙質(zhì)臺賬電子化后的Excel。要把這些異構(gòu)數(shù)據(jù)整合到一起報送出去中間需要經(jīng)過一系列處理。數(shù)據(jù)采集ETL和數(shù)據(jù)抽取采集環(huán)節(jié)的核心任務(wù)是把分散在各業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)匯聚到報送系統(tǒng)的數(shù)據(jù)中轉(zhuǎn)區(qū)。一般通過ETL抽取-轉(zhuǎn)換-加載過程來實現(xiàn)。抽取按照監(jiān)管平臺要求的數(shù)據(jù)范圍從各業(yè)務(wù)系統(tǒng)中讀取原始數(shù)據(jù)。抽取方式有數(shù)據(jù)庫直連查詢、API調(diào)用、文件導(dǎo)出等。有些老舊系統(tǒng)的數(shù)據(jù)只能通過定時導(dǎo)出文件的方式獲取。轉(zhuǎn)換這一步是最復(fù)雜的。包括字段映射業(yè)務(wù)字段名和監(jiān)管標準字段名對應(yīng)、編碼轉(zhuǎn)換比如部門編碼、幣種編碼的統(tǒng)一、格式標準化日期格式、金額精度、枚舉值規(guī)范、數(shù)據(jù)清洗去重、補缺、校驗邏輯一致性。加載將轉(zhuǎn)換后的數(shù)據(jù)寫入報送數(shù)據(jù)中轉(zhuǎn)區(qū)。中轉(zhuǎn)區(qū)一般是報送數(shù)據(jù)庫中獨立的一個schema和業(yè)務(wù)系統(tǒng)數(shù)據(jù)物理隔離。采集環(huán)節(jié)最容易出問題的不是技術(shù)而是業(yè)務(wù)理解偏差。比如監(jiān)管平臺要求的營業(yè)收入和財務(wù)系統(tǒng)中的營業(yè)收入口徑不完全一致可能存在合并報表和單體報表的差異。這類口徑問題需要在轉(zhuǎn)換規(guī)則中處理。數(shù)據(jù)處理加密和簽名采集來的數(shù)據(jù)通過中轉(zhuǎn)區(qū)后在推送前需要完成加密和簽名處理。報文組裝按照監(jiān)管平臺定義的報文格式把數(shù)據(jù)組裝成XML或JSON報文。報文結(jié)構(gòu)通常包含報文頭版本號、報送類型、報送批次號等和報文體具體數(shù)據(jù)內(nèi)容。數(shù)據(jù)加密使用SM4國密對稱加密算法對報文體進行加密。加密密鑰通過SM2非對稱加密算法的公鑰加密后隨報文一起發(fā)送。監(jiān)管平臺收到后先用SM2私鑰解密出對稱密鑰再用對稱密鑰解密數(shù)據(jù)。數(shù)字簽名使用本方的SM2私鑰對報文做簽名。監(jiān)管平臺用本方注冊時上傳的SM2公鑰驗簽確保報文來源可信且未被篡改。這套加解密和簽名機制是國密合規(guī)要求的標準做法。如果搭貝AI低代碼平臺等工具在國資場景使用涉及數(shù)據(jù)傳輸環(huán)節(jié)也要遵循同樣的國密規(guī)范。數(shù)據(jù)傳輸前置機鏈路處理好的報文通過前置機推送到監(jiān)管平臺。前置機收到應(yīng)用層推送的報文后負責(zé)完成以下工作連接管理維持和監(jiān)管平臺之間的長連接。通過心跳機制保持在線狀態(tài)斷線自動重連。報文隊列如果網(wǎng)絡(luò)暫時不可用或監(jiān)管平臺響應(yīng)慢報文在前置機的本地隊列中緩存。網(wǎng)絡(luò)恢復(fù)后按順序補發(fā)。傳輸協(xié)議按照監(jiān)管平臺定義的傳輸協(xié)議封裝報文。協(xié)議包括報文頭格式、心跳報文格式、確認報文格式等。傳輸日志記錄每條報文的發(fā)送時間、接收確認時間、傳輸狀態(tài)。前置機是數(shù)據(jù)鏈路中承上啟下的關(guān)鍵節(jié)點大部分傳輸層面的故障都在這里暴露。數(shù)據(jù)接收端監(jiān)管平臺監(jiān)管平臺收到報文后的處理流程驗簽和解密先驗簽確認報文來源可信再解密獲取明文數(shù)據(jù)。數(shù)據(jù)校驗按照數(shù)據(jù)標準對每條數(shù)據(jù)做格式和邏輯校驗。校驗不通過的數(shù)據(jù)打回通過的數(shù)據(jù)入庫。入庫存儲數(shù)據(jù)寫入監(jiān)管平臺的數(shù)據(jù)庫按企業(yè)、按期次、按數(shù)據(jù)類型分類存儲。數(shù)據(jù)分析監(jiān)管平臺對入庫數(shù)據(jù)做統(tǒng)計分析生成各類監(jiān)管報表和預(yù)警指標。反饋回執(zhí)向報送方發(fā)送處理回執(zhí)。回執(zhí)包含處理結(jié)果成功/失敗、失敗原因如有、校驗錯誤明細等。回執(zhí)處理閉環(huán)管理報送系統(tǒng)收到監(jiān)管平臺的回執(zhí)后還有最后一環(huán)。成功回執(zhí)標記該批次數(shù)據(jù)報送完成歸檔處理記錄。失敗回執(zhí)解析失敗原因定位到具體數(shù)據(jù)記錄和錯誤字段。通知業(yè)務(wù)系統(tǒng)修正數(shù)據(jù)后重新生成報文走完整的報送流程。預(yù)警回執(zhí)有些監(jiān)管平臺會返回數(shù)據(jù)異常預(yù)警比如某項指標環(huán)比變化超過閾值。這類回執(zhí)需要人工關(guān)注分析。整個數(shù)據(jù)鏈路就是業(yè)務(wù)系統(tǒng)產(chǎn)生數(shù)據(jù) → ETL采集轉(zhuǎn)換 → 加密簽名處理 → 前置機傳輸 → 監(jiān)管平臺校驗入庫 → 回執(zhí)反饋 → 異常處理回溯。每個環(huán)節(jié)都有可能出問題理解全鏈路才能快速定位故障發(fā)生在哪一環(huán)。Q1數(shù)據(jù)采集頻率一般是多久按數(shù)據(jù)類型不同頻率不同。財務(wù)數(shù)據(jù)一般月報或季報項目進度月報重要事項隨時報。具體頻率以監(jiān)管平臺的報送要求為準。Q2報送數(shù)據(jù)量太大傳輸超時怎么辦采用分批推送策略每批控制在數(shù)百條以內(nèi)。同時在非報送截止時間提前推送避免截止日前扎堆報送導(dǎo)致網(wǎng)絡(luò)擁堵。Q3回執(zhí)一直沒收到是什么原因可能是監(jiān)管平臺處理積壓延遲也可能是回執(zhí)報文在傳輸中丟失。建議設(shè)置超時監(jiān)控超過24小時未收到回執(zhí)則主動查詢報送狀態(tài)。Q4數(shù)據(jù)報送后發(fā)現(xiàn)數(shù)據(jù)有誤怎么辦立即聯(lián)系監(jiān)管平臺技術(shù)支持說明情況。部分數(shù)據(jù)類型支持作廢重報部分只能通過報送沖正數(shù)據(jù)來修正。具體方式和監(jiān)管平臺方確認。