shape配置參數(shù))
動態(tài)shape【免費下載鏈接】geGEGraph Engine是面向昇騰的圖編譯器和執(zhí)行器提供了計算圖優(yōu)化、多流并行、內(nèi)存復用和模型下沉等技術(shù)手段加速模型執(zhí)行效率減少模型內(nèi)存占用。 GE 提供對 PyTorch、TensorFlow 前端的友好接入能力并同時支持 onnx、pb 等主流模型格式的解析與編譯。項目地址: https://gitcode.com/cann/geac_parallel_enable動態(tài)shape圖中是否允許AI CPU算子和AI Core算子并行運行。動態(tài)shape圖中開關(guān)開啟時系統(tǒng)自動識別圖中可以和AI Core并發(fā)的AI CPU算子不同引擎的算子下發(fā)到不同流上實現(xiàn)多引擎間的并行從而提升資源利用效率和動態(tài)shape執(zhí)行性能。參數(shù)取值1允許AI CPU和AI Core算子間的并行運行。0默認值A(chǔ)I CPU算子不會單獨分流。配置示例{ac_parallel_enable, 1};必選/可選可選生效級別全局ge.dynamicDims設(shè)置ND格式下動態(tài)維度的檔位適用于執(zhí)行推理時每次處理任意維度的場景。該參數(shù)需要與ge.inputShape配合使用。詳細使用示例請參見編譯并運行Graph場景。**參數(shù)取值**通過dim1,dim2,dim3;dim4,dim5,dim6;dim7,dim8,dim9的形式設(shè)置。參數(shù)值格式所有檔位必須放在雙引號中檔位之間使用英文分號分隔每檔內(nèi)參數(shù)使用英文逗號分隔每檔中的dim值與ge.inputShape參數(shù)中的-1標識的參數(shù)依次對應inputShape參數(shù)中有幾個-1則每檔必須設(shè)置幾個維度。并且要求檔位信息必須大于1組。參數(shù)值約束針對Ascend 950PR/Ascend 950DT檔位數(shù)約束為檔位數(shù)取值范圍為(1, 256]即必須設(shè)置至少2個檔位最多支持256檔配置建議配置為3~4檔。針對如下產(chǎn)品檔位數(shù)約束為檔位數(shù)取值范圍為(1,100]即必須設(shè)置至少2個檔位最多支持100檔配置建議配置為3~4檔。Atlas A3 訓練系列產(chǎn)品/Atlas A3 推理系列產(chǎn)品Atlas A2 訓練系列產(chǎn)品/Atlas A2 推理系列產(chǎn)品Atlas 訓練系列產(chǎn)品Atlas 推理系列產(chǎn)品使用示例若模型只有一個輸入{ge.inputShape, data:1,-1,-1}, {ge.dynamicDims, 1,2;3,4;5,6;7,8} // graph運行時支持的data算子的shape為1,1,2; 1,3,4; 1,5,6; 1,7,8若網(wǎng)絡模型有多個輸入每檔中的dim值與模型輸入?yún)?shù)中的-1標識的參數(shù)依次對應模型輸入?yún)?shù)中有幾個-1則每檔必須設(shè)置幾個維度。例如網(wǎng)絡模型有三個輸入分別為data(1,1,40,T)label(1,T)mask(T,T) 其中T為動態(tài)可變。則配置示例為{ge.inputShape, data:1,1,40,-1;label:1,-1;mask:-1,-1 }, {ge.dynamicDims, 20,20,1,1;40,40,2,2;80,60,4,4} // graph運行時支持的輸入dims組合檔數(shù)分別為 //第0檔data(1,1,40,20)label(1,20)mask(1,1) //第1檔data(1,1,40,40)label(1,40)mask(2,2) //第2檔data(1,1,40,80)label(1,60)mask(4,4)必選/可選可選生效級別session/graphge.dynamicNodeType用于指定動態(tài)輸入的節(jié)點類型。0dataset輸入為動態(tài)輸入。1placeholder輸入為動態(tài)輸入。當前不支持dataset和placeholder輸入同時為動態(tài)輸入。配置示例{ge.dynamicNodeType, 0};必選/可選可選生效級別session/graphge.exec.hostSchedulingMaxThreshold控制**靜態(tài)小圖根圖**執(zhí)行時是否走動態(tài)shape調(diào)度的最大閾值。默認閾值為0。建議大模型場景使用。如果靜態(tài)根圖節(jié)點的個數(shù)最大閾值則走動態(tài)shape調(diào)度。大模型場景該方式可以節(jié)約Stream資源。如果靜態(tài)根圖節(jié)點的個數(shù)最大閾值則保持原有流程不變。說明如果靜態(tài)根圖節(jié)點包括子圖則該參數(shù)不生效。必選/可選可選生效級別全局/session/graphge.exec.static_model_ops_lower_limit動態(tài)shape拆分中設(shè)置靜態(tài)子圖最小算子數(shù)量閾值。參數(shù)取值取值范圍為-1到正無窮取其他值報錯默認值為4。取值0算子數(shù)門限靜態(tài)子圖不單獨拆圖合并到動態(tài)圖走動態(tài)執(zhí)行。算子數(shù)門限保持原有流程不變靜態(tài)子圖仍舊會拆圖。取值-1表示所有算子走動態(tài)圖執(zhí)行。例如假設(shè)靜態(tài)子圖中算子數(shù)為4通過該參數(shù)配置的門限為10則靜態(tài)子圖不會單獨拆圖走動態(tài)圖執(zhí)行。必選/可選可選生效級別graphge.inputShape指定模型輸入數(shù)據(jù)的shape。在線推理或訓練場景下該參數(shù)僅在動態(tài)分檔場景動態(tài)維度下為必選配置在非動態(tài)分檔場景下單獨配置此選項不生效。動態(tài)分檔場景原始模型中輸入數(shù)據(jù)的某個或某些維度值不固定當前支持通過設(shè)置shape分檔方式轉(zhuǎn)換模型。參數(shù)取值模型為非固定shape設(shè)置ge.inputShape參數(shù)時將對應維度值設(shè)置為-1需要同時配合ge.dynamicDims設(shè)置動態(tài)維度檔位參數(shù)、ge.dynamicNodeType指定動態(tài)輸入的節(jié)點類型參數(shù)一起使用。模型shape為標量動態(tài)分檔如果模型輸入中既有標量shape又有支持動態(tài)分檔的shape則標量輸入不能忽略必須配置。例如模型有三個輸入分別為A:[-1,c1,h1,w1]、B:[]、C:[n2,c2,h2,w2]則shape信息為A:-1,c1,h1,w1;B:;C:n2,c2,h2,w2標量輸入B必須配置。配置示例非固定shape設(shè)置指定維度檔位的示例請參見ge.dynamicDims。shape為標量動態(tài)分檔shape為標量的輸入必須配置。例如模型有三個輸入shape信息分別為A:[-1,32,208,208]、B:[]、C:[16,64,208,208]則配置示例為A為動態(tài)分檔輸入此處以設(shè)置動態(tài)維度檔位為例{ge.inputShape, A:-1,32,208,208;B:;C:16,64,208,208}, {ge.dynamicDims, 1;2;4}必選/可選可選生效級別session/graph【免費下載鏈接】geGEGraph Engine是面向昇騰的圖編譯器和執(zhí)行器提供了計算圖優(yōu)化、多流并行、內(nèi)存復用和模型下沉等技術(shù)手段加速模型執(zhí)行效率減少模型內(nèi)存占用。 GE 提供對 PyTorch、TensorFlow 前端的友好接入能力并同時支持 onnx、pb 等主流模型格式的解析與編譯。項目地址: https://gitcode.com/cann/ge創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 CANN/GE動態(tài)shape配置參數(shù)
動態(tài)shape【免費下載鏈接】geGEGraph Engine是面向昇騰的圖編譯器和執(zhí)行器提供了計算圖優(yōu)化、多流并行、內(nèi)存復用和模型下沉等技術(shù)手段加速模型執(zhí)行效率減少模型內(nèi)存占用。 GE 提供對 PyTorch、TensorFlow 前端的友好接入能力并同時支持 onnx、pb 等主流模型格式的解析與編譯。項目地址: https://gitcode.com/cann/geac_parallel_enable動態(tài)shape圖中是否允許AI CPU算子和AI Core算子并行運行。動態(tài)shape圖中開關(guān)開啟時系統(tǒng)自動識別圖中可以和AI Core并發(fā)的AI CPU算子不同引擎的算子下發(fā)到不同流上實現(xiàn)多引擎間的并行從而提升資源利用效率和動態(tài)shape執(zhí)行性能。參數(shù)取值1允許AI CPU和AI Core算子間的并行運行。0默認值A(chǔ)I CPU算子不會單獨分流。配置示例{ac_parallel_enable, 1};必選/可選可選生效級別全局ge.dynamicDims設(shè)置ND格式下動態(tài)維度的檔位適用于執(zhí)行推理時每次處理任意維度的場景。該參數(shù)需要與ge.inputShape配合使用。詳細使用示例請參見編譯并運行Graph場景。**參數(shù)取值**通過dim1,dim2,dim3;dim4,dim5,dim6;dim7,dim8,dim9的形式設(shè)置。參數(shù)值格式所有檔位必須放在雙引號中檔位之間使用英文分號分隔每檔內(nèi)參數(shù)使用英文逗號分隔每檔中的dim值與ge.inputShape參數(shù)中的-1標識的參數(shù)依次對應inputShape參數(shù)中有幾個-1則每檔必須設(shè)置幾個維度。并且要求檔位信息必須大于1組。參數(shù)值約束針對Ascend 950PR/Ascend 950DT檔位數(shù)約束為檔位數(shù)取值范圍為(1, 256]即必須設(shè)置至少2個檔位最多支持256檔配置建議配置為3~4檔。針對如下產(chǎn)品檔位數(shù)約束為檔位數(shù)取值范圍為(1,100]即必須設(shè)置至少2個檔位最多支持100檔配置建議配置為3~4檔。Atlas A3 訓練系列產(chǎn)品/Atlas A3 推理系列產(chǎn)品Atlas A2 訓練系列產(chǎn)品/Atlas A2 推理系列產(chǎn)品Atlas 訓練系列產(chǎn)品Atlas 推理系列產(chǎn)品使用示例若模型只有一個輸入{ge.inputShape, data:1,-1,-1}, {ge.dynamicDims, 1,2;3,4;5,6;7,8} // graph運行時支持的data算子的shape為1,1,2; 1,3,4; 1,5,6; 1,7,8若網(wǎng)絡模型有多個輸入每檔中的dim值與模型輸入?yún)?shù)中的-1標識的參數(shù)依次對應模型輸入?yún)?shù)中有幾個-1則每檔必須設(shè)置幾個維度。例如網(wǎng)絡模型有三個輸入分別為data(1,1,40,T)label(1,T)mask(T,T) 其中T為動態(tài)可變。則配置示例為{ge.inputShape, data:1,1,40,-1;label:1,-1;mask:-1,-1 }, {ge.dynamicDims, 20,20,1,1;40,40,2,2;80,60,4,4} // graph運行時支持的輸入dims組合檔數(shù)分別為 //第0檔data(1,1,40,20)label(1,20)mask(1,1) //第1檔data(1,1,40,40)label(1,40)mask(2,2) //第2檔data(1,1,40,80)label(1,60)mask(4,4)必選/可選可選生效級別session/graphge.dynamicNodeType用于指定動態(tài)輸入的節(jié)點類型。0dataset輸入為動態(tài)輸入。1placeholder輸入為動態(tài)輸入。當前不支持dataset和placeholder輸入同時為動態(tài)輸入。配置示例{ge.dynamicNodeType, 0};必選/可選可選生效級別session/graphge.exec.hostSchedulingMaxThreshold控制**靜態(tài)小圖根圖**執(zhí)行時是否走動態(tài)shape調(diào)度的最大閾值。默認閾值為0。建議大模型場景使用。如果靜態(tài)根圖節(jié)點的個數(shù)最大閾值則走動態(tài)shape調(diào)度。大模型場景該方式可以節(jié)約Stream資源。如果靜態(tài)根圖節(jié)點的個數(shù)最大閾值則保持原有流程不變。說明如果靜態(tài)根圖節(jié)點包括子圖則該參數(shù)不生效。必選/可選可選生效級別全局/session/graphge.exec.static_model_ops_lower_limit動態(tài)shape拆分中設(shè)置靜態(tài)子圖最小算子數(shù)量閾值。參數(shù)取值取值范圍為-1到正無窮取其他值報錯默認值為4。取值0算子數(shù)門限靜態(tài)子圖不單獨拆圖合并到動態(tài)圖走動態(tài)執(zhí)行。算子數(shù)門限保持原有流程不變靜態(tài)子圖仍舊會拆圖。取值-1表示所有算子走動態(tài)圖執(zhí)行。例如假設(shè)靜態(tài)子圖中算子數(shù)為4通過該參數(shù)配置的門限為10則靜態(tài)子圖不會單獨拆圖走動態(tài)圖執(zhí)行。必選/可選可選生效級別graphge.inputShape指定模型輸入數(shù)據(jù)的shape。在線推理或訓練場景下該參數(shù)僅在動態(tài)分檔場景動態(tài)維度下為必選配置在非動態(tài)分檔場景下單獨配置此選項不生效。動態(tài)分檔場景原始模型中輸入數(shù)據(jù)的某個或某些維度值不固定當前支持通過設(shè)置shape分檔方式轉(zhuǎn)換模型。參數(shù)取值模型為非固定shape設(shè)置ge.inputShape參數(shù)時將對應維度值設(shè)置為-1需要同時配合ge.dynamicDims設(shè)置動態(tài)維度檔位參數(shù)、ge.dynamicNodeType指定動態(tài)輸入的節(jié)點類型參數(shù)一起使用。模型shape為標量動態(tài)分檔如果模型輸入中既有標量shape又有支持動態(tài)分檔的shape則標量輸入不能忽略必須配置。例如模型有三個輸入分別為A:[-1,c1,h1,w1]、B:[]、C:[n2,c2,h2,w2]則shape信息為A:-1,c1,h1,w1;B:;C:n2,c2,h2,w2標量輸入B必須配置。配置示例非固定shape設(shè)置指定維度檔位的示例請參見ge.dynamicDims。shape為標量動態(tài)分檔shape為標量的輸入必須配置。例如模型有三個輸入shape信息分別為A:[-1,32,208,208]、B:[]、C:[16,64,208,208]則配置示例為A為動態(tài)分檔輸入此處以設(shè)置動態(tài)維度檔位為例{ge.inputShape, A:-1,32,208,208;B:;C:16,64,208,208}, {ge.dynamicDims, 1;2;4}必選/可選可選生效級別session/graph【免費下載鏈接】geGEGraph Engine是面向昇騰的圖編譯器和執(zhí)行器提供了計算圖優(yōu)化、多流并行、內(nèi)存復用和模型下沉等技術(shù)手段加速模型執(zhí)行效率減少模型內(nèi)存占用。 GE 提供對 PyTorch、TensorFlow 前端的友好接入能力并同時支持 onnx、pb 等主流模型格式的解析與編譯。項目地址: https://gitcode.com/cann/ge創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考