圖鑒升級為 3D 展廳后旋轉(zhuǎn)模型只是第一步。假設(shè)一個知識熱點位于模型右側(cè)模型轉(zhuǎn)過半圈后熱點應(yīng)出現(xiàn)在左側(cè)與它關(guān)聯(lián)的聲音也需要隨之換到左側(cè)。若每次播放都使用同一個固定音頻坐標(biāo)畫面與聲音就會脫節(jié)。本實驗把模型的 Y 軸旋轉(zhuǎn)、觀察距離與空間聲源連接起來導(dǎo)入帶高斯數(shù)據(jù)的模型調(diào)整角度點擊按鈕生成當(dāng)前位置的四秒方位測試音。它是離散快照試聽適合逐項核對坐標(biāo)滑動過程中不會連續(xù)更新正在播放的聲源。先把四套概念分清同一個熱點會經(jīng)歷局部坐標(biāo)、場景坐標(biāo)、聽者相對坐標(biāo)和音頻輸入坐標(biāo)。模型局部坐標(biāo)描述熱點附著在模型哪里場景坐標(biāo)反映模型旋轉(zhuǎn)后的實際位置聽者相對坐標(biāo)需要減去觀察者的位置音頻輸入則必須符合音頻節(jié)點的軸向與范圍。Demo 將一個測試熱點固定在模型局部(1,0,0)。它是坐標(biāo)標(biāo)定點并不自動識別模型中的某個展品也沒有把任意模型的一米都解釋為真實世界的一米。正式展廳應(yīng)由內(nèi)容生產(chǎn)流程提供熱點坐標(biāo)和單位比例。對象本實驗約定模型圍繞 Y 軸旋轉(zhuǎn)原點位置不變相機位于(0,0,distance)保持朝向場景原點支持繞Z軸滾轉(zhuǎn)180°測試熱點局部位置(1,0,0)音頻坐標(biāo)右 X、上 Y、前 Z三個分量限制在 [-5,5]這些約定讓首個聯(lián)動實驗可以使用簡單變換。未來如果加入相機平移、俯仰或任意朝向必須使用完整視圖變換不能只改一個角度參數(shù)。模型旋轉(zhuǎn)與聲源計算使用同一個狀態(tài)3D 頁面保存水平旋轉(zhuǎn)角、觀察距離與相機滾轉(zhuǎn)角。渲染控制器把角度寫入 GSNode 的旋轉(zhuǎn)四元數(shù)同時把距離寫入相機 Z 坐標(biāo)。試聽按鈕直接讀取這三個頁面狀態(tài)避免再維護一份可能滯后的“音頻角度”。對局部點(x,y,z)繞 Y 軸旋轉(zhuǎn)后constworldXMath.cos(yaw)*xMath.sin(yaw)*z;constworldZ-Math.sin(yaw)*xMath.cos(yaw)*z;相機未滾轉(zhuǎn)時音頻前向分量是distance - worldZ高度保持為 y。啟用畫面翻轉(zhuǎn)后先用相機滾轉(zhuǎn)的逆變換計算聽者坐標(biāo)listenerX cos(roll) * worldX sin(roll) * ylistenerY -sin(roll) * worldX cos(roll) * y。相機滾轉(zhuǎn)π時聽者的X、Y方向同時反號前向分量保持不變。這個符號來自場景與音頻軸向的對應(yīng)關(guān)系不是靠試聽后隨意加負(fù)號。相機滾轉(zhuǎn)為0時局部點(1,0,0)在零度時位于右側(cè)在180度時位于左側(cè)。這兩個輸入能直觀檢查符號90度則用于觀察深度變化。啟用畫面翻轉(zhuǎn)后左右方向隨聽者坐標(biāo)一同翻轉(zhuǎn)。超過五米時為什么不能分別截斷 XYZ場景允許較大的觀察距離而音頻位置接口有自己的范圍。直接把每個分量分別限制到 [-5,5] 看起來能消除報錯卻可能改變聲源方向。例如相對位置(2,1,30)分別截斷會變?yōu)?2,1,5)水平方向比例從2/30變成2/5聽覺上被拉向側(cè)面。本實驗對三個分量使用相同縮放系數(shù)constforwarddistance-worldZ;constlistenerXMath.cos(cameraRoll)*worldXMath.sin(cameraRoll)*y;constlistenerY-Math.sin(cameraRoll)*worldXMath.cos(cameraRoll)*y;constscaleMath.min(1,5/Math.max(Math.abs(listenerX),Math.abs(listenerY),Math.abs(forward),0.001));return{x:listenerX*scale,y:listenerY*scale,z:forward*scale,scale:scale};這樣(2,1,30)被映射到約(0.333,0.167,5)各分量比例保持不變。代價是遠(yuǎn)距離被壓縮不能再把映射后的米數(shù)當(dāng)作真實展廳距離。實際產(chǎn)品應(yīng)根據(jù)導(dǎo)覽場景選擇方向優(yōu)先、展廳分區(qū)、統(tǒng)一世界單位或限制活動范圍。一次點擊保存一個完整快照點擊試聽時先計算聲源位置再調(diào)用普通空間渲染節(jié)點的固定擺位模式。后續(xù)即使繼續(xù)移動滑塊本次四秒聲音仍使用點擊時的位置。按鈕文字使用“試聽聲源快照”讓用戶知道需要重新點擊才能比較新位置。constpointmapExhibitToAudio(1,0,0,this.yaw*Math.PI/180,this.distance,this.cameraRoll);constresultawaitthis.audioService.play(0,point.x,point.y,point.z);頁面回顯映射后的 XYZ 與渲染耗時。這里的耗時只覆蓋調(diào)用到 Native 返回 PCM不包括用戶聽到聲音的全部端到端延遲。若要測量交互延遲還需把播放器創(chuàng)建、啟動與輸出路由等階段納入獨立測量。與空間音頻基礎(chǔ)篇相比這一篇增加了坐標(biāo)關(guān)聯(lián)與同步契約。底層管線沿用同一服務(wù)避免兩個獨立音頻模塊對錯誤碼、停止行為和輸出格式作出不同解釋。模型加載與聲音不能互相拖住生命周期導(dǎo)入模型經(jīng)系統(tǒng)選擇器獲取文件再復(fù)制到應(yīng)用沙箱。GLB或PLY的基本文件頭檢查只能說明部分結(jié)構(gòu)不能證明里面有高斯數(shù)據(jù)真正加載由 GSPlugin 完成不合適的模型會進入加載失敗路徑。模型成功加載后才允許試聽。離開頁面時同步使場景加載結(jié)果失效并停止音頻服務(wù)。Native 渲染若稍后返回其代次已經(jīng)過期不會重新創(chuàng)建播放器。3D 場景同樣有代次檢查防止返回后的異步模型結(jié)果繼續(xù)持有資源?？煺章曇羰褂贸绦蛏傻膾哳l信號適合檢查方向。它還不是講解內(nèi)容系統(tǒng)展品選擇、講解文件、字幕、音量和播放進度都需要在后續(xù)內(nèi)容會話中建立明確關(guān)聯(lián)。三個角度構(gòu)成一組可手算的坐標(biāo)用例固定局部點 (1,0,0)、相機距離4、相機滾轉(zhuǎn)0按前面的公式得到下表。這些是公式預(yù)期值不是設(shè)備輸出記錄浮點測試應(yīng)使用適當(dāng)容差。yawworldXworldZ音頻前向 distance-worldZ0°10490°0-15180°-104在這三個點上縮放系數(shù)均為 1便于單獨檢查旋轉(zhuǎn)符號再增加遠(yuǎn)距離樣本檢查等比例縮放避免一次用例同時引入多個變量。相機位置或朝向約定改變后應(yīng)重新推導(dǎo)這張表而不是沿用舊預(yù)期值修補新公式。讓實驗結(jié)果能被另一個人復(fù)查坐標(biāo)測試可先獨立于設(shè)備完成零度熱點應(yīng)在右側(cè)180 度應(yīng)在左側(cè)較大距離的映射應(yīng)保持分量比例NaN 或無窮數(shù)應(yīng)被拒絕。這些測試發(fā)現(xiàn)的是變換和輸入問題不評價系統(tǒng)音效質(zhì)量。設(shè)備驗收再使用同一模型、同一熱點與同一耳機。保存零度和 180 度兩個畫面同時記錄對應(yīng)音頻參數(shù)與實際聽感。截圖可以呈現(xiàn)場景狀態(tài)無法單獨證明聲音具有方位感因此還需要試聽記錄或音頻采集證據(jù)。后續(xù)若升級為連續(xù)導(dǎo)覽建議另設(shè)實時音頻會話在播放中更新聲源參數(shù)對位置采樣節(jié)流并平滑處理協(xié)調(diào)相機、模型和音頻線程的時序。不能把每次手勢變化都當(dāng)作新的四秒離線渲染任務(wù)那會產(chǎn)生任務(wù)積壓和不連貫播放。參考HarmonyOS 7 空間與 AI 征文方向、SpatialRender 官方接口。試聽捕獲的是哪一次視角試聽取當(dāng)前視角生成聲源快照完成后把 PCM 交給播放器。選擇模型和離頁都會改變控制器生命周期頁面只接受仍屬于本次操作的結(jié)果。這一入口播放離散片段連續(xù)聲場更新需要另建持續(xù)音頻鏈。exportinterfaceAudioPoint{x:number;y:number;z:number;scale:number;}/** 模型繞Y軸旋轉(zhuǎn)后將坐標(biāo)變換到相機滾轉(zhuǎn)后的聽者坐標(biāo)系聽者前方使用正Z。 */exportfunctionmapExhibitToAudio(x:number,y:number,z:number,yaw:number,distance:number,cameraRoll:number0):AudioPoint{if(![x,y,z,yaw,distance,cameraRoll].every((value:number)Number.isFinite(value))){thrownewError(場景坐標(biāo)必須為有限數(shù)值);}constworldXMath.cos(yaw)*xMath.sin(yaw)*z;constworldZ-Math.sin(yaw)*xMath.cos(yaw)*z;constforwarddistance-worldZ;constlistenerXMath.cos(cameraRoll)*worldXMath.sin(cameraRoll)*y;constlistenerY-Math.sin(cameraRoll)*worldXMath.cos(cameraRoll)*y;// Preserve bearing by applying one uniform scale, not three independent clamps.constscaleMath.min(1,5/Math.max(Math.abs(listenerX),Math.abs(listenerY),Math.abs(forward),0.001));return{x:listenerX*scale,y:listenerY*scale,z:forward*scale,scale:scale};}import{common}fromkit.AbilityKit;import{picker}fromkit.CoreFileKit;import{Scene}fromkit.ArkGraphics3D;import{SpatialSceneController}from../services/SpatialSceneController;import{ModelRepository}from../services/ModelRepository;import{SpatialAudioService}from../services/SpatialAudioService;import{mapExhibitToAudio}from../services/TourCoordinates;import{LabTheme}from../common/LabTheme;import{describeError}from../common/LabError;EntryComponentstruct TourPage{Statescene:Scene|undefinedundefined;Statestatus:string選擇帶有 3DGS 數(shù)據(jù)的 GLB 或 PLY。普通網(wǎng)格或點云不等于高斯模型。;Stateyaw:number0;Statedistance:number4;StatecameraRoll:number0;Statebusy:booleanfalse;privateactive:booleantrue;privateaudioService:SpatialAudioServicenewSpatialAudioService();StateaudioStatus:string試聽模型局部點 (1, 0, 0) 的方位測試音;StateaudioBusy:booleanfalse;privatecontroller:SpatialSceneControllernewSpatialSceneController();aboutToAppear():void{this.activetrue;}aboutToDisappear():void{this.activefalse;this.audioService.stop().catch((){});this.sceneundefined;this.controller.dispose();}privateasyncselectModel():Promisevoid{if(this.busy){return;}this.busytrue;try{constcontextthis.getUIContext().getHostContext()ascommon.UIAbilityContext;constviewPickernewpicker.DocumentViewPicker(context);constoptionsnewpicker.DocumentSelectOptions();options.maxSelectNumber1;constselectedawaitviewPicker.select(options);if(!this.active||selected.length0){return;}awaitthis.audioService.stop();this.audioStatus試聽模型局部點 (1, 0, 0) 的方位測試音;this.sceneundefined;this.controller.dispose();consturiawaitModelRepository.importModel(context,selected[0]);if(!this.active){return;}conststartDate.now();constsceneawaitthis.controller.load(uri);if(this.activescene){this.scenescene;this.yaw0;this.distance4;this.cameraRoll0;this.status3DGS 模型加載完成 ·${Date.now()-start}ms;}}catch(error){if(this.active){this.statusdescribeError(errorasError);}}finally{this.busyfalse;}}privateasynclisten():Promisevoid{if(this.audioBusy){return;}this.audioBusytrue;try{constpointmapExhibitToAudio(1,0,0,this.yaw*Math.PI/180,this.distance,this.cameraRoll);this.audioStatus聲源快照 (${point.x.toFixed(2)},${point.y.toFixed(2)},${point.z.toFixed(2)})m;constresultawaitthis.audioService.play(0,point.x,point.y,point.z);if(this.activeresult){this.audioStatus· 渲染${result.renderMs}ms;}}catch(error){if(this.active){this.audioStatusdescribeError(errorasError);}}finally{this.audioBusyfalse;}}build(){Column({space:12}){Text(有聲展廳 · 視角與聲源).fontSize(24).fontWeight(FontWeight.Bold).fontColor(LabTheme.ink)Button(選擇 3DGS 模型).enabled(!this.busy).onClick((){this.selectModel();})Text(this.status).fontSize(14).fontColor(LabTheme.muted)if(this.scene){Component3D({scene:this.scene}).width(100%).layoutWeight(1)}else{Text(等待模型).width(100%).layoutWeight(1).textAlign(TextAlign.Center)}Text(this.audioStatus).fontSize(13)Row({space:8}){Button(試聽聲源快照).fontSize(12).enabled(!!this.scene!this.audioBusy!this.busy).onClick((){this.listen();})Button(this.cameraRoll0?畫面翻轉(zhuǎn)關(guān):畫面翻轉(zhuǎn)開).fontSize(12).enabled(!!this.scene!this.busy!this.audioBusy).onClick((){this.cameraRollthis.cameraRoll0?Math.PI:0;this.controller.setView(this.yaw*Math.PI/180,this.distance,0,this.cameraRoll);})}Text(水平旋轉(zhuǎn)${this.yaw}°).fontSize(14)Slider({value:this.yaw,min:-180,max:180,step:1}).onChange((value:number){this.yawvalue;this.controller.setView(value*Math.PI/180,this.distance,0,this.cameraRoll);})Text(觀察距離).fontSize(14)Slider({value:this.distance,min:0.2,max:30,step:0.1}).onChange((value:number){this.distancevalue;this.controller.setView(this.yaw*Math.PI/180,value,0,this.cameraRoll);})Button(復(fù)位).onClick((){this.yaw0;this.distance4;this.cameraRoll0;this.controller.setView(0,4);})}.padding(20).height(100%).width(100%).backgroundColor(LabTheme.background)}}操作或邊界應(yīng)檢查的結(jié)果選擇新模型清理舊場景和試聽試聽開始后轉(zhuǎn)動視角已提交快照不被隱式篡改退出頁面停止音頻并釋放場景文件選擇器返回有效新文件后頁面先等待音頻服務(wù)停止再解除舊場景并導(dǎo)入新模型。取消選擇保持當(dāng)前模型和試聽狀態(tài)渲染階段或播放器創(chuàng)建階段的遲到音頻結(jié)果由服務(wù)代次攔截并釋放。換模型資源合同、音頻服務(wù)測試和構(gòu)建結(jié)果見第12篇換模型清理舊試聽。order場景的真機聯(lián)動結(jié)果2026年9月24日HBN-AL80/API26加載Apartment order版本距離保持4、相機滾轉(zhuǎn)π。水平角137°時頁面回讀聲源(0.73,0.00,4.68)m渲染耗時197ms調(diào)到0°后回讀(-1.00,-0.00,4.00)m渲染耗時159ms。這兩組回讀與相機滾轉(zhuǎn)后的坐標(biāo)公式一致。素材SA3D_RD_XP47Stéphane AgulloCC-BY-4.0由Apartment SOG轉(zhuǎn)換為PLY并重排字段。0°重復(fù)運行時系統(tǒng)音頻日志記錄Native節(jié)點實際接收(-1,0,4)隨后播放器Start SUCCESS、Stop SUCCESS和Release end。日志同時存在系統(tǒng)調(diào)度、權(quán)限與清理提示保留在實測記錄中。這組實驗記錄坐標(biāo)傳遞與播放生命周期對應(yīng)耳機的方位主觀試聽單獨安排頁面仍使用離散快照音頻。