李可 李雅茹 王凱悅 滕瑞 崔春風(fēng)
(中國移動通信有限公司研究院,北京 100032)
0 引言
2023 年6 月,國際電信聯(lián)盟完成了《IMT 面向2030及未來發(fā)展的框架和總體目標(biāo)建議書》(簡稱《建議書》)[1],這將有助于形成6G 的全球統(tǒng)一標(biāo)準(zhǔn)。6G 的典型應(yīng)用場景包括沉浸式通信、人工智能與通信融合、感知與通信融合等六大應(yīng)用場景。這些應(yīng)用場景展示了2030 年數(shù)字化時代到來后,數(shù)字世界與物理世界深度交互融合的美好愿景,而6G 網(wǎng)絡(luò)將成為實(shí)現(xiàn)多樣化業(yè)務(wù)應(yīng)用場景的中流砥柱。然而,要實(shí)現(xiàn)上述美好愿景,不能將以邊緣計(jì)算、毫米波為代表的通信技術(shù)和以渲染、三維重建(Three-Dimensional Reconstruction,3D Reconstruction)為代表的業(yè)務(wù)技術(shù)簡單地拼接在一起。相反,必須以網(wǎng)業(yè)融合的思路(即打破不同技術(shù)領(lǐng)域的邊界),通過端到端系統(tǒng)的重構(gòu)和優(yōu)化以促進(jìn)具有不同技術(shù)特征和發(fā)展路徑的多類信息技術(shù)相互滲透和協(xié)同,最終實(shí)現(xiàn)網(wǎng)絡(luò)和業(yè)務(wù)的深度融合與創(chuàng)新。
目前,業(yè)內(nèi)對于6G 業(yè)務(wù)的研究仍聚焦于業(yè)務(wù)和網(wǎng)絡(luò)技術(shù)的分別迭代,未能深入探討網(wǎng)業(yè)融合的發(fā)展邏輯。因此,本文以云端三維重建為6G 典型應(yīng)用案例,從關(guān)鍵技術(shù)的研究進(jìn)展出發(fā),著重分析其對6G 網(wǎng)絡(luò)的需求、影響和涉及的關(guān)鍵技術(shù)標(biāo)準(zhǔn)化現(xiàn)狀,最后分析在云端三維重建系統(tǒng)原型搭建方面的探索并提出下一步研究方向。
1 三維重建賦能6G 愿景
面向元宇宙、Web3 等6G 多樣化的業(yè)務(wù)場景和接入設(shè)備形態(tài),中國移動通信有限公司研究院提出“數(shù)字孿生、智慧泛在”的需求愿景[2],在產(chǎn)業(yè)界形成廣泛共識。為了實(shí)現(xiàn)6G 愿景,業(yè)界正在努力推進(jìn)6G 各項(xiàng)研發(fā)工作。
為實(shí)現(xiàn)6G 愿景,目前學(xué)術(shù)界和產(chǎn)業(yè)界正圍繞6G關(guān)鍵技術(shù)進(jìn)行重點(diǎn)布局和攻關(guān)。與此同時,要想讓6G網(wǎng)絡(luò)賦能千行百業(yè),助力各行業(yè)深化數(shù)字化轉(zhuǎn)型,還需要深化與其它行業(yè)及技術(shù)領(lǐng)域的融合協(xié)作發(fā)展。以數(shù)字孿生愿景為例,要實(shí)現(xiàn)萬事萬物的數(shù)字化,需要三維重建技術(shù)的支撐。傳統(tǒng)三維重建技術(shù)的采集、計(jì)算等全部功能處理流程均在本地進(jìn)行,帶來了成本高及移動性差等問題,造成業(yè)務(wù)始終無法大規(guī)模普及;而簡單地將全部處理流程上云后,又會導(dǎo)致上行傳輸壓力過大。只有將網(wǎng)絡(luò)和業(yè)務(wù)技術(shù)統(tǒng)籌考慮、融合設(shè)計(jì),才能更有效地發(fā)揮6G 網(wǎng)絡(luò)在傳輸及算力方面的優(yōu)勢,讓6G 真正成為溝通物理世界與數(shù)字世界的橋梁,最終實(shí)現(xiàn)網(wǎng)絡(luò)無所不達(dá)、智能無所不及。
2 三維重建重點(diǎn)發(fā)展方向與面臨的挑戰(zhàn)
2.1 三維重建及應(yīng)用場景
三維重建是指利用二維投影或影像恢復(fù)物體三維訊息(如形狀等)的數(shù)學(xué)過程和計(jì)算機(jī)技術(shù),即通過圖像數(shù)據(jù)還原出三維物體。三維重建可以通過主動或被動的方法來完成[3]。常見的三維重建方法有運(yùn)動恢復(fù)結(jié)構(gòu)、多視圖立體視覺(Multi-View Stereo,MVS)、同時定位與地圖構(gòu)建、深度學(xué)習(xí)技術(shù)等。運(yùn)動恢復(fù)結(jié)構(gòu)指從包含視覺運(yùn)動信息的多幅二維圖像序列中估計(jì)三維結(jié)構(gòu);MVS 指運(yùn)用立體對應(yīng)關(guān)系在多張照片上得到三維幾何結(jié)構(gòu);同時定位與地圖構(gòu)建指通過相機(jī)實(shí)時跟蹤自己的位姿并重建周圍三維環(huán)境;深度學(xué)習(xí)技術(shù)[4-6]指使用深度學(xué)習(xí)網(wǎng)絡(luò)對圖像數(shù)據(jù)進(jìn)行解析,提取特征點(diǎn),然后進(jìn)行三維重建。
三維重建是實(shí)現(xiàn)數(shù)字化世界的重要手段,在3D通話、擴(kuò)展現(xiàn)實(shí)(Extended Reality,XR)交互、城市規(guī)劃、自動駕駛、遺產(chǎn)保護(hù)等領(lǐng)域有著廣泛應(yīng)用。3D 通話是一種利用視覺、聽覺和其它感測技術(shù),在遠(yuǎn)程雙方用戶之間模擬出三維效果的實(shí)時視頻通話。谷歌公司的Starline 系統(tǒng)[7]通過多個高分辨率傳感器的數(shù)據(jù)采集、視頻和深度流的壓縮傳輸、數(shù)據(jù)融合、光場顯示等技術(shù),實(shí)時重建人物,使兩個人在不需要佩戴特殊的眼鏡、麥克風(fēng)及耳機(jī)的情況下,體驗(yàn)面對面交流。在實(shí)時增強(qiáng)現(xiàn)實(shí)(Augmented Reality,AR)交互應(yīng)用中,三維重建是非常重要的感知任務(wù),國內(nèi)外有大量企業(yè)和科研機(jī)構(gòu)在三維重建領(lǐng)域進(jìn)行研究。美國高通公司利用自監(jiān)督神經(jīng)網(wǎng)絡(luò)進(jìn)行單眼深度估計(jì),在AR 眼鏡上實(shí)時生成顯示視角環(huán)境的3D 影像,實(shí)現(xiàn)了數(shù)字世界和物理世界的無縫對接。商湯科技公司和高校共同研發(fā)的Mobile3DRecon 系統(tǒng),可以生動顯示虛實(shí)物體間的遮擋和碰撞效果[8]。為了增強(qiáng)用戶在虛擬世界中的真實(shí)感受,元宇宙場景中的人、物及環(huán)境都可以通過三維重建技術(shù)采集并生成。用戶生成內(nèi)容將打造元宇宙的核心生態(tài),未來幾乎每個人都能使用三維重建技術(shù)進(jìn)行內(nèi)容創(chuàng)造。
2.2 三維重建應(yīng)用面臨的挑戰(zhàn)
沉浸式通信包含XR、全息等沉浸式多媒體、多感官交互以及數(shù)字孿生等場景,這些場景均離不開三維重建技術(shù)的運(yùn)用。目前三維重建技術(shù)在專業(yè)化領(lǐng)域的應(yīng)用,需要圖形處理器等算力設(shè)備的支撐,效果好但成本高;而大多數(shù)移動端應(yīng)用軟件雖具有一定的易用性,但重建效果差強(qiáng)人意。上述現(xiàn)狀導(dǎo)致三維重建技術(shù)始終無法大規(guī)模普及。
面對移動性和算力需求的雙重挑戰(zhàn),將三維重建云化是一種高效的解決方案。通過集中云端算力調(diào)度和執(zhí)行三維重建,不僅能夠提高模型精度,而且還能維持終端輕便化,但在應(yīng)用過程中,也會帶來以下諸多挑戰(zhàn)。在業(yè)務(wù)技術(shù)方面,終端需要針對不同應(yīng)用場景搭建采集系統(tǒng)并采集高精度數(shù)據(jù),同時云端需要使用具有高魯棒性的重建算法。在業(yè)務(wù)功能設(shè)計(jì)方面,云化后的三維重建功能流程需要在端云兩側(cè)合理分配,同時引導(dǎo)數(shù)據(jù)傳輸以對網(wǎng)絡(luò)友好的方式高效實(shí)現(xiàn)。在應(yīng)用層傳輸方面,雖然目前已有多種應(yīng)用層協(xié)議支持對音視頻流進(jìn)行實(shí)時傳輸,但尚未完全滿足云端三維重建傳輸需求,尤其是對深度圖、點(diǎn)云、網(wǎng)格等三維數(shù)據(jù)的有效支持不足。因此,需要對已有的應(yīng)用層傳輸協(xié)議進(jìn)行三維重建場景下的調(diào)整與適配。在無線網(wǎng)絡(luò)傳輸方面,移動終端需要通過無線上行鏈路將采集的大量點(diǎn)云、視頻等數(shù)據(jù)傳輸?shù)皆贫诉M(jìn)行建模和渲染。然而,上行資源匱乏以及不完善的調(diào)度機(jī)制會導(dǎo)致傳輸延遲和資源浪費(fèi)。為此,需要進(jìn)一步優(yōu)化無線網(wǎng)絡(luò)的容量增強(qiáng)和服務(wù)質(zhì)量(Quality of Service,QoS)配置等功能。
3 云端三維重建潛在技術(shù)方案分析
3.1 業(yè)務(wù)模塊化設(shè)計(jì)
針對云端三維重建系統(tǒng)在端云兩側(cè)可靈活調(diào)整的需求,需要對關(guān)鍵功能進(jìn)行模塊化設(shè)計(jì)與解耦�；趥鹘y(tǒng)的三維重建框架流程,設(shè)計(jì)解耦合的、獨(dú)立的模塊來實(shí)現(xiàn)數(shù)據(jù)采集、數(shù)據(jù)傳輸、三維重建、數(shù)據(jù)顯示等功能。其中最為重要的三維重建模塊可進(jìn)一步劃分為系統(tǒng)標(biāo)定、數(shù)據(jù)預(yù)處理、位姿估計(jì)、多視角數(shù)據(jù)融合、曲面重建、紋理映射等子模塊。每個模塊均進(jìn)行模塊化的接口設(shè)計(jì),既通過明確輸入輸出接口來進(jìn)行模塊間的交互,又便于后期探索并進(jìn)行重新設(shè)計(jì)時替換相應(yīng)模塊。
3.2 網(wǎng)絡(luò)傳輸設(shè)計(jì)
考慮到云端三維重建類業(yè)務(wù)是典型的沉浸式通信業(yè)務(wù),上行傳輸?shù)囊粢曨l、相機(jī)參數(shù)、點(diǎn)云、深度信息等不同類型的多流數(shù)據(jù),可以通過流媒體協(xié)議及6G 無線網(wǎng)絡(luò)進(jìn)行傳輸,以實(shí)現(xiàn)實(shí)時互動、遠(yuǎn)程協(xié)作及多種場景下的數(shù)據(jù)交互等。目前,在網(wǎng)絡(luò)應(yīng)用層和傳輸層,對于三維重建類業(yè)務(wù)可以考慮以下主流傳輸協(xié)議。
網(wǎng)頁視頻語音實(shí)時通訊技術(shù)(Web Real-Time Communications,WebRTC)通過不同終端建立點(diǎn)對點(diǎn)的連接,不借助中間媒介,實(shí)現(xiàn)數(shù)據(jù)實(shí)時傳輸[9]。WebRTC 包括音視頻采集、網(wǎng)絡(luò)傳輸?shù)戎T多功能,可以為實(shí)時三維重建多流數(shù)據(jù)提供全流程的多項(xiàng)功能與技術(shù)支持。用戶在無需安裝第三方軟件或者任何插件的情況下,通過創(chuàng)建點(diǎn)對點(diǎn)的數(shù)據(jù)分享,實(shí)現(xiàn)3D 通話的三維重建場景。在時延方面,基于超文本傳輸協(xié)議的動態(tài)自適應(yīng)流可能產(chǎn)生幾秒至幾十秒左右的傳輸時延,而基于用戶數(shù)據(jù)報(bào)協(xié)議(User Datagram Protocol,UDP)的WebRTC 協(xié)議可將時延降低至秒級甚至毫秒級,使得實(shí)時AR 應(yīng)用場景下的三維模型的低時延交互成為可能。
快速UDP 網(wǎng)絡(luò)連接(Quick UDP Internet Connections,QUIC)是一種基于UDP 的新型傳輸層協(xié)議,可以避免傳輸控制協(xié)議(Transmission Control Protocol,TCP)的慢啟動問題,通過零往返時延快速啟動提高網(wǎng)絡(luò)連接的速度。QUIC 通過內(nèi)置加密技術(shù)傳輸用戶交互數(shù)據(jù)和三維數(shù)據(jù),具有更高的安全性和可靠性,支持在單個鏈接的多路復(fù)用技術(shù),實(shí)現(xiàn)并行發(fā)送多個音視頻、深度數(shù)據(jù)、點(diǎn)云模型等數(shù)據(jù)流,從而降低多流數(shù)據(jù)的并發(fā)時延并提高網(wǎng)絡(luò)帶寬利用率。QUIC 還具有擁塞控制和流量控制等機(jī)制,以應(yīng)對傳輸高精度模型或者傳感器采集的大量數(shù)據(jù)導(dǎo)致的網(wǎng)絡(luò)擁塞,并保證網(wǎng)絡(luò)傳輸?shù)姆�(wěn)定性。
云端三維重建類業(yè)務(wù)需要對多流數(shù)據(jù)進(jìn)行上行調(diào)度,涉及到無線網(wǎng)絡(luò)中的容量增強(qiáng)以及QoS 分級傳輸?shù)裙δ堋Ｔ跓o線鏈路層,為了解決數(shù)據(jù)上行傳輸存在的時延和資源浪費(fèi)問題,可以考慮以下四個方面的增強(qiáng)。
緩存狀態(tài)報(bào)告(Buffer Status Report,BSR)增強(qiáng)可以優(yōu)化無線鏈路上行資源的配置,在提升容量方面具有重要意義�，F(xiàn)有協(xié)議標(biāo)準(zhǔn)定義了BSR 大小范圍,針對云端三維重建類業(yè)務(wù)上行資源的調(diào)度傳輸,會產(chǎn)生較大的平均量化誤差。根據(jù)采集數(shù)據(jù)的大小與時延要求在媒體接入控制協(xié)議中定義新的基于傳輸內(nèi)容特征的緩存狀態(tài)表,可以有效降低資源配置的平均量化誤差,提高業(yè)務(wù)數(shù)據(jù)在傳輸時對無線資源的利用率。
分組數(shù)據(jù)匯聚協(xié)議(Packet Data Convergence Protocol,PDCP)層的丟棄控制增強(qiáng)可以保障重要數(shù)據(jù)的傳輸,對特定協(xié)議數(shù)據(jù)單元(Protocol Data Unit,PDU)進(jìn)行丟棄操作。在云端三維重建類業(yè)務(wù)的數(shù)據(jù)傳輸過程中,當(dāng)基站檢測到網(wǎng)絡(luò)出現(xiàn)擁塞時,終端可以啟動基于PDU 集重要性(PDU Set Importance,PSI)的PDCP 丟棄操作,優(yōu)先保障重要點(diǎn)云或者視頻幀(如視頻首幀、輪廓點(diǎn)云等)數(shù)據(jù)的傳輸,從而保障重建的實(shí)時性與重建效果,提升用戶體驗(yàn)。
配置授權(quán)(Configured Grant,CG)功能主要用于上行傳輸,基站預(yù)先配置物理上行共享信道(Physical Uplink Shared Channel,PUSCH)資源,終端直接在CG資源上發(fā)送上行數(shù)據(jù)。云端三維重建類業(yè)務(wù)的上行流量涉及大視頻幀的傳輸,可以引入上行CG 增強(qiáng)功能,在同一個CG 場合創(chuàng)建多個PUSCH。通過調(diào)整多PUSCH 配置授權(quán)的資源來適應(yīng)業(yè)務(wù)流量的可變性,以最小的控制開銷,提高云端三維重建類業(yè)務(wù)的容量并節(jié)省終端電力[10]。
在QoS 分級方面,除了用于移動寬帶的默認(rèn)QoS流之外,網(wǎng)絡(luò)還可以針對云端三維重建類業(yè)務(wù)特定的數(shù)據(jù)流提供優(yōu)化處理。在點(diǎn)云數(shù)據(jù)傳輸方面,連續(xù)的點(diǎn)云數(shù)據(jù)可以分為圖集數(shù)據(jù)、幾何數(shù)據(jù)、屬性數(shù)據(jù)以及占用數(shù)據(jù),其中最重要的圖集數(shù)據(jù)用于實(shí)現(xiàn)2D 到3D的逆投影,次重要的幾何數(shù)據(jù)表示投影點(diǎn)與虛擬相機(jī)的距離。針對其重要性的不同進(jìn)行QoS 分類保障,在網(wǎng)絡(luò)資源受限情況下優(yōu)先保障重要性級別高的數(shù)據(jù)傳輸。在不同類型數(shù)據(jù)的傳輸方面,為了解決云端數(shù)據(jù)接收的亂序問題,定義每個模塊處理的不同數(shù)據(jù)的需求時延,通過QoS 分流及差異化保障,有序調(diào)度傳輸數(shù)據(jù),降低三維重建的端到端時延。
3.3 原型系統(tǒng)驗(yàn)證
基于現(xiàn)有的三維重建軟硬件方案,本文選擇了主流的MVS 方案與RGB-D 相機(jī)作為采集設(shè)備,實(shí)現(xiàn)了靜態(tài)物體云端三維重建原型系統(tǒng)(見圖2)。圖2 左側(cè)為實(shí)驗(yàn)環(huán)境下的圖像采集環(huán)境,采集數(shù)據(jù)通過本地主機(jī)可以在無線網(wǎng)絡(luò)(Wi-Fi)或有線網(wǎng)絡(luò)下上傳到云端服務(wù)器進(jìn)行重建。為了實(shí)現(xiàn)高效數(shù)據(jù)傳輸,基于云管端架構(gòu)和業(yè)務(wù)模塊化設(shè)計(jì),本文測試了兩種系統(tǒng)架構(gòu):將全部三維重建功能放在云端;將三維重建部分?jǐn)?shù)據(jù)預(yù)處理功能放在終端,而其余功能放在云端(見圖3)。預(yù)處理可以通過時域和空域的平滑減少上行數(shù)據(jù)量。例如,將連續(xù)5 張深度圖平滑成1 張更精確的深度圖,或者對深度圖像進(jìn)行去畸變、邊緣檢測、閾值截取、去噪聲等操作。針對三維重建原始數(shù)據(jù)量較大的關(guān)鍵問題,對于三維重建中涉及的RGB 圖像、深度圖像、點(diǎn)云三種主要數(shù)據(jù)類型設(shè)計(jì)了有損和無損的壓縮方法。通過本文測試,可以發(fā)現(xiàn)原型系統(tǒng)實(shí)現(xiàn)了8 臺深度相機(jī)設(shè)備在不同重建場景下,基于6 種不同RGB 圖像分辨率及4 種深度相機(jī)分辨率進(jìn)行數(shù)據(jù)采集,總體原始數(shù)據(jù)總量最大可達(dá)300 MB;有損壓縮方面最高均可實(shí)現(xiàn)20:1 左右的壓縮比,無損壓縮方面最高可以分別實(shí)現(xiàn)4:1、10:1、6.7:1 左右的壓縮比。在不顯著影響三維重建效果的前提下,總體數(shù)據(jù)傳輸總量需求可從300 MB降低至20 MB 左右,為不同網(wǎng)絡(luò)帶寬情況下的數(shù)據(jù)傳輸提供了解決方案。
未來,用戶使用移動終端多視角拍攝任意物體后,通過6G 網(wǎng)絡(luò)將三維數(shù)據(jù)上傳到云端即可重建并得到該物體的三維模型,從而有利于該業(yè)務(wù)大范圍普及。
4 結(jié)束語
未來,6G 網(wǎng)絡(luò)將會涵蓋更多領(lǐng)域,開拓?cái)?shù)字孿生、智能交互等全新的應(yīng)用場景,推動整個社會向智慧化發(fā)展,并帶來深刻的社會形態(tài)變革。為了實(shí)現(xiàn)這一目標(biāo),不僅需要在業(yè)務(wù)和通信原有技術(shù)路徑上加大基礎(chǔ)理論和關(guān)鍵技術(shù)研究,還需要注重跨界融合技術(shù)的創(chuàng)新,推動以云端三維重建為代表的業(yè)務(wù)和網(wǎng)絡(luò)向融合方向發(fā)展。
從推動云端三維重建業(yè)務(wù)在6G 時代落地來看,建議后續(xù)重點(diǎn)布局以下幾個方向:一是需考慮對音視頻、三維數(shù)據(jù)等多流數(shù)據(jù)進(jìn)行擴(kuò)展,并支持實(shí)時互動要求下的數(shù)據(jù)高效傳輸與可靠性保障;二是需要全系列協(xié)議棧的聯(lián)合支撐,如應(yīng)用層協(xié)議和無線通信鏈路層協(xié)議之間的協(xié)同傳輸與性能優(yōu)化,以共同保障6G 新業(yè)務(wù)在網(wǎng)絡(luò)中的傳輸需求;三是需要針對云端三維重建類業(yè)務(wù)在無線側(cè)的多流傳輸、實(shí)時上行調(diào)度等方面進(jìn)行深入研究,推動6G 無線網(wǎng)絡(luò)的標(biāo)準(zhǔn)化進(jìn)展。
網(wǎng)業(yè)融合是一個長期的演進(jìn)過程,需要在早期就集合產(chǎn)、學(xué)、研、用各方力量,共同探索,并加快關(guān)鍵技術(shù)的合作與研發(fā)。面向商業(yè)實(shí)際需求與產(chǎn)業(yè)化問題,做好系統(tǒng)性理論研究和技術(shù)方案設(shè)計(jì),并在技術(shù)驗(yàn)證及業(yè)務(wù)示范中不斷迭代,可望形成產(chǎn)業(yè)化的實(shí)施方案,盡早培育6G 產(chǎn)業(yè)和應(yīng)用生態(tài)。為此,需要不斷加強(qiáng)跨領(lǐng)域的溝通與合作,推動經(jīng)驗(yàn)和資源共享,提高技術(shù)互動和包容精神,以便更好地促進(jìn)6G 網(wǎng)絡(luò)與業(yè)務(wù)的融合發(fā)展。
