疫情期間，武漢協(xié)和醫(yī)院醫(yī)務(wù)人員通過混合現(xiàn)實(shí)技術(shù)觀察新冠肺炎患者肺部病變情況。圖為醫(yī)務(wù)人員通過手勢在空中移動、旋轉(zhuǎn)、縮放圖像，看到特殊顏色標(biāo)注出來的病變部位。陳勇 攝
周杰倫在春節(jié)聯(lián)歡晚會上“云”演唱歌曲《莫吉托》。
（視頻截圖）
劉德華沒去春晚現(xiàn)場？
除夕夜，劉德華通過“云錄制”的方式，空降2021年中央廣播電視總臺春節(jié)聯(lián)歡晚會舞臺。一襲紅衣，勁歌熱舞，一曲紅火熱鬧的《牛起來》，洋溢著濃濃年味兒。
盡管節(jié)目已提示“云錄制”，但仍有人不敢相信自己的眼睛——站在正在現(xiàn)場表演的關(guān)曉彤和王一博中間，和他們默契對視的，不就是劉德華本人嗎？
“這個云錄制簡直絕了，太逼真了，感覺和同臺一樣！”演出結(jié)束，“劉德華云錄制毫無違和感”迅速沖上熱搜。
有網(wǎng)友直呼：“好厲害！這個舞臺讓我看見了國家科技的力量！”
今年春晚在舞臺效果上充分運(yùn)用了AI（人工智能）+VR（虛擬現(xiàn)實(shí)）裸眼3D演播室技術(shù)、“云”科技等。在劉德華的演出中，擴(kuò)展現(xiàn)實(shí)（XR）技術(shù)的應(yīng)用，可謂錦上添花。
擴(kuò)展現(xiàn)實(shí)技術(shù)是指通過計(jì)算機(jī)技術(shù)和可穿戴設(shè)備等產(chǎn)生的一個真實(shí)與虛擬組合的、可人機(jī)交互的環(huán)境，是虛擬現(xiàn)實(shí)（VR）、增強(qiáng)現(xiàn)實(shí)（AR）和混合現(xiàn)實(shí)（MR）技術(shù)以及其他類似沉浸式技術(shù)的融合與統(tǒng)稱。當(dāng)前，隨著5G通信、人工智能等相關(guān)技術(shù)的發(fā)展，擴(kuò)展現(xiàn)實(shí)技術(shù)有望在更多領(lǐng)域得到更廣泛應(yīng)用，滿足人們更多需求。
1
亦真亦幻 明星“云”端上春晚
擴(kuò)展現(xiàn)實(shí)技術(shù)的魅力，在于其讓人難辨虛擬與現(xiàn)實(shí)的奇幻感、未來感，還在于其所提供的“欺騙”感官的豐富體驗(yàn)。
春晚創(chuàng)意表演《牛起來》中，擴(kuò)展現(xiàn)實(shí)技術(shù)的運(yùn)用為劉德華演唱場景制造出了極強(qiáng)的空間感。
在榫卯結(jié)構(gòu)的傳統(tǒng)建筑上放歌，在禮盒搭建的魔幻空間里勁舞，在年年有“魚”的陪伴下遨游，和現(xiàn)場演員同臺互動……為配合擴(kuò)展現(xiàn)實(shí)技術(shù)而營造的四個虛擬建模場景，讓劉德華“云”端上春晚，令觀眾大開眼界。
因疫情防控需要無法來到春晚現(xiàn)場，同樣通過“云錄制”方式與春晚觀眾互動的，還有周杰倫。
春晚副總導(dǎo)演夏雨近日在接受媒體采訪時稱：“《莫吉托》用了現(xiàn)在電影拍攝當(dāng)中經(jīng)常會使用到的機(jī)械臂來實(shí)現(xiàn)節(jié)目的拍攝和制作，我們把兩臺一模一樣的設(shè)備提前做了編程，讓它們所有的運(yùn)動軌跡是相同的，再分別拍攝，這就實(shí)現(xiàn)了真實(shí)的人物、真實(shí)的道具和真實(shí)場景的交互?！?br />
夏雨介紹，以前采用的虛擬成像，要不然在人前，要不然在人后。今年春晚采用的擴(kuò)展現(xiàn)實(shí)技術(shù)，讓人、像處于同一場景，人在場景中還可以有些運(yùn)動變化，像在現(xiàn)實(shí)中一樣。
正是擴(kuò)展現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)了人物、道具與虛擬場景的交互，周杰倫才能如觀眾所見，帶著樂隊(duì)，唱著《莫吉托》，開著粉色汽車，上山下海環(huán)游世界。
實(shí)際上，在此次春晚舞臺上大放異彩的擴(kuò)展現(xiàn)實(shí)技術(shù)，并非首次在央視節(jié)目中亮相。
2020年11月10日，我國“奮斗者”號載人潛水器成功坐底馬里亞納海溝的重要時刻，中央廣播電視總臺央視新聞頻道、央視新聞新媒體通過XR虛擬演播進(jìn)行了同步科普講解，用虛擬環(huán)境將LED屏幕之外的現(xiàn)實(shí)環(huán)境實(shí)時覆蓋，并完成虛擬環(huán)境拓展處理，帶觀眾全景體驗(yàn)大洋10909米處的神秘，令觀眾仿若身臨其境。
與早已為人們熟知的虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)、混合現(xiàn)實(shí)技術(shù)相比，擴(kuò)展現(xiàn)實(shí)技術(shù)走進(jìn)大眾視野較晚，但眼下已漸漸受到一些追求創(chuàng)新的人們的青睞。越來越多的演唱會、發(fā)布會現(xiàn)場，電影拍攝現(xiàn)場以及電視節(jié)目等場景，開始嘗試運(yùn)用高科技感以及逼真感的擴(kuò)展現(xiàn)實(shí)技術(shù)，探索拍攝制作新方法，追求亦真亦幻、新奇瑰麗、更為豐富多彩的作品效果。
那么，擴(kuò)展現(xiàn)實(shí)技術(shù)具體是如何實(shí)現(xiàn)虛擬與現(xiàn)實(shí)的互動與結(jié)合，將云畫面的視覺效果提升到一個新的維度，更大程度地拓展人們的想象空間的？
以春晚為例，“云”端演員通過提前錄制并經(jīng)過技術(shù)包裝的視頻參與演出，作為節(jié)目不可或缺的組成部分，實(shí)現(xiàn)與現(xiàn)場演員的互動。在節(jié)目創(chuàng)作過程中，大致需要經(jīng)過這樣幾個步驟：導(dǎo)演提前統(tǒng)籌，規(guī)劃好每一幀畫面中演員的走位、動作；提前錄制需要技術(shù)包裝的視頻；為表演添加制作虛擬內(nèi)容，實(shí)現(xiàn)“AR化”；將第三步產(chǎn)出的內(nèi)容和現(xiàn)場演出疊加在一起，形成擴(kuò)展現(xiàn)實(shí)場景。
有業(yè)內(nèi)人士分析，從技術(shù)框架上來講，要實(shí)現(xiàn)擴(kuò)展現(xiàn)實(shí)場景，首先需要將虛擬環(huán)境傳輸至現(xiàn)場的LED顯示屏，采用物體位置追蹤與定位技術(shù)對物體進(jìn)行跟蹤拍攝，并將素材傳回至實(shí)時圖形渲染引擎。與此同時，視頻服務(wù)器用本地化運(yùn)行邏輯運(yùn)算進(jìn)行人物手勢分析及圖形渲染，輸出立體、逼真的AR內(nèi)容，與拍攝素材交互呈現(xiàn)。最終，呈現(xiàn)在屏幕前的內(nèi)容就是擴(kuò)展現(xiàn)實(shí)場景。此外，場景的呈現(xiàn)，還需要高速、低時延的強(qiáng)大網(wǎng)絡(luò)支持。因此，擴(kuò)展現(xiàn)實(shí)場景被認(rèn)為是基于現(xiàn)實(shí)場景與后臺炫酷的AR內(nèi)容進(jìn)行結(jié)合交互而來的。
2
擴(kuò)展現(xiàn)實(shí) 催生全新生產(chǎn)生活方式
如何理解和區(qū)分虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)、混合現(xiàn)實(shí)與擴(kuò)展現(xiàn)實(shí)？
據(jù)介紹，虛擬現(xiàn)實(shí)技術(shù)，也稱靈境技術(shù)或人工環(huán)境，是利用計(jì)算機(jī)模擬產(chǎn)生一個三維空間的虛擬世界，為用戶提供關(guān)于視覺、聽覺等感官的模擬。人們通過佩戴特殊設(shè)計(jì)的設(shè)備，依靠計(jì)算機(jī)生成的虛擬環(huán)境，將自己與真實(shí)的物理世界隔絕開來，沉浸于一個獨(dú)立時空中。
增強(qiáng)現(xiàn)實(shí)技術(shù)，是指將計(jì)算機(jī)生成的虛擬物體、場景或系統(tǒng)提示信息疊加到現(xiàn)實(shí)場景中，從而實(shí)現(xiàn)對現(xiàn)實(shí)的增強(qiáng)。用戶能夠通過感官直接獲取擴(kuò)展現(xiàn)實(shí)的體驗(yàn)，具有極強(qiáng)交互性。足不出戶就能滿足購物欲的“虛擬試衣”程序以及手機(jī)實(shí)景行車導(dǎo)航軟件等，都是增強(qiáng)現(xiàn)實(shí)技術(shù)的典型應(yīng)用。
混合現(xiàn)實(shí)技術(shù)，是把虛擬數(shù)字對象引入現(xiàn)實(shí)環(huán)境，物理和數(shù)字對象共存，并能實(shí)時互動。該技術(shù)通過在虛擬環(huán)境中引入現(xiàn)實(shí)場景信息，在虛擬世界、現(xiàn)實(shí)世界和用戶之間搭起一個交互反饋的信息回路，以增強(qiáng)用戶體驗(yàn)的真實(shí)感。在新的可視化環(huán)境里物理和數(shù)字對象共存，并實(shí)時互動。
這一技術(shù)應(yīng)用在醫(yī)學(xué)中，醫(yī)生戴上混合現(xiàn)實(shí)眼鏡，患者器官的虛擬全息立體模型就可呈現(xiàn)在面前。醫(yī)生可通過手勢在空中移動、旋轉(zhuǎn)、縮放三維影像，“透視”患者器官結(jié)構(gòu)，從而實(shí)現(xiàn)術(shù)前影像診斷、手術(shù)規(guī)劃、術(shù)中導(dǎo)航和遠(yuǎn)程醫(yī)療等。
簡單來說，虛擬現(xiàn)實(shí)是完全虛擬的數(shù)字環(huán)境；增強(qiáng)現(xiàn)實(shí)是以現(xiàn)實(shí)世界為主，疊加數(shù)字環(huán)境，能明顯區(qū)分出真實(shí)物體和虛擬物體；混合現(xiàn)實(shí)是實(shí)現(xiàn)物理世界和虛擬環(huán)境的互動和操作，理想狀態(tài)下，無法區(qū)分真實(shí)物體和虛擬物體。
虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)、混合現(xiàn)實(shí)與擴(kuò)展現(xiàn)實(shí)雖然名稱不同，但基礎(chǔ)支撐技術(shù)是相通的。而作為一種綜合性的高新技術(shù)群，擴(kuò)展現(xiàn)實(shí)技術(shù)離不開多種技術(shù)的支撐，包括輸入技術(shù)、處理技術(shù)、輸出技術(shù)和泛在技術(shù)。輸入技術(shù)即對運(yùn)動、環(huán)境做出感應(yīng)和交互觸發(fā)的技術(shù)；處理技術(shù)即輸入信息識別、數(shù)字內(nèi)容生成、虛實(shí)融合處理等技術(shù)，使真實(shí)和虛擬空間無縫融合；輸出技術(shù)即依靠視覺、聽覺、觸覺、味覺及嗅覺五感反饋的技術(shù)，為用戶提供情境化的真實(shí)感官體驗(yàn)；泛在技術(shù)即依靠人工智能、物聯(lián)網(wǎng)、高速傳輸網(wǎng)絡(luò)等技術(shù)，保證數(shù)據(jù)從云端到邊緣、再到設(shè)備端的傳輸穩(wěn)定性。
目前，擴(kuò)展現(xiàn)實(shí)技術(shù)的應(yīng)用不僅常見于文藝演出、影視制作、藝術(shù)展覽、賽事直播等消費(fèi)娛樂領(lǐng)域，還逐漸向醫(yī)療、教育、工業(yè)等垂直領(lǐng)域滲透。
擴(kuò)展現(xiàn)實(shí)，連接虛擬。可以預(yù)見，不遠(yuǎn)的未來，擴(kuò)展現(xiàn)實(shí)技術(shù)在各領(lǐng)域的應(yīng)用將大有可為，將催生帶來全新的生產(chǎn)生活方式。
或許你會在虛擬教室，上一堂真人互動課程，做一場模擬實(shí)驗(yàn)；或許會進(jìn)入虛擬世界，隨手隨心勾勒就能進(jìn)行直觀的設(shè)計(jì)，成稿隨即進(jìn)入制造系統(tǒng)，生產(chǎn)出真實(shí)的產(chǎn)品……將現(xiàn)實(shí)與虛擬無縫對接，在虛擬與現(xiàn)實(shí)間自如切換，虛擬和真實(shí)之間，邊界將不再明顯。
3
XR應(yīng)用 帶來產(chǎn)業(yè)發(fā)展新機(jī)遇
基于人工智能、光場技術(shù)、計(jì)算機(jī)視覺技術(shù)等核心技術(shù)的發(fā)展成熟，硬件設(shè)備的革新進(jìn)步，軟件與應(yīng)用場景的拓展完善，發(fā)展曾一度遇阻的擴(kuò)展現(xiàn)實(shí)技術(shù)也進(jìn)入新的發(fā)展機(jī)遇期，市場規(guī)模持續(xù)擴(kuò)大，行業(yè)應(yīng)用也愈加豐富。
其中，在與5G的結(jié)合方面，5G+XR不僅帶給人們一種全新的生活方式，還帶來了產(chǎn)業(yè)發(fā)展新機(jī)遇。
2020年，5G商用起跑的第一年。5G手機(jī)用戶的擴(kuò)大，為XR產(chǎn)業(yè)發(fā)展注入了新活力。中國移動、中國電信、中國聯(lián)通等國內(nèi)三大電信運(yùn)營商紛紛發(fā)力布局5G＋XR，搶占XR市場先機(jī)。
中國移動2018年就已專門成立5G XR工作組，如今更是依托聯(lián)合創(chuàng)新中心，聯(lián)合產(chǎn)業(yè)伙伴從技術(shù)、標(biāo)準(zhǔn)、產(chǎn)品、生態(tài)四個方面推動5G云XR產(chǎn)業(yè)發(fā)展；中國電信攜手多家國際運(yùn)營商，成立全球XR內(nèi)容電信聯(lián)盟；中國聯(lián)通發(fā)布“1+2+N”5G XR戰(zhàn)略，成立5G XR終端生態(tài)聯(lián)盟，并推出XR內(nèi)容開發(fā)者孵育計(jì)劃……世界范圍內(nèi)，高通、華為、微軟、谷歌、蘋果等公司也都在積極布局XR技術(shù)。從芯片研發(fā)、系統(tǒng)引擎、終端制造、應(yīng)用開發(fā)到平臺分發(fā)，各方力量的加入與聯(lián)合，將有力推動XR產(chǎn)業(yè)發(fā)展。
在企業(yè)級應(yīng)用方面，XR的發(fā)展前景同樣可觀，特別是在工業(yè)制造、機(jī)械維修、建筑、能源等行業(yè)。有分析認(rèn)為，擴(kuò)展現(xiàn)實(shí)技術(shù)的應(yīng)用，能夠從企業(yè)的物理資產(chǎn)、生產(chǎn)流程中收集數(shù)據(jù)，并進(jìn)行整合分析，幫助企業(yè)更好地完成市場預(yù)測、設(shè)計(jì)生產(chǎn)、質(zhì)量控制、管理維護(hù)等工作，實(shí)現(xiàn)降本增效。當(dāng)智能設(shè)備、智能生產(chǎn)體系與數(shù)字世界實(shí)現(xiàn)融合后，可驅(qū)動制造企業(yè)完成智能化轉(zhuǎn)型。因此可以說，XR技術(shù)的應(yīng)用，對于驅(qū)動數(shù)字經(jīng)濟(jì)發(fā)展和傳統(tǒng)產(chǎn)業(yè)升級具有重要意義。
去年，全球著名信息技術(shù)、通信行業(yè)和消費(fèi)科技市場研究機(jī)構(gòu)Strategy Analytics曾發(fā)布一份專題研究報告，預(yù)測從2021年起XR市場將強(qiáng)勁增長。
面對值得期待的前景，擴(kuò)展現(xiàn)實(shí)技術(shù)未來發(fā)展還需要應(yīng)對哪些挑戰(zhàn)？
在硬件方面，讓可穿戴設(shè)備更加舒適，讓電池待機(jī)時間更長；在系統(tǒng)運(yùn)行方面，解決高時延問題；保障數(shù)據(jù)安全，防止使用者信息泄露，防御網(wǎng)絡(luò)攻擊……這些都是要解決的問題。
需要注意的是，即使硬件設(shè)備不斷完善，內(nèi)容和應(yīng)用的缺乏仍然是制約行業(yè)發(fā)展的一大瓶頸。彌補(bǔ)生態(tài)短板、打造產(chǎn)業(yè)鏈至關(guān)重要。而這需要更為全面、強(qiáng)大的算力服務(wù)支撐，也需要業(yè)內(nèi)更深入思考，什么樣的行業(yè)、流程、內(nèi)容能更好地虛擬化，怎樣讓虛擬與現(xiàn)實(shí)的結(jié)合與互動更加便捷，更加符合市場的期待和人們的需求。
此外，擴(kuò)展現(xiàn)實(shí)技術(shù)的發(fā)展，也需要更多的專業(yè)人才支撐。對此，國家相關(guān)部門已從教育培養(yǎng)、從業(yè)標(biāo)準(zhǔn)等方面出臺相關(guān)政策引導(dǎo)。去年年底，《人工智能從業(yè)人員能力要求》《虛擬現(xiàn)實(shí)從業(yè)人員能力要求》等五項(xiàng)人才培養(yǎng)行業(yè)標(biāo)準(zhǔn)啟動制定。從業(yè)人員能力的整體提升，將為擴(kuò)展現(xiàn)實(shí)等相關(guān)產(chǎn)業(yè)發(fā)展提供有力的人才保障。（應(yīng)研）
