虛擬現(xiàn)實(shí)需要高性能的系統(tǒng)才能維持舒適的體驗(yàn)，而但如果我們要實(shí)現(xiàn)理論中的真正沉浸式AR，其最終可能需要更高的性能水平。

雖然虛擬現(xiàn)實(shí)可以在低于20ms延遲下實(shí)現(xiàn)舒適和沉浸式的表現(xiàn)，但增強(qiáng)現(xiàn)實(shí)需要幾乎零的延遲，為保持真實(shí)世界和數(shù)字世界非常接近的同步，AR對(duì)高頻輸出的需求十分嚴(yán)格。

為此，英偉達(dá)向我們展示了一款刷新率高達(dá)16000Hz的原型AR顯示屏。與之相比，傳統(tǒng)AR顯示屏的刷新率僅為60Hz（當(dāng)前高端VR頭顯為90Hz/120Hz）。

從視頻中可以看到，他們把白色數(shù)字盒子疊加在真實(shí)的棋盤(pán)中。當(dāng)前顯示屏的刷新率為60Hz，而你可以發(fā)現(xiàn)數(shù)字信息難以瞄定在真實(shí)世界對(duì)象中，因?yàn)橐苿?dòng)速度意味著在渲染下一張圖像之前，渲染到屏幕的最新圖像已經(jīng)顯著地偏離了現(xiàn)實(shí)世界對(duì)象。

與之對(duì)比，由于16000Hz的顯示更新如此迅速，不管攝像頭的移動(dòng)速度如何，圖像也能保持高速重新渲染，從而幾乎可以完全鎖定在真實(shí)世界的網(wǎng)格上。

在本周的GTC 2017大會(huì)上，英偉達(dá)展示了北卡羅萊納查普希爾大學(xué)分校、英偉達(dá)研究所和InnerOptic Technology共同合作的最新成果。英偉達(dá)的摩根·麥圭爾（Morgan McGuire）表示，16000Hz系統(tǒng)中的運(yùn)動(dòng)到光子的延遲為0.08毫秒，這比當(dāng)前的高端VR頭顯快100倍以上。

有趣的是，實(shí)驗(yàn)中的60Hz顯示屏和16000Hz顯示屏的源輸入僅僅保持在60Hz。這意味著研究人員已經(jīng)能夠?qū)崿F(xiàn)這種超低延遲內(nèi)插，不需要用16000fps源輸入匹配16000Hz顯示屏，因?yàn)檫@在現(xiàn)實(shí)場(chǎng)景中其實(shí)并不實(shí)際。

詳細(xì)的研究以標(biāo)題《From Motion to Photons in 80 Microseconds: Towards Minimal Latency for Virtual and Augmented Reality》發(fā)表在《IEEE 視覺(jué)化與計(jì)算機(jī)圖示學(xué)匯刊》中。作者在摘要中解釋，該系統(tǒng)是檢驗(yàn)圖像質(zhì)量與其他因素之間權(quán)衡的有用平臺(tái)。

我們描述了一種基于具有極快（16 kHz）二進(jìn)制更新速率的DMD芯片的增強(qiáng)現(xiàn)實(shí)光學(xué)透視顯示屏。為了把二進(jìn)制像素轉(zhuǎn)換為可感知的灰階，我們通過(guò)一種新的調(diào)制技術(shù)把后渲染二維偏移和即時(shí)追蹤更新相結(jié)合。這種在FPGA（現(xiàn)場(chǎng)可編程門(mén)陣列）中實(shí)現(xiàn)的處理元素與光學(xué)顯示元素一起安裝在頭部追蹤設(shè)備中，而用戶可通過(guò)頭部追蹤設(shè)備將合成圖像疊加在真實(shí)環(huán)境中。接近零延遲的機(jī)械追蹤與可重構(gòu)顯示處理的組合僅帶來(lái)了平均80微妙的端到端延遲，這同時(shí)也是一種針對(duì)極低延遲顯示系統(tǒng)的廣泛測(cè)試平臺(tái)。我們已經(jīng)通過(guò)這個(gè)平臺(tái)來(lái)檢查圖像質(zhì)量和成本（即功率和邏輯復(fù)雜度）之間的權(quán)衡，并發(fā)現(xiàn)我們可以用相當(dāng)簡(jiǎn)單的顯示調(diào)制方案來(lái)維持質(zhì)量。

16000Hz可能接近于AR的理論目標(biāo)值，但即便是更低的刷新率仍然能為我們帶來(lái)舒適的AR體驗(yàn)。被認(rèn)為是當(dāng)前最高質(zhì)量的AR頭顯HoloLens，其刷新率也僅僅只是60Hz而已。雖然視覺(jué)表現(xiàn)不夠完美，但已經(jīng)屬于可以接受的水平。映維網(wǎng)相信隨著AR頭顯的外形設(shè)計(jì)不斷優(yōu)化，用戶頭部的移動(dòng)速度將會(huì)越來(lái)越快，AR眼鏡需要匹配這一速度，所以我們希望顯示屏的表現(xiàn)能夠隨著時(shí)間的推移而不斷改善。