您的位置:首页>VR资讯>行业领域

清华大学:基于IPv6的移动低延迟VR系统

编辑:VR视角 发布时间:2021-06-06 11:53:34 0

依据高盛(Goldman Sachs)最近的预测,到2025年,虚拟现实(Virtual Reality,VR)和增强现实(Augmented Reality,AR)市场估计将增长到950亿美元。

  沉溺式核算技能(VR、AR)经过烘托传神的3D环境为用户供给身临其境的感官体会,在医疗、教育、文娱等各行业都有广泛而重要的运用。

  然而,沉溺式核算体系的核算及传输负载较大,而现有的智能终端和移动网络因核算、传输才能受限,无法确保良好的用户体会。

  清华大学“依据IPv6的移动低推迟VR体系”项目,完结了依据IPv6环境下的端云协同的虚拟现实烘托,在降低虚拟现实运用在移动端的硬件门槛的一起,完结了无线传输下的低推迟体会。

  VR体系现状

  虚拟现实(VR)旨在运用核算机视觉、传感等技能及专门的硬件设备,给用户呈现传神的虚拟环境和颠覆性的交互体会。

  跟着相关技能的成熟,国内外各大公司,诸如Facebook、Google、HTC等都纷纷进入VR领域,推出自己的VR体系。

  当下干流的VR体系一般都由三个关键的部件组成:头戴式显现器、传感器和烘托器。

  为了能够供给沉溺式的虚拟现实体会,VR体系需求运用传感器不断追寻、接纳用户的姿态信息(包含方位和方向信息)。

  依据不同的姿态信息,烘托器将实时地烘托出相应视角的画面并在头戴式显现器上以双眼畸变的方式显现。

  现在干流的商业级VR体系分为两大类:连线型和移动型。

  连线型VR体系将杂乱的烘托、核算作业交给强壮的主机,然后经过高速数据线(HDMI等)将主机烘托的每一帧图画传给单独的头戴式显现器。

  移动型VR体系则摒弃了主机和数据线,将智能手机自身的GPU和显现屏分别作为烘托器和头戴式显现器来供给沉溺式VR体会。

  VR体系特殊的作业流程以及头戴式显现器所引进的近眼显现都给体系带来了巨大的核算和烘托开支。

  为了运用户能够舒适地体会各种VR运用,VR体系一般需求满意下面三个功能和特征需求。

  1. 呼应性

  VR 体系的端到端推迟需求小于10~25毫秒, 过高的端到端推迟将运用户在体会进程中呈现眩晕等不适症状。

  2. 高质量的视觉效果

  为了营造传神的虚拟环境,VR体系需求供给相片级真实感的高质量画面,一起每秒帧刷新率也至少需求达到60来确保流通的体会。

  3. 移动性

  VR体系杂乱的烘托、核算作业一般能够在强壮的主机上完结,这时头戴式显现器一般需求连接HDMI数据线来传输几个Gbps级别的数据量,也就是需求运用连线型VR体系。

  但这种方式极大地降低了用户体会,例如用户简单受数据线影响,因而如何供给具备移动性的VR体系至关重要。

  现在两类干流的 VR 体系均无法满意以上三个彼此矛盾的功能和特征需求。

  连线型VR体系虽然能够供给很好的呼应性和高质量的视觉效果,但却无法供给必要的移动性。

  移动型VR虽然在移动性上有先天的优势,但由于手机较弱的烘托才能和电池容量,往往无法一起满意前两个基本的功能需求。

  与此一起,现在的无线IPv6网络数据传输技能也无法直接代替高速数据线来支撑VR运用所需的几个Gbps的带宽和极低的端到端推迟。

  体系技能方案

  为了克服上述现有技能的缺点,依据IPv6的移动低推迟VR体系供给一种面向虚拟现实的协同烘托办法,依据云核算,使移动型VR体系能够一起满意VR体系的三个功能和特征需求,在移动设备(智能手机)上供给高质量的沉溺式虚拟现实体会,一起无需耗尽移动设备的核算资源和IPv6网络传输的带宽资源。

  低延迟VR系统,沉浸式计算技术

  图1 依据IPv6的移动低推迟VR体系架构

  体系架构如图1所示,其选用的技能方案思路包含以下三点。

  1.将虚拟现实(VR)运用的内容拆分为动态交互内容和静态环境内容,并运用云核算中手机和服务器的分离式架构分别烘托这两个部分。

  2.服务器将接连虚拟空间离散化为很多的采样点,提早烘托每个点对应的全景图并存储。运用手机本身的GPU实时地依据用户输入烘托、显现所述动态交互内容;运用云端的服务器烘托所述静态环境内容。

  3.客户端依据接纳的用户信息,从服务器上经过IPv6网络获取对应方位的全景图,本地实时烘托交互内容并终究将两部分内容结合完结整个协同烘托的进程。

  也就是,手机在运转VR运用时,经过IPv6网络向服务器恳求已烘托的静态环境内容,并与本地烘托好的动态交互内容在客户端进行叠加、组合得到终究VR运用的画面。

  所述动态交互内容主要包含会依据用户的输入而发生改动的一些物体,它们的模型规模相对较小、烘托纹路相对简单,可是需求实时响运用户的输入.

  所述静态环境内容是构成整个虚拟环境的主要成分,它们的模型规模相对庞大、烘托纹路相对杂乱,可是一般只跟着用户在虚拟空间内的移动才发生接连性地改动和更新。

  体系完结流程

  在虚拟现实场景下,本体系功能经过以下过程完结。

  1.将方针VR运用的3D烘托模型拆分红两部分:交互模型和环境模型,分别对应VR运用的动态交互内容和静态环境内容;

  2.服务器端加载VR运用的环境模型,并按固定间隔在模型空间中可抵达的范围内遍历取点,对于每一个采样点,服务器都烘托出一张全景图,并以采样点对应三维方位信息作为其索引存储在服务器端;

  3.客户端实时追寻、接纳用户的姿态信息,客户端运用方位信息经过IPv6网络向IPv6服务器恳求、获取对应方位的全景图,IPv6服务器装备如图2所示;

  低延迟VR系统,沉浸式计算技术

  图2 IPv6服务器装备

  4. 客户端实时追寻、接纳用户的交互信息,客户端依据交互信息运用手机的GPU 实时烘托出动态交互内容;

  5. 客户端将获取的全景图加载、映射到球面上以发生 360 度环绕效果;一起客户端还运用全景图的深度信息将本地实时烘托得出的交互物体叠加到球面全景图上,完结前后景结合;

  6. 客户端依据方向信息在手机屏幕上以双眼畸变的方式显现出对应角度的终究组成画面。

  总结与展望

  本项目依据虚拟现实运用交互内容和环境内容的不同特征,充分运用云核算的分离式架构,将杂乱高功耗的烘托任务经过网络传递到云端,由云端完结高核算量的图画烘托作业,终究返回终端并回显给用户,完结了移动设备上高质量的虚拟现实体会。

  具体来说,本项目创新性地将沉溺式核算运用的烘托作业任务划分为远景交互和布景环境,运用本地移动端GPU来烘托远景交互,一起运用服务器上的长途烘托引擎预烘托布景环境并在手机上进行预取,最后在手机大将两者合并以生成终究帧。

  为了克服移动终端核算才能有限,无线网络高推迟、带宽有限等应战、本项目要点研究协同烘托、依据IPv6网络的预加载技能、并行编解码和动态码率自适应技能。与IPv4网络环境比较,依据IPv6运转该项目,能够供给更足够的带宽。

  一起,为了验证体系的有效性,本项目在现有的移动终端和无线网络环境下完结、布置、评价体系。和传统的依据本地烘托的沉溺式核算体系比较,该体系能够供给愈加高清而流通的画质,极低的交互式用户感知推迟,以及更低的移动终端功耗。

  此外,作为一种烘托迁移框架,该体系具有必定的普适应,能够作为移动沉溺式核算运用的底层支持,在未来能为林林总总的沉溺式运用供给愈加便携的运用方式,愈加高清低延时的交互体会,并确保更长时刻的续航。

  总的来说,与现有技能比较,依据IPv6的移动低推迟VR体系能够直接在当前移动设备上运用已有的IPv6网络传输技能满意VR体系所需的三个功能和特征需求;一起,在无需耗尽移动设备核算资源和IPv6网络技能带宽资源的情况下,完结高质量的VR体会,对于提高移动型VR体系的功能具有十分严重的意义。

  来源:中国教育和科研核算机网



长按指纹识别二维码关注VR视角

免责声明:【VR视角】登载此文出于传递更多信息之目的,文章仅代表作者个人观点,与VR视角(www.vrsj365.com)无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
本文链接:http://www.vrsj365.com/show-1059.html
未注明来源的文章,皆为本站原创或自网络搜集整理,如需转载或摘编请注明来源VR视角并保留本文链接地址。

VR视角
国内领先的VR(虚拟现实)平台
↓长按下方按钮复制并添加客服微信号↓
c4229834
X