1. VR软硬一体化中的关键问题与技术点

光学与显示效果；延时与眩晕；自然舒适的交互；位置跟踪；人工智能

1.1 降低MTP延迟

Motion-To-Photon延时

包括：传感器延时；图像渲染延时；安卓系统的显示延时；屏幕显示延时

目前，GPU不够强大，不足以渲染出很好的VR效果；手机的结构，包括传感器，还不能完全跟VR的需求吻合，屏幕显示也有待优化。 目前市面上的一体机的MTP延时能达到20毫秒，是刚刚入门的概念，如果要达到头部转动后看到的虚拟场景画面和人的真实体验一致，需要达到15毫秒以内。

1.2 提高显示效果

屏幕：

选用屏幕和芯片的计算能力是配套的，首先，跟产业链的发展有关系，屏幕提供商比如夏普首先要量产，良品率太低也不行，其次从芯片到计算后台要能跟上，另外还取决于用什么镜片，fov多少。 目前一般选用夏普5.5寸屏，4K分辨率，PPI（Pixels per inch）=806， 还有一个指标是PPD（Pixels per degree）在每个角度看到的Pixels个数，专家统计人眼视网膜的PPD至少要达到80，在一个degree下要能看到80个pixel，目前业内PPD指标一般在10-20，主要取决于fov。

好的显示效果，应该无明显纱窗效应（screen door）。

成像部件的光学设计： 选用屏幕的后面，还有很多光学技术，比如要对镜片进行光学畸变与色散矫正。 镜片的选用：要和屏幕完全吻合，联合设计，考虑选用单镜片、多镜片，非球面、菲涅尔镜片、多个双凸、将来可能用三片，类似于手机摄像头里的镜片，

趋势： 屏幕越来越小，分辨率越来越高，4K->8K, 60Hz->90Hz->120Hz, FOV->120+ 另外，微显示技术（Microdisplay）技术也在发展。

1.3 视频类应用技术优化

VR中的视频可以分为普通和全景视频，后者可以180度或360度转动观看；可以分为2D和3D视频，后者左右眼看到的图像不同，是有视差的，3D视频的拍摄大多采用双镜头或多镜头相机。影视级的全景视频，通常能达到4k分辨率，60帧以上。VR一体机，如果处理不好，通常会有纱窗效应，观影模糊，摩尔条纹等问题。

VR一体机要能自动对视频格式进行识别自动分类，对超分辨率的图像/视频，要能进行处理，LR->HR，图形deblur等后处理技术

1.4 交互技术与趋势

目前主要的交互手段是手柄：

3Dof手柄：3个自由度（Degree of Freedom），类似于DayDream的手柄，能提供3个旋转方向，只能追踪前后翻转、左右摇摆、水平转动三个旋转的自由度，无法知道在空间里的位移情况，主要是采用惯性动作捕捉。

下一个方向是6Dof：类似于HTC、Oculus，手柄上加一些传感器、Mark点等，惯性动作和光学动作捕捉相结合，实时追踪位置和朝向，比如HTC Vive的Lighthouse空间定位方案。

手势识别交互：有裸手手势、手柄手势、手套等，国内外有一些公司做的不错，但落地进展不太顺利，能否作为主要的交互方式，还有争议。

语音识别

视线和表情：是一个趋势。视线交互公司比较多，前不久苹果收购了一家。当前阶段比较重要，因为目前VR设备的渲染能力不够，可以根据视线追踪，只对视线焦点区域进行渲染，其余范围粗分辨率渲染，另外可以用于交互。

身体动作：捕捉用户的姿态，包括关节等。

1.5 位置跟踪

位置跟踪是目前VR领域比较火的话题，其实更有意义的主要在于AR。VR主要是在室内使用，室内使用是否需要大范围的位置跟踪，还值得探讨，如果只是桌面应用，类似SLAM的方案并不是特别合适。高端的算法占用很多的系统计算资源，而VR的计算资源非常宝贵，VR芯片希望主要用于渲染，如果SLAM方案成功，未来可能会集成到一个单独的计算芯片上。

目前的位置跟踪方案

主要基于6轴或9轴传感器的3Dof跟踪，头部/手柄的6Dof跟踪：有单目摄像头的方案（Oculus Rift）、双目摄像头的方案（PSVR）、激光光塔的方案（HTC Vive）。

其他的蓝牙，超声波，红外线，射频等等，存在精度不够高，抗干扰能力差等问题

1.6 人工智能与虚拟助手

如果说2016年是VR元年，那么2017年则可以称为AI元年，AI和VR有很多可以结合的地方，比如虚拟助手、身份验证、UGC内容的自动标注与管理等。

1.7 互动视频

视频不但可以看，还可以进行交互。 比如恐龙星球，可利用手柄交互，互动喂食，将来支持手势交互，可抚摸和触控。

使用真实光照渲染技术，使场景更加逼真，3D全景声，有效提高沉浸感和临场感

1.8 计算平台的重要性

PC-VR：直接依靠主机提供显示和视觉计算的平台

移动VR：移动VR同样需要高性能的服务器提供后台计算资源，例如3D模型的构建，深度学习的训练，视频服务器等等。

2 未来发展趋势

VR是一个以技术为驱动的行业

头戴HMD会越来越小，体积轻薄，小于100克，趋近与太阳镜的产品形态；

光学显示效果提升，PPD>30,FOV>120，无拖影和畸变色散

更加自然的交互手势：手势，语音，表情姿态

更加自由的可移动性，随时随地使用

内容极大丰富，专业的头部内容，大IP制作，直播

AI与VR/AR的深度结合