虚拟现实新手关于虚拟现实成功的三个真理

我刚刚开始了一个关于360°VR视频的咨询项目, 并得出一些介绍性结论. 正如罗伯特·海因莱因(Robert Heinlein)可能会说的那样，我只是一个鸡蛋，但我想我应该分享它们.

第一个, 做得正确, VR是一种非常强大的媒介, 能够达到“平面视频”世界无法比拟的沉浸感,这是对我们在手机上观看的2D视频的蔑称, 电视, 还有电脑屏幕. 关键是“做得对”.”

其次，虚拟现实是一种具有挑战性的媒介，几乎没有犯错的余地. 制作人在讨论平面视频的体验质量时会使用放弃率之类的术语, 在虚拟现实世界中，它是晕机或恶心, 这可能会让你对你的公司或品牌产生比广告前更强烈的反感.

第三，分辨率对有效的VR视频至关重要，而数字对你不利. YouTube提供4K高质量的VR视频, 这听起来很棒，直到你意识到这个4K代表了整个360°的视图. 像Oculus Rift或宏达电 Vive这样的设备有110%的视野, 或者30%的视频(110/360), 也就是说在任何时候, 你只能看到30%的水平像素, 或者比原来的4K低1200像素. Rift和Vive每只眼睛的显示分辨率为1080x1200, 所以这是一个很好的匹配, 但如果你提供2K视频, 你得把视频的分辨率放大一倍. 这会导致像素化和柔软.

这些是单声道视频的数字，两只眼睛都看到同样的图像. 如果你拍摄立体VR, 或者每只眼睛一个视频, 你必须把两个视频都打包成4K流, 将各自的分辨率减半.

虽然从分辨率的角度来看，视野是你的敌人，但它也可以是你的朋友. 这是, 因为观众在任何时候都只能看到视野内的东西, 为什么不直接发送那个视野呢, 在边缘周围有一个低质量的缓冲，以确保如果观众迅速转过头来，还有东西可以看.

开始, 理解VR视频的默认帧被称为等矩形布局, 当你将一个球体映射到一个矩形时，你会得到什么. 例如，典型的世界地图是一个等矩形图像. 两极有很多扭曲，因为你必须水平拉伸它们才能达到与赤道相同的宽度. 等矩形图像的问题是它对图像的所有部分显示相同的质量, 即使观众只能看到, 最多, 每次只看30%的图像.

在一篇名为 “360°视频和VR的下一代视频编码技术” 两名Facebook员工讨论了金字塔编码, 将每个上传的视频分成30个视区. 每个视口都包含当前视口的全分辨率版本, 加上原始框架其余部分的低分辨率细节. 使用1秒的片段, 玩家监视视野，并随着头部的移动迅速改变. 如果观众转动她的头, 她会暂时看到一个低分辨率的版本, 但质量应该会迅速提高. 作者声称，这种方法将交付的文件大小减少了80%.

一篇论文描述了一种不同的方法 “视口感知自适应360°视频流使用瓷砖虚拟现实.” 在这里, 作者将等长矩形框架分成多个块，分别以递减的质量进行编码, 就像传统的编码阶梯. 玩家从视野中获取最高质量的阶梯, 随着其他领域的质量下降. 所以瓷砖就在当前视野的正后方, 还有极点, 可能是质量最低的, 随着质量的提高，更接近当前的视口. 这些都是通过DASH清单管理的.

我正在从压缩的角度研究这一切意味着什么, 但看到这种创造性的解决方案来解决与带宽相关的问题，确实令人耳目一新.

[本文发表于2018年1月/ 2月号。 流媒体杂志 “关于VR的三个真相”."]