什么是Virtual Desktop?
Virtual Desktop (以下简称VD)是一款VR串流软件,其通过局域网低延迟、高质量的流式传输将PC端的界面同步到用户的VR头显中,给用户带来舒适且愉快的VR体验,是VR头显串流PCVR的重要助手。
VD作为VR玩家几乎人手一个的串流软件,最初发布于2016年的它为何几乎仍是VR一体机用户无线串流的首选软件?它到底有何出彩之处?
本文将主要借VD为载体,以VR小白视角来聊聊VR以及串流之间的门门道道。本文章将分布为上下两篇,上篇主要讲述VD串流的一些基础概念以及初步的使用体验。VD作为重功能的工具型应用,在用户使用体验上,我个人认为调试VD的过程并不是太愉快。所以下篇将聊聊在使用体验上比VD更加可圈可点的串流办公软件Immersed。
注:笔者本人也处于探索学习阶段,若文中有什么谬误之处,欢迎各位朋友批评指正。
文章将主要围绕以下问题展开:
1. 什么是串流?为什么要串流?串流有哪些使用场景?
2. 为什么要用VD进行串流?VD串流的基本电脑配置及网络环境要求有哪些?
3. VR中的帧率(Frame Rate)、码率(Bitrate)、分辨率为何如此重要?它们之间的关系和优先级是什么样的?
4. 如何用VD观看不同3D格式的视频或影片?
5. 在VD中有哪些不太好/不错的用户体验?
串流软件 : Virtual Desktop 1.24.0
VR设备 : Pico 4
PC显卡配置 : NVIDIA GeForce GTX 1660 Ti
1. 什么是串流?为什么要串流?串流有哪些使用场景?
串流(Streaming):指在 WIFI 或移动网络环境下,将电脑上的主机游戏投射到其他设备上,实现在设备上远程游戏的效果。那么顾名思义,VR中的串流是指将游戏或应用程序从计算机传输到VR头戴式显示器上进行呈现。需要使用串流的用户场景主要可以划分为两种:娱乐场景和工作场景。
在娱乐场景中
在VR一体机技术尚未发展到现在的程度时,VR玩家主要靠VR眼镜有线串流计算机来游玩VR游戏,这便是VR中的一种类型:PCVR。玩家就可以不用购买昂贵的VR一体机设备,只需要准备一架简单的VR眼镜就能够体验到由计算机显卡驱动的高质量游戏或影片了。到现在,一体机的硬件配置越来越高,使PCVR更是成为对VR体验有高要求的VR玩家的不二之选(当然,前提是你有一张好显卡)。
随着无线串流PCVR游戏技术逐渐成熟,串流游玩VR游戏无需受线缆限制,这更是吸引了大量玩家涌入VR行业中。
相较于传统PC游戏的游玩,串流PCVR游戏玩家将获得更加沉浸的游玩体验,并有着更加灵活的输入控制。比如传统PC游戏只能通过键鼠及游戏手柄进行操作,而在VR中除了以上两种输入方式,还可以通过VR手柄、手势识别等等手段进行输入。
如果想要通过串流游玩游戏的话,就不得不借助Steam的力量了!VR玩家可以以 Steam 中的 Steam VR 为媒介畅玩游戏库中一体机上所没有的VR游戏。其中游戏也是直接下载于计算机中的,除了需要以头显作显示,不会对VR头显产生其他负担。
综上所述,在娱乐场景中,VR玩家可以通过串流游玩PCVR游戏,体验到由计算机显卡驱动的、一体机上所没有的高质量VR游戏或影片。
在工作场景中
不同于传统单屏办公,在部分专用的串流办公VR软件(例如下篇将要讲到的immersed)可以分出多块虚拟显示屏进行多线程工作,利用串流还可以进行办公多人协作,如进行VR会议、演示VR项目、共享VR资源等工作行为都可以同时进行。
理想状况下,利用头显进行工作可以避免被外界信息所打扰,因为用户将专注于一个只有工作屏幕的沉浸式工作范围内,这将帮助用户更加高效地完成工作任务,同时还可以提高工作质量和准确性。
2. 为什么要用VD进行串流?VD串流的基本电脑配置及网络环境要求有哪些?
其实各大VR头显厂商都开发了自己的串流软件,如Oculus的Air Link、PICO的游戏串流助手等等,但众多VR玩家为什么还是喜欢用VD呢?
个人认为主要有以下两点原因:
VD的稳定性及低延迟性:据网上资料,VD通过修改过的Oculus Runtime启动PCVR游戏,而不是Oculus PC客户端的原生Oculus Runtime,这样可以提高视频编码和解码的效率,以提供更稳定的连接和更低的延迟,并且能够提高手柄输入转换的准确性。
VD的兼容性:VD里设置着大量的自定义配置,用户可以调整画质、刷新率、码率等参数,根据网络环境和个人喜好优化体验。同时,由于VR硬件和软件的差异性,官方的串流软件可能无法支持所有的VR头戴设备和游戏。而VD可以兼容多平台设备,这对有更换头显需求或有几个头显的玩家是个不错的使用体验。
虽然VD串流很方便,但同样有设备限制并需要一定的电脑配置及网络环境。这也是串流的缺点之一,即需要高速稳定的网络环境和路由器性能,否则会出现卡顿、掉帧、延迟等问题。
以下为使用VD串流的基本配置要求,左侧为有线版VD,右侧为无线版VD。可以观察到二者所支持的头显设备类型不一样,所需的计算机显卡配置要求有线版也低于无线版。同时无线版的VD串流需要有5Ghz频段的WIFI路由。
有些朋友可能会认为有线串流会优于无线串流,实则不然,在不少用户的实际体验中,在使用路由器网络稳定的前提下,无线串流的串流质量往往不逊色甚至优于有线串流。
VD界面中呈现的数值与串流质量息息相关。
于VD VR端中的Computers界面,可以看到在同一个局域网下用户的计算机信息及连接状态,用户可以自主选择需要连接的计算机。在计算机属性的上方,显示着用户所处网络环境的网络频段、无线速率以及网络IP。
在界面的底端则排布了头显的一些信息,如画面的最左侧显示着Headset(头显品牌型号)及Version(应用版本号)。再往右看,可以看到Frame Rate(帧率) 、Video Frame Rate(视频帧率)数值、CPU/GPU Utillzation(CPU/GPU利用率)以及Video Bitrate(视频码率),而这些数值基本上就是衡量串流质量的重要指标。
3. VR中的帧率(Frame Rate)、码率(Bitrate)、分辨率为何如此重要?它们之间的关系和优先级是什么样的?
在串流游玩VR的过程中,Frame Rate(帧率)、Bitrate(码率)和分辨率是影响玩家使用体验的非常重要的因素,它们也直接代表着目前设备的串流质量。
先来说帧率,帧率的单位为fps(Frames Per Second),即在1秒钟时间里传输的图片的帧数,帧数越高,动画表现便会更加的丝滑与逼真。目前大家看到的视频帧率一般设置为24帧,一些高质量的视频可以达到60帧,这些帧数已经可以达到人们的正常需求了。当视频帧数低于24帧时,人眼会感觉到明显的卡顿,使人感到不太舒服。
而在VR中,应用的设置推荐帧率要求为72帧,而如果能够达到90帧及以上,就可以获得一个相对较好的游戏体验。如果VR应用或视频的帧数较低,给用户带来的将是非常糟糕的游玩体验以及强烈的眩晕感。
没错,低帧数是玩VR导致晕动症的主要原因之一。
码率,即比特率,单位为bps(bit per second),即是单位时间内传输送或处理的比特的数量。码率与用户设置的分辨率息息相关,一般来说同样分辨率下,视频文件的码流越大,压缩比就越小,画面质量就越高。如果你将分辨率设置得很高,而你的网络环境或设备又支持不了相匹配的码率,那么,视频的画面精度将会直接受到影响,视频画质会呈现移动的块状,甚至会给人一种回到十年前的感觉(感觉上就像下面的Gif图一样)。
而分辨率则代表着屏幕图像的大小,是指显示器所能显示的像素有多少,常见的电脑显示器的分辨率往往能够达到2K或者4K,而目前VR一体机的分辨率,以我手中的Pico 4而言,也可以达到4K超清的程度。
举个例子,视频画面的分辨率就像是一块画板的大小,而码率则代表着画家可以下笔的次数,画家下笔的次数越多,画面越精致。同理,码率越高,视频画面质量与精度也就越高。
综上所述:
如果你想要更流畅的动画,你可以提高帧率,但这会增加码率和处理负担。
如果你想要更清晰的画面,你可以提高码率或分辨率,但这会增加传输和存储需求。
如果你想要更大的视野,你可以提高分辨率,但这会降低帧率和清晰度。
个人理解,在VR中,帧率、码率和分辨率的优先级分布应该是帧率 > 码率 > 分辨率。因为在VR中低帧率会导致强烈眩晕感和不逼真感,会让人非常难受,而码率其次。所以朋友们应该根据自己的计算机配置及游戏需求,对各参数进行设定。
以下是CSDN论坛中作者XR风云整理的分辨率与码率的推荐关系,个人建议用户应在尽量保证高码率的前提下,再对分辨率进行调整。
图片源于网址https://blog.csdn.net/grace_yi/article/details/107379086
4. 如何用VD观看不同3D格式的视频或影片?
在屏幕下方你可以根据所观看视频的格式对屏幕的呈现方式进行调整,如果你想要观看3D格式的影片的话,或许需要用到该功能。
于分隔线左侧,从左往右的功能分布分别是Half SBS,Full SBS,Over Under(即top-and-bottom,TAB),Anaglyph。
在讲分隔线左侧功能栏时,容我先聊一聊3D电影的技术格式作为铺垫。
如何让观众感受到3D电影中的立体效果?制片方往往通过偏振3D、双色3D、分时3D等技术手段来实现。以偏振3D为例,如下图所示,简而言之就是将原始图像进行分解两部分(可以是上下部分,也可以是左右部分),再向观看者输送两幅偏振方向不同的两幅画面,而偏振式3D眼镜的每只镜片只能接受一个偏振方向的画面,这样人的左右眼就能接收两组画面,再经过大脑合成立体影像。双色3D也是同理,不过将原始图像分为红蓝两色来实现目标。
图片源于网址https://www.zhihu.com/question/42865686
那么为什么会有 Half SBS 和 Full SBS 两种格式选择呢?Full SBS是SBS的完全体形态,将原视频毫不压缩分解成左右两部分再进行合成,可以尽可能的还原原视频的画面质量,而代价则是两倍的 视频体积。同理,Half SBS即是压缩了一半的半完全体形态,虽画面质量遭到了削减,但相较完全体的视频体积减半也是很香的。
再次回到VD,综上所述,
SBS即“side by side”,代表着左右格式的3D视频格式。
TAB即“top-and-bottom”,代表着上下格式的3D视频格式。
Anaglyph则代表着红蓝双色的3D视频格式。
5. 在VD中,有哪些不太好/不错的用户体验?
VD作为工具型应用,因其强大的自定义参数与串流技术,拥有着优越的软件串流效率、稳定性以及兼容性,这也是大部分VR玩家选择它的理由。但这里我还是要提一嘴,可能对于工具型应用来说,要求用户体验有些苛刻,但VD的部分界面设计确实对VR小白不太友好。
不太好的用户体验:
1. 密集的参数信息,让人有些眼花缭乱。
2. 参数信息中有着不少的专业名词,对小白不太友好。但此处可以看到官方很贴心的做出了注解,但很多小白应该还是不太清楚适合自己的数值,需要退出搜索查询的(我就是其中之一)。
3. 部分自动调整的功能会带来糟糕的使用体验。如同b站up主沈奕辰所说,如果打开“自动调整比特率(即码率)”,VD可能会因为偶尔的电脑卡顿或网络卡顿而猛然降低码率,使得VR端的显示效果骤降,画面巨糊,这是非常影响VR游玩体验的。
好的用户体验:
1. 毋庸置疑的是稳定的串流质量与效率带来的优秀的游玩体验。
2. 在不同的虚拟环境中,PC屏幕的呈现方式不一样,可做调整的选项也不同,这给人带来更深的沉浸感。
例如在星空场景中,用户可以随意调整屏幕的尺寸、曲度、倾斜角度、呈现方式等等,而在电影院场景中你无法做出更改,但你可以获得一块巨大的观影屏,同时屏幕的光照强度对于周边的环境也会产生影响,这种感觉很真实。
3. 在VD的实际使用体验中,在屏幕的上方,你可以对屏幕本身做出一定地调整,如下图标所示,从左往右的功能分别是:Head Lock(头部锁定)、Reset View(视图重置)、Height(屏幕高度)、Distance(屏幕距离)、Curve(屏幕曲度)、Size(屏幕大小)。这些按钮选项都可以根据用户喜好自由调整屏幕的呈现大小、位置、角度等等。
用户可以使用手柄上的抓握键随意放置屏幕所在的位置。
其中Head Lock的功能最为可圈可点,它能够使屏幕跟随头显的移动而完成3Dof的移动,且它具有一定的移动延时性,即当头显转动时,屏幕会慢慢像用户的视觉中心点移动,而并非像Reset View一样将屏幕锁定于视线中央(这是很不舒适的)。
此处先略述几点,VD仍有许多值得体验的点值得我们去挖掘。
社群交流XR
参考资料:
Bilibili:VR 串流 | 有关串流的简介
URL:https://www.bilibili.com/read/cv12858726/
知乎:VD (Vitual Desktop) 串流PCVR游戏注意事项
URL:https://zhuanlan.zhihu.com/p/354974181
Bilibili:Quest2串流电脑工具Virtual Desktop超详细功能介绍,建议收藏!
URL:https://www.bilibili.com/video/BV1QF411e7jr
CSDN论坛:关于VR视频的分辨率、码率、帧率
URL:https://blog.csdn.net/grace_yi/article/details/107379086
知乎:vr视频的两种模式side by side与top and bottom对观看者来说有何体验上的区别?
URL:https://www.zhihu.com/question/42865686
百度百科:振幅式3D
URL:https://baike.baidu.com/item/%E5%81%8F%E6%8C%AF%E5%BC%8F3d/6716737#SnippetTab