【背景】
目前主流的VD应用,用于娱乐很棒,但是用于工作还是无法效率地操作键鼠。用虚拟键盘工作则显然是不现实的。为了让自己的头显能够起到小面积代替多显示屏的作用,自己动手开发投屏VR应用。
【思路】
- 先实现C#的投屏应用。
- 研究如何将C#投屏应用用Unity 3D项目转写。
- 将Unity3D项目转变为VR项目。
- 在VR项目中引入透视能力,使得可以观察到屏幕外的实体目标,从而顺利操作键鼠。
【精髓】
下面总结这个过程中步步为营得到的经验精髓
- 发送端和接收端都使用Unity的利弊。
曾经尝试过发送端和接收端都使用Unity,采用Unity的CaptureScreen命令来获得截屏。
这个方法的好处在于实现快,打包解包都是Unity可以直接处理的Texture2D。
局限是只能获得Unity界面中的画面,而无法获得桌面画面,换句话说,这个方法只适用于游戏内截屏。
截屏代码:
Texture2D screenshotTexture = ScreenCapture.CaptureScreenshotAsText