使用MTVerseXR SDK实现VR串流

1、概述​

MTVerseXR SDK 是摩尔线程GPU加速的虚拟现实（VR）流媒体平台，专门用于从远程服务器流式传输基于标准OpenXR的应用程序。MTVerseXR可以通过Wi-Fi和USB流式将VR内容从Windows服务器流式传输到XR客户端设备, 使相对性能低的VR客户端可以使用高性能图形服务器的渲染能力。

2、环境准备​

MTVerseXR SDK包括服务器驱动程序、客户端SDK和示例客户端应用程序。Windows上运行的服务端和VR头盔内的应用程序共同实现了Windows系统（边缘云）的SteamVR与VR头盔客户端的连接。

2.1 MTVerseXR 服务器驱动​

运行平台要求

  • 系统：x86 CPU + Windows10

  • 显卡：摩尔线程MTT S80, MTT S70, 驱动程序 v240.50或更新版本

  • 软件：SteamVR

  • 基于OpenXR的Windows VR应用

2.2 MTVerseXR 客户端SDK​

客户端SDK目前只支持Android系统。包含头文件、Android so库文件和资源文件，通过AAR的方式提供。

3、服务器驱动安装和启动​

  1. 安装SteamVR：
    • 下载并安装Steam
    • 在Steam中安装SteamVR
  2. 安装运行时库
    • 下载并安装vc_redist.x64.exe
  3. 安装Vulkan驱动:
    • 依次运行 VulkanRT-1.3.261.1-Installer.exe 和 VulkanSDK-1.3.261.1-Installer.exe 安装Vulkan
    • 链接如下：
      https://sdk.lunarg.com/sdk/download/1.3.261.1/windows/VulkanRT-1.3.261.1-Installer.exe
      https://sdk.lunarg.com/sdk/download/1.3.261.1/windows/VulkanSDK-1.3.261.1-Installer.exe
  4. 安装 MTVerseXR驱动:
    • 以管理员权限运行 MTVerseXRSetup-v1.0.0.exe 安装程序；
    • 按照安装向导的步骤进行安装，在最后一页，记得勾选“注册驱动”。如果未勾选注册驱动，可以通过以管理员权限运行安装目录下的 driver_install.bat 文件来完成注册；
    • 重启计算机
  5. 启动SteamVR
    • 确认MTVerseXR驱动启用， 查看SteamVR 【设置】-【启动/关闭】-【管理加载项】-【MTXR_VHMD】选项是开启状态(如果【设置】页面没有【启动/关闭】，点击【设置】页面的左下角【高级设置】下方的【显示】)

4、客户端开发指南​

基于Client SDK 开发App的C++部分大致框架如下：

int main() {MySetupGLES3-2MySetupXRSessionMySetupDeviceDesc(&ddesc);MySetupCallbacks(&callbacks);MySetupReceiverDesc(&rdesc, ddesc, callbacks)MTXRCreateReceiver();MTXRConnect();while (!*exiting*) {MyPlatformEventHandling();if (client_state < connected) {MyRenderConnectionProgress();}else if (client_state == connected) {UpdateTrackingState();MTXRFetchFrame()MTXRRenderFrame(framesFetched);MTXRReleaseFrame()}else {MyHandleDisconnect();exiting = true;}}MTXRDestroyReceiver()
}

请注意，此处的UpdateTrackingState是伪代码中更新位姿回调的占位符。在UpdateTrackingState中，可以处理头盔、手柄的位姿和手柄事件，保存最新的位姿信息，在回调中更新。

Java部分需要在Activity的onCreate中调用MTXRClient.init 初始化客户端SDK组件。
SDK同时提供了工具类MTXRServerDiscover和MTXRUSB。其中MTXRServerDiscover用于探测局域网中的MTVerseXR Server，MTXRUSB用于打开USB配件模式的文件描述句柄，具体参考示例代码。

4.1 引用SDK包​

在app的gradle中添加aar依赖。

手动或者使用gradle脚本解压aar文件后，在CMakeLists或者Android.mk中引用SDK的头文件和so文件。解压后头文件的路径为assets\include， so的路径为jni\arm64-v8a。

4.2 初始化​

Java部分的初始化：

  • 在App MainActivity的onCreate中调用 MTXRClient.init 完成。
protected void onCreate(Bundle savedInstanceState) {setContentView(R.layout.xr);// 初始化MTXRClientMTXRClient.init(getBaseContext());// do super first, as that sets up some native things.super.onCreate(savedInstanceState);boolean usMic = false;enableMicrophone(usMic);……
}

C++部分初始化：

  1. OpenGLES 3.2上下文环境初始化（SDK目前仅支持OpenGLES环境下的显示，版本要求>=3.2）；
  2. OpenXR Sessioin环境初始化（非必须通过OpenXR）；
  3. 获取设备相关参数填充MTXRReceiverDesc的成员变量，包括：显示分辨率、刷新率、音频接收状态等；
  4. 设置MTXRClientCallbacks中需要的回调函数，包括GetTrackingState（必须实现以同步最新的位姿和手柄输入）和GetHapticCallback（手柄震动反馈）；
  5. 调用MTXRCreateReceiver 创建Receiver对象，用于和服务器端通信的重要对象；
  6. 调用 MTXRConnect（Wifi连接）或者MTXRConnectUSB（USB连接） 连接服务器。
void XRScene::Start(const std::string& serverIp, int fd, bool enableMic) {m_desc.deviceDesc.posePollFreq = 0;m_desc.clientCallbacks.GetTrackingState = [](void *context, MTXRVRTrackingState *trackingState) {reinterpret_cast<XRScene*>(context)->GetTrackingState(trackingState);};m_desc.clientCallbacks.ReceiveMicrophoneData = NULL;m_desc.clientCallbacks.GetHapticCallback = [](void* context, MTXRHapticFeedback *haptic) {XRScene* that = reinterpret_cast<XRScene*>(context);if (NULL != that->m_haptic_callback && NULL != that->m_context) {that->m_haptic_callback(that->m_context, haptic);}};……m_desc.deviceDesc.receiveAudio = true;m_desc.clientContext = this;m_desc.requestedVersion = MTXR_VERSION_DWORD;m_desc.deviceDesc.sendAudio = enableMic;if (enableMic) {m_desc.clientCallbacks.ReceiveMicrophoneData = [](void* context, unsigned char* data, int size)->bool {return reinterpret_cast<XRScene*>(context)->ReceiveMicrophoneData(data, size);};}MTXRError ret = MTXRCreateReceiver(&m_desc, &m_receiver);if (MTXRError_Success == ret) {if (fd > 0) {MTXRConnectUSB(m_receiver, fd);} else {MTXRConnect(m_receiver, serverIp.c_str());}}
}

4.3 主循环​

MTVerseXR客户端App的主循环中需要根据当前的状态做出不同的行为。

  • Receiver未创建：显示一些交互UI，比如服务器的IP地址，让用户可以选择不同的连接方式。

  • 未连接到服务器：显示加载提示，告知用户正在连接服务器。

  • 成功连接到服务器：开始接收服务器传输的音视频数据。

  • 有可用的视频帧：判断当前是否有可用的视频帧，根据结果显示最新的视频或者缓存的视频帧。

  • 连接断开：用户主动断开连接后，应用需要清理相关资源。

渲染服务器视频流步骤:

  1. 获取可用视频帧：调用MTXRFetchFrame获取当前可用视频数据。
void XRScene::BeginFrame(int64_t predictedDisplayTime, const MTXRVRTrackingState& pose, const std::vector<XrView>& xrViews, bool showPerfUI) {{std::lock_guard<std::mutex> guard(m_poseLock);m_xrState = pose;}……m_xrFrame = std::make_shared<MTXRFramesFetched>();MTXRFetchFrame(m_receiver, m_xrFrame.get(), predictedDisplayTime, 0);
}

  1. 渲染视频帧：MTXRFetchFrame成功后，调用MTXRRenderFrame显示当前最新视频帧，否则跳过绘制或者显示之前的缓存。注意需要在激活GLES 3.2上下文环境的渲染线程中调用。
void XRScene::RenderFrame(const XrCompositionLayerProjectionView &layerView, int viewId) {MTXRPosef pose;pose.position = {layerView.pose.position.x, layerView.pose.position.y, layerView.pose.position.z};pose.orientation = {layerView.pose.orientation.x, layerView.pose.orientation.y, layerView.pose.orientation.z, layerView.pose.orientation.w};MTXRFovf fov = {layerView.fov.angleLeft, layerView.fov.angleRight, layerView.fov.angleUp, layerView.fov.angleDown};MTXRRenderFrame(m_receiver, m_xrFrame.get(), viewId == 0 ? MTXRFrameMask_Left : MTXRFrameMask_Right, &pose, &fov);
}void RenderView(int viewID,XrTime predictedDisplayTime,std::shared_ptr<XRScene> xrScene,const XrCompositionLayerProjectionView &layerView,const XrSwapchainImageBaseHeader *swapchainImage,int64_t swapchainFormat) override {glBindFramebuffer(GL_FRAMEBUFFER, m_swapchainFramebuffer);const XrSwapchainImageOpenGLESKHR* swapchainImageGLES = reinterpret_cast<const XrSwapchainImageOpenGLESKHR *>(swapchainImage);const uint32_t colorTexture = swapchainImageGLES->image;glViewport(static_cast<GLint>(layerView.subImage.imageRect.offset.x),static_cast<GLint>(layerView.subImage.imageRect.offset.y),static_cast<GLsizei>(layerView.subImage.imageRect.extent.width),static_cast<GLsizei>(layerView.subImage.imageRect.extent.height));glFrontFace(GL_CW);glCullFace(GL_BACK);glDisable(GL_CULL_FACE);glEnable(GL_DEPTH_TEST);const uint32_t depthTexture = GetDepthTexture(colorTexture);glFramebufferTexture2D(GL_FRAMEBUFFER, GL_COLOR_ATTACHMENT0, GL_TEXTURE_2D, colorTexture, 0);glFramebufferTexture2D(GL_FRAMEBUFFER, GL_DEPTH_ATTACHMENT, GL_TEXTURE_2D, depthTexture, 0);// Clear swapchain and depth buffer.glClearColor(BackgroundColor[0], BackgroundColor[1], BackgroundColor[2], BackgroundColor[3]);glClearDepthf(1.0f);glClear(GL_COLOR_BUFFER_BIT | GL_DEPTH_BUFFER_BIT | GL_STENCIL_BUFFER_BIT);if (xrScene) {xrScene->RenderFrame(layerView, viewID);}glBindFramebuffer(GL_FRAMEBUFFER, 0);// Swap our window every other eye for RenderDocstatic int everyOther = 0;if ((everyOther++ & 1) != 0) {ksGpuWindow_SwapBuffers(&window);}
}

  1. 释放视频帧：绘制完成后，需要调用MTXRReleaseFrame通知MTVerseXR SDK内部释放和回收视频资源。
void XRScene::EndFrame() {MTXRReleaseFrame(m_receiver, m_xrFrame.get());m_xrFrame = nullptr;
}

4.4 资源清理​

退出客户端应用前，需要调用MTXRDestroyReceiver释放MTVerseXR的相关资源。

note

相关安装包、源码可以通过开发者社区下载：MTVerseXR SDK | 摩尔线程开发者)

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/438429.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【CSS in Depth 2 精译_043】6.5 CSS 中的粘性定位技术 + 本章小结

【CSS in Depth 2 精译_043】6.5 CSS 中的粘性定位技术 + 本章小结

当前内容所在位置&#xff08;可进入专栏查看其他译好的章节内容&#xff09; 第一章 层叠、优先级与继承&#xff08;已完结&#xff09;第二章 相对单位&#xff08;已完结&#xff09;第三章 文档流与盒模型&#xff08;已完结&#xff09;第四章 Flexbox 布局&#xff08;已…
阅读更多...
【2022工业3D异常检测文献】AST: 基于归一化流的双射性产生不对称学生-教师异常检测方法

【2022工业3D异常检测文献】AST: 基于归一化流的双射性产生不对称学生-教师异常检测方法

Asymmetric Student-Teacher Networks for Industrial Anomaly Detection 1、Background 所谓的学生-教师网络&#xff0c;首先&#xff0c;对教师进行训练&#xff0c;以学习语义嵌入的辅助性训练任务&#xff1b;其次&#xff0c;训练学生以匹配教师的输出。主要目的是让学生…
阅读更多...
SpringBoot日志打印实践

SpringBoot日志打印实践

背景 在项目当中&#xff0c;我们经常需要打印一些日志埋点信息&#xff0c;这些日志埋点信息&#xff0c;在后续软件的运维、稳定性建设中发挥了巨大的作用&#xff1a; 问题追踪&#xff1a;通过埋点日志中的关键信息&#xff0c;帮助定位系统异常原因系统监控&#xff1a;…
阅读更多...
移动硬盘传输中断后无法识别：问题解析与数据恢复策略

移动硬盘传输中断后无法识别：问题解析与数据恢复策略

一、移动硬盘传输中断后的无法识别现象 在日常的数据传输过程中&#xff0c;移动硬盘作为便携式的存储介质&#xff0c;扮演着举足轻重的角色。然而&#xff0c;当传输过程被意外中断&#xff0c;且移动硬盘随后无法被系统识别时&#xff0c;这无疑会给用户带来极大的困扰。你…
阅读更多...
Stable Diffusion绘画 | 插件-Deforum：动态视频生成（上篇）

Stable Diffusion绘画 | 插件-Deforum：动态视频生成（上篇）

Deforum 与 AnimateDiff 不太一样&#xff0c; AnimateDiff 是生成丝滑变化视频的&#xff0c;而 Deforum 的丝滑程度远远没有 AnimateDiff 好。 它是根据对比前面一帧的画面&#xff0c;然后不断生成新的相似图片&#xff0c;来组合成一个完整的视频。 Deforum 的优点在于可…
阅读更多...
Pikachu-Sql Inject-宽字节注入

Pikachu-Sql Inject-宽字节注入

基本概念 宽字节是相对于ascII这样单字节而言的&#xff1b;像 GB2312、GBK、GB18030、BIG5、Shift_JIS 等这些都是常说的宽字节&#xff0c;实际上只有两字节 GBK 是一种多字符的编码&#xff0c;通常来说&#xff0c;一个 gbk 编码汉字&#xff0c;占用2个字节。一个…
阅读更多...
【一文理解】conda install pip install 区别

【一文理解】conda install pip install 区别

大部分情况下&#xff0c;conda install & pip install 二者安装的package都可以正常work&#xff0c;但是混装多种package后容易版本冲突&#xff0c;出现各种报错。 目录 检查机制 支持语言 库的位置 环境隔离 编译情况 检查机制 conda有严格的检查机制&#xff0c…
阅读更多...
【C++】模拟实现红黑树

【C++】模拟实现红黑树

&#x1f984;个人主页:修修修也 &#x1f38f;所属专栏:实战项目集 ⚙️操作环境:Visual Studio 2022 目录 一.了解项目功能 二.逐步实现项目功能模块及其逻辑详解 &#x1f4cc;实现RBTreeNode类模板 &#x1f38f;构造RBTreeNode类成员变量 &#x1f38f;实现RBTreeNode类构…
阅读更多...
图解C#高级教程（二）：事件

图解C#高级教程（二）：事件

在现实生活当中&#xff0c;有一些事情发生时&#xff0c;会连带另一些事情的发生。例如&#xff0c;当某国的总统发生换届时&#xff0c;不同党派会表现出不同的行为。两者构成了“因果”关系&#xff0c;因为发生了A&#xff0c;所以发生了B。在编程语言当中&#xff0c;具有…
阅读更多...
Android问题笔记五十：构建错误-AAPT2 aapt2-7.0.2-7396180-windows Daemon

Android问题笔记五十：构建错误-AAPT2 aapt2-7.0.2-7396180-windows Daemon

Unity3D特效百例案例项目实战源码Android-Unity实战问题汇总游戏脚本-辅助自动化Android控件全解手册再战Android系列Scratch编程案例软考全系列Unity3D学习专栏蓝桥系列ChatGPT和AIGC &#x1f449;关于作者 专注于Android/Unity和各种游戏开发技巧&#xff0c;以及各种资源分…
阅读更多...
Visual Studio 字体与主题推荐

Visual Studio 字体与主题推荐

个人推荐&#xff0c;仅供参考&#xff1a; 主题&#xff1a;One Monokai VS Theme 链接&#xff1a;One Monokai VS Theme - Visual Studio Marketplacehttps://marketplace.visualstudio.com/items?itemNameazemoh.onemonokai 效果&#xff1a; 字体&#xff1a;JetBrain…
阅读更多...
SpringBoot项目请求不中断动态更新代码

SpringBoot项目请求不中断动态更新代码

在开发中&#xff0c;有时候不停机动态更新代码热部署是一项至关重要的功能&#xff0c;它可以在请求不中断的情况下下更新代码。这种方式不仅提高了开发效率&#xff0c;还能加速测试和调试过程。本文将详细介绍如何在 Spring Boot 项目在Linux系统中实现热部署&#xff0c;特…
阅读更多...
《业务三板斧：定目标、抓过程、拿结果》读书笔记1

《业务三板斧：定目标、抓过程、拿结果》读书笔记1

这个书是24年新书&#xff0c;来自阿里系的人的作品&#xff0c;还可以。今天先看前沿部分的精彩部分&#xff1a; 我们在服务企业的过程中&#xff0c;发现了一个常见的管理现象&#xff1a;管理者自 己承担了团队里重要的项目&#xff0c;把风险和压力都集中在自己身上。因 此…
阅读更多...
报刊订阅系统小程序的设计

报刊订阅系统小程序的设计

管理员账户功能包括&#xff1a;系统首页&#xff0c;个人中心&#xff0c;用户管理&#xff0c;报刊类型管理&#xff0c;报刊信息管理&#xff0c;报刊订阅管理&#xff0c;订阅发送管理&#xff0c;系统管理 微信端账号功能包括&#xff1a;系统首页&#xff0c;报刊信息&a…
阅读更多...
＜＜迷雾＞＞ 第7章 会变魔术的触发器(1)--连着两个按键开关的逻辑电路 示例电路

＜＜迷雾＞＞ 第7章 会变魔术的触发器(1)--连着两个按键开关的逻辑电路 示例电路

info::操作说明 鼠标单击开关切换开合状态 A 能使灯点亮并保持; B 则点亮的灯熄灭. 注: 此处使用的是 按钮开关, 松开鼠标后开关会自己断开, 类似于手机和电脑上的电源按钮 因系统原因, 此类开关与普通开关在外观上并无差别. primary::在线交互操作链接 https://cc.xiaogd.net/…
阅读更多...
【Android】获取备案所需的公钥以及签名MD5值

【Android】获取备案所需的公钥以及签名MD5值

目录 重要前提 获取签名MD5值 获取公钥 重要前提 生成jks文件以及gradle配置应用该文件。具体步骤请参考我这篇文章&#xff1a;【Android】配置Gradle打包apk的环境_generate signed bundle or apk-CSDN博客 你只需要从头看到该文章的配置build.gradle&#xff08;app&…
阅读更多...
HTML流光爱心

HTML流光爱心

文章目录 序号目录1HTML满屏跳动的爱心&#xff08;可写字&#xff09;2HTML五彩缤纷的爱心3HTML满屏漂浮爱心4HTML情人节快乐5HTML蓝色爱心射线6HTML跳动的爱心&#xff08;简易版&#xff09;7HTML粒子爱心8HTML蓝色动态爱心9HTML跳动的爱心&#xff08;双心版&#xff09;1…
阅读更多...
回归预测 | Matlab基于POA-SVR鹈鹕算法优化支持向量机的数据多输入单输出回归预测

回归预测 | Matlab基于POA-SVR鹈鹕算法优化支持向量机的数据多输入单输出回归预测

回归预测 | Matlab基于POA-SVR鹈鹕算法优化支持向量机的数据多输入单输出回归预测 目录 回归预测 | Matlab基于POA-SVR鹈鹕算法优化支持向量机的数据多输入单输出回归预测预测效果基本描述程序设计参考资料 预测效果 基本描述 1.Matlab基于POA-SVR鹈鹕算法优化支持向量机的数据…
阅读更多...
检查jar冲突，查找存在相同class的jar

检查jar冲突，查找存在相同class的jar

写在前面 本文看下如何查找jar冲突&#xff0c;即查找哪些jar包中存在相同的class。如果是存在相同jar的不同版本&#xff0c;基本一眼就能看出来&#xff0c;然后结合maven的依赖关系将其剔除掉即可&#xff0c;但是当你遇到了有人手动拷贝某些class到jar包中导致冲突的情况时…
阅读更多...
wpf实现新用户页面引导

wpf实现新用户页面引导

第一步 第二部 部分代码: private void show(int xh, FrameworkElement fe, string con, Visibility vis Visibility.Visible) {Point point fe.TransformToAncestor(Window.GetWindow(fe)).Transform(new Point(0, 0));//获取控件坐标点RectangleGeometry rg new Rectangl…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023