Hololens 2应用开发系列(2)——MRTK基础知识及配置文件配置(上)

Hololens 2应用开发系列(2)——MRTK基础知识及配置文件配置

  • 一、前言
  • 二、MRTK基础知识
    • 2.1 MRTK概述
    • 2.2 MRTK运行逻辑
    • 2.3 MRTK配置文件介绍
    • 2.4 MRTK服务
  • 三、配置文件使用
    • 3.1 总配置文件
    • 3.2 相机配置
    • 3.3 其他配置
  • 参考文献

一、前言

在前面的文章中,我们已学习了使用MRTK在Unity中设置混合现实场景并进行程序模拟,其中,对于检查器中MRTK的各项配置大家可能还难以捉摸。虽然微软官方为我们提供了一些使用教程,但内容却缺乏对项目的针对性,使我们在了解过程中,难以确定某些设置是否是我们所需要的,这样设置是否正确。因此本文在介绍这些配置之前,先对MRTK的基础知识进行讲解,然后再对具体配置进行介绍。下面,让我们开始吧。
MRTK

二、MRTK基础知识

2.1 MRTK概述

MRTK是一个由微软公司驱动的统一、跨平台、支持AR/MR/VR设备开发的框架。它支持如Hololens、HTC、Oculus等多种设备,并添加了多种对不同XR插件的支持,如OpenXRWindows XRARCore XR等,各个XR SDK对应着不同类型的设备和平台,在Unity编辑器的项目设置中,我们可以在选择指定平台后找到其对应的XR插件,如下图所示。
XR SDK
具体来说,MRTK本身提供了一系列预构建的组件和服务,包括输入系统、交互对象、空间感知、UI元素以及演示场景等,但它并不直接处理底层XR平台的具体实现细节,比如硬件驱动通信或操作系统级的接口调用,而XR SDK则是专门用来整合和管理特定XR功能的软件开发套件,它们通常提供更底层的API来访问和控制硬件的功能,例如眼动追踪、手势识别、空间定位等。不同的XR SDK针对不同的硬件平台进行优化,以确保应用程序能够充分利用各个平台的独特功能。针对HoloLens 2我们通常使用OpenXR来进行项目的编写和构建。如需针对其他平台配置MRTK,请参考微软官方文档。
MRTK利用Unity配置MR应用的所有功能特性,需要我们使用配置文件Profiles对这些功能进行管理,通过配置文件,我们不仅可以定制所有功能,还可以替换掉默认的功能执行方式来执行自己的逻辑。·

2.2 MRTK运行逻辑

区分于Unity对象管理和生命周期控制的核心逻辑以及程序设计的核心逻辑(通过继承MonoBehaviour类依靠对象的事件函数编写应用,或使用单例模式控制共享运行组件),为保障AR/MR应用对全局内容和全部生命周期的控制,MRTK把所有需要共享运行的组件改成了服务(Service),构建了一个服务容器,对上提供服务,对下执行具体实现,大大提高了整体框架的灵活性和可扩展性。参考MRTK2体系结构概述,其体系架构如下图所示。
MRTK体系架构
MRTK有多个核心服务,其互相配合或独立运行,全部共享相同的生命周期——启动、注册、更新和卸载,该生命周期与Unity的MonoBehaviour生命周期不同。MRTK对象(即之前提到的MixedRealityToolkit对象)用于管理其服务的生命周期和运行,此对象可确保程序开始时,服务的启动和初始化按预定义的顺序进行。
在结构的最上层,MRTK采用事件驱动,通过MixedRealityToolkit对象内挂载的Unity对象函数,处理来自Unity分发的事件消息,实现Unity消息与MRTK服务之间的通信,确保数据从低层级通过事件处理函数向高层级之间的流通。

2.3 MRTK配置文件介绍

MRTK通过使用配置文件定义应用程序的功能和其适用的目标设备,因此,错误的配置文件可能会导致程序在指定设备上无法运行。MRTK有一个总体的配置文件,该配置文件是一个可编程对象,用于存储全局数据,同时其又包含了许多子配置文件的定义,形成了一个配置文件树,与此对应的,在配置面板(选中MixedRealityToolkit对象后,Inspector检查器中会自动添加MixedRealityToolkit的配置面板)上我们不难发现,每一个标签页面都有其相关的配置文件选择,如下图所示。
MRTK配置文件介绍
配置文件指导了MRTK的运行有哪些功能,这些功能大都以服务形式提供,因此,配置文件的正确使用很关键。在了解这些配置文件之前,请先行继续了解MRTK的服务基础知识。

2.4 MRTK服务

MRTK中的服务可分为三类:原生服务扩展服务数据提供者。MRTK负责协调处理服务间的交互,确保服务得到所需的事件消息(AwakeInitializeUpdateDestroy等)。MRTK的服务通过服务容器进行管理,服务容器的实现通过MixedRealityServiceRegistry类,它是服务的所有者,原生服务扩展服务都必须先在它上面注册才能使用。
原生服务顾名思义,是MRTK官方的服务类型,它提供了混合现实的核心功能服务,包含相机(Camera)输入(Input)边界(Boundary)传送(Teleport)空间感知(Spatial Awareness)诊断(Diagnostics)场景(Scene System) 七个模块。如果用户希望定义自己的服务处理逻辑,可继承BaseService或实现IMixedRealityService接口,以正确地被MixedRealityServiceRegistry服务容器管理。由开发人员创建的服务都称为扩展服务,MRTK在配置面板上提供了可视化的服务创建向导,后续将对其进行详细介绍。
数据提供者向特定服务(输入、空间感知)提供支持,所有数据提供者都需要实现IMixedRealityDataProvider接口,同时必须在服务配置文件中配置才能在MRTK中使用。

三、配置文件使用

微软官方为我们提供了配置文件配置指南,每个项目都需要根据项目功能、目标设备等进行配置。下面是针对Hololens 2设备配置文件的详细介绍。

3.1 总配置文件

MRTK的总配文件在配置面板的最上端,提供了若干默认配置。参考微软文档配置文件,其中,DefalutLeapMotionConfigurationProfile是用于配置手部追踪的特定配置文件,OpenXRConfigurationProfile是与OpenXR兼容设备的一个配置文件,OpenXR是一个由Khronos Group维护的开放标准,旨在简化和统一跨增强现实(AR)和虚拟现实(VR)平台的应用开发过程。而以Obsolete开头的,是已过时的配置文件,通常用于Unity 2019以前版本。
针对HoloLens设备,DefaultMixedRealityToolkitConfigurationProfile是一个通用配置文件,它未针对任何特定用例进行优化,可同时适用于HoloLens第一代和第二代设备。如果想要使用更适合其他平台的更高性能/具体的设置,可选择DefaultHoloLens2ConfigurationProfile或针对HoloLens1的DefaultHoloLens1ConfigurationProfile
总配置文件
DefaultHoloLens2ConfigurationProfile配置文件与通用配置文件DefaultMixedRealityToolkitConfigurationProfile之间的主要区别是启用了眼动追踪和视线输入模拟,而禁用了边界系统、传送系统等功能。
为了确保默认配置的有效性,MRTK锁定了默认配置文件的修改,因此我们需要通过Clone按钮来新建和定制自己的配置文件。
默认情况下,配置文件均位于项目根目录的Assets\MixedRealityToolkit.Generated\CustomProfiles文件夹中,您可在该目录找到针对您项目生成的配置文件。

3.2 相机配置

相机配置文件定义了所使用的渲染相机参数,该配置文件由主配置文件管理,在配置前,首先要确保相机系统的开启,即Enable Camera System被勾选。然后Camera System Type选择默认即可,它是MRTK预定的基础的摄像机系统类型,MRTK提供的默认类实现是MixedRealityCameraSystem,这块只有一种选项,暂时无需纠结,微软官方也尚未对其进行解释(如果您找到了相关说明感谢在文章下方分享并评论)。然后,根据需求选择所需的配置文件,Clone即可。此时,配置面板出现如下相机设置内容。
在这里插入图片描述
Camera Settings Providers相机设置提供程序负责处理与混合现实应用中的相机相关的设置和行为,它是为了处理不同混合现实平台和设备特定的相机设置需求而设计的,以增强不同的MR头戴式设备的不同的光学参数、渲染要求和立体视觉实现方式下的跨平台兼容性,并对镜头畸变、空间感知等进行优化。并非所有平台都需要相机设置提供程序。如果没有与运行应用程序的平台兼容的提供程序,Microsoft 混合现实工具包将应用基本默认值。同时,我们也可以针对自己的平台创建相机设置提供程序,详细可参考这篇文章。对于HoloLens 2应用开发,我们选择其默认的配置即可。
Display Setting显示设置是相机运用时的一些配置设置,包含Opaque(不透明的,针对VR)和Transparent(透明的,针对MR)两组设置,对于HoloLens 2,我们只需设置Transparent内容即可。其中包含近平面/远平面(元素渲染的最近最远距离,以为单位,建议为0.1和50)、清除标志(绘制过程中或帧刷新时内容,对于VR,此值设置为Skybox, 对于MR,设置为Color)、背景色(如果清除标志未设置为 Skybox,则将显示背景色属性)和图形质量
关于更多相机系统的概述,请参考微软官方文档相机系统概述 — MRTK2及其同级目录下的文件。

3.3 其他配置

除了前面提到的相机(Camera)配置,还包含输入(Input)边界(Boundary)传送(Teleport)空间感知(Spatial Awareness)诊断(Diagnostics)场景(Scene System) 等内容,而文章不宜过长,接下来的博客内容中,我将对其进行介绍。其中,**输入(Input)**尤为重要,MRTK所面对的输入错综复杂,除了前面提到的输入模拟外,还有实际的手势、语音、手柄、控制器等多种类型的输入设备,很多功能也建立在其之上,同时,我们也可以创建自己的输入。
在接下来的专栏中,我将用一篇文章详细全面地介绍输入配置的相关内容,感谢大家持续关注!!!

参考文献

[1] 汪祥春.HoloLens 2开发入门精要:基于Unity和MRTK[M]. 北京:清华大学出版社,2021.
[2] MRTK2-unity开发文档[EB/OL].https://learn.microsoft.com/zh-cn/windows/mixed-reality/mrtk-unity/mrtk2,2022.

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/271089.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【智能家居入门1之环境信息监测】(STM32、ONENET云平台、微信小程序、HTTP协议)

作为入门本篇只实现微信小程序接收下位机上传的数据,之后会持续发布如下项目:①可以实现微信小程序控制下位机动作,真正意义上的智能家居;②将网络通讯协议换成MQTT协议再实现上述功能,此时的服务器也不再是ONENET&…

一文看懂:组件化设计,B端系统不再重复造轮子。

B端组件化设计是指将企业级系统的界面设计和开发分解为独立的可复用组件,以实现系统的模块化和灵活性。 B端组件化设计的核心思想是将界面拆分成独立的功能组件,每个组件负责特定的功能或业务逻辑,可以独立开发、测试和维护,同时可…

[HackMyVM]靶场 Wild

kali:192.168.56.104 主机发现 arp-scan -l # arp-scan -l Interface: eth0, type: EN10MB, MAC: 00:0c:29:d2:e0:49, IPv4: 192.168.56.104 Starting arp-scan 1.10.0 with 256 hosts (https://github.com/royhills/arp-scan) 192.168.56.1 0a:00:27:00:00:05 …

综合练习

Oracle从入门到总裁:​​​​​​https://blog.csdn.net/weixin_67859959/article/details/135209645 现有一个商店的数据库,记录顾客及其购物情况。根据要求完成任务 此数据库由下面 3 个表组成。 商品 product(商品号 productid,商品名 p…

交友盲盒系统PHP开源的盲盒源码

源码介绍: 交友盲盒系统是一款基于PHP开发的开源免费盲盒系统,旨在为用户提供一个充满乐趣和惊喜的社交体验。该系统具有丰富的功能和灵活的扩展性,可以轻松地满足各种线上交友、抽奖活动等场景的需求。 安装说明: PHP版本&…

海外IP代理应用:亚马逊使用什么代理IP?

代理IP作为网络活动的有力工具,同时也是跨境电商的必备神器。亚马逊作为跨境电商的头部平台,吸引了大量的跨境电商玩家入驻,想要做好亚马逊,养号、测评都需要代理IP的帮助。那么应该使用什么代理IP呢?如何使用&#xf…

LeetCode 刷题 [C++] 第300题.最长递增子序列

题目描述 给你一个整数数组 nums ,找到其中最长严格递增子序列的长度。 子序列 是由数组派生而来的序列,删除(或不删除)数组中的元素而不改变其余元素的顺序。例如,[3,6,2,7] 是数组 [0,3,1,6,2,2,7] 的子序列。 题目…

【学习笔记】卫星基础知识

一、什么是卫星以及它如何工作? 通信卫星是一种人造卫星,通过使用转发器在源和接收器之间中继和放大无线电电信信号。卫星的工作原理是接收从地球发送的无线电信号并将无线电信号重新发送回地球。卫星使用从大型太阳能电池阵列收集的太阳能,…

npm ERR! code ERR_INVALID_URL报错解决

这个报错是URL错误&#xff0c;要排除两个点 npm的registry有没有搞错&#xff0c;也就是npm源有没有搞错 打开文件C:/User/<用户名>/.npmrc查看npm设置查看registry的设置有没有格式错误正确设置格式&#xff1a;registry"https://registry.npmmirror.com"或…

Spring揭秘:ApplicationContextAware应用场景及实现原理!

内容概要 ApplicationContextAware接口能够轻松感知并在Spring中获取应用上下文&#xff0c;进而访问容器中的其他Bean和资源&#xff0c;这增强了组件间的解耦&#xff0c;了代码的灵活性和可扩展性&#xff0c;是Spring框架中实现高级功能的关键接口之一。 核心概念 它能用…

双体系Java学习之关键字,标识符以及命名规范

刚开学&#xff0c;然后之前的课程暂时停在了多态&#xff0c;接下来开始跟着学校的步伐重新开始学一下&#xff0c;谢谢&#xff01;&#xff01;&#xff01; 关键字 标识符 命名规范

响应式编程五股票订阅系统实现

响应式编程五 使用StepVerifier测试响应式流StepVerifier要点 使用StepVerifier进行高级测试股票订阅系统数据库表 使用StepVerifier测试响应式流 出于测试目的&#xff0c;Reactor 提供了额外的 reactor-test 模块&#xff0c;该模块提供了 StepVerifier。StepVerifier 提供了…

Android视角看鸿蒙第三课(module.json中的各字段含义之nametype)

Android视角看鸿蒙第三课(module.json中的各字段含义) 前言 上篇文章我们试图找到鸿蒙app的程序入口&#xff0c;确定了在鸿蒙工程中,由AppScope下的app.json5负责应用程序的图标及名称,由entry->src->main-module.json5负责桌面图标及名称的展示。 AppScope下的app.js…

YOLOv8实例分割实战:ONNX模型转换及TensorRT部署

课程链接&#xff1a;https://edu.csdn.net/course/detail/39320 PyTorch版的YOLOv8支持高性能的实时实例分割。 TensorRT是针对英伟达GPU的加速工具。 ONNX &#xff08;Open Neural Network Exchange&#xff09; 作为一个开放的网络模型中间表示&#xff08;IR&#xff0…

2024年最新阿里云服务器地域选择方法,以及可用区说明

阿里云服务器地域和可用区怎么选择&#xff1f;地域是指云服务器所在物理数据中心的位置&#xff0c;地域选择就近选择&#xff0c;访客距离地域所在城市越近网络延迟越低&#xff0c;速度就越快&#xff1b;可用区是指同一个地域下&#xff0c;网络和电力相互独立的区域&#…

linux命令行或桌面 显卡压力测试

windows下的压力测试非常简单&#xff0c;有很多图形化的测试工具 在github上找到一个项目&#xff1a;github链接 1.下载工具 cd /usr/localgit clone https://github.com/wilicc/gpu-burn如果没有安装git&#xff0c;则先安装 apt-get install git2.安装 cd /usr/local/…

SpringBoot源码解读与原理分析(三)条件装配

文章目录 2.3 Spring Framework的条件装配2.3.1 基于Profile的装配1.Profile源码解读2.使用Profile注解&#xff08;3&#xff09;命令行参数配置Profile3.Profile运用于实际开发4.Profile的不足 2.3.2 基于Conditional的装配1.Conditional源码解读2.Conditional使用3.Conditio…

[pdf]《软件方法》强化自测题业务建模需求分析共191页,230题

潘加宇《软件方法》强化自测题业务建模需求分析共191页&#xff0c;230题&#xff0c;已上传CSDN资源。 在完成书中自测题基础上&#xff0c;进一步强化。 也可到以下地址下载&#xff1a; 资料http://www.umlchina.com/url/quizad.html 如果需要网盘提取码&#xff1a;uml…

北斗卫星助力无人机在沙漠播种,促进沙漠治理

北斗卫星助力无人机在沙漠播种&#xff0c;促进沙漠治理 近年来&#xff0c;随着科技的不断发展&#xff0c;北斗卫星和无人机技术的结合被广泛应用于沙漠治理领域&#xff0c;为解决沙漠化问题提供了全新的思路和解决方案。 近日&#xff0c;黄河“几字弯”北岸的内蒙古自治…

FreeRTOS操作系统学习——空闲任务及其钩子函数

空闲任务 当 FreeRTOS 的调度器启动以后就会自动的创建一个空闲任务&#xff0c;这样就可以确保至少有一任务可以运行。但是这个空闲任务使用最低优先级&#xff0c;如果应用中有其他高优先级任务处于就绪态的话这个空闲任务就不会跟高优先级的任务抢占 CPU 资源。空闲任务还有…