Unity Meta Quest MR 开发（四）：使用 Scene API 和 Depth API 实现深度识别和环境遮挡

文章目录

  • 📕教程说明
  • 📕Scene API 实现遮挡
  • 📕Scene API 实现遮挡的缺点
  • 📕Depth API 实现遮挡
    • ⭐导入 Depth API
    • ⭐修改环境配置
    • ⭐添加 EnvironmentDepthOcclusion 预制体
    • ⭐给物体替换遮挡 Shader
    • ⭐取消现实手部的遮挡效果

此教程相关的详细教案，文档，思维导图和工程文件会放入 Spatial XR 社区。这是一个高质量 XR 社区，博主目前在内担任 XR 开发的讲师。此外，该社区提供教程答疑、及时交流、进阶教程、外包、行业动态等服务。

社区链接：
Spatial XR 高级社区（知识星球）
Spatial XR 高级社区（爱发电）

在这里插入图片描述

📕教程说明

这期教程我将会介绍如何在 Unity 中，分别利用 Meta XR SDK 中的 Scene API 和 Depth API，来实现现实物体遮挡位于后方的虚拟物体的效果。

配套的视频链接：
https://www.bilibili.com/video/BV1GH4y1h7Py

一体机开发环境配置可参考：https://blog.csdn.net/qq_46044366/article/details/133967343

配置一个基本的玩家物体可以参考前几期教程：https://blog.csdn.net/qq_46044366/article/details/134097455

MR 透视配置可参考：
https://blog.csdn.net/qq_46044366/article/details/135612769

Scene API 配置可参考:
https://blog.csdn.net/qq_46044366/article/details/135930423

系列教程专栏：https://blog.csdn.net/qq_46044366/category_12118293.html

​电脑操作系统：Windows 11

使用的 VR 设备：Meta Quest 3（Quest 系列都适用，但是 Depth API 的部分目前只适用于 Quest 3）

使用的 Unity 版本：2022.3.15 f1c1 LTS

Meta XR SDK 版本：v60

Meta Quest 系统需要是 v40 及以上

官方文档：https://developer.oculus.com/documentation/unity/unity-gs-overview/

Depth API 官方文档：https://developer.oculus.com/documentation/unity/unity-depthapi/

Depth API 官方 Github 项目链接：https://github.com/oculus-samples/Unity-DepthAPI

最终效果：

在这里插入图片描述
在这里插入图片描述

📕Scene API 实现遮挡

在上一期配置 Scene API 实现虚拟与现实物体之间碰撞的教程中，我们可以在 Project 窗口的搜索栏中搜索 SelectivePassthrough，在 Packages 文件夹下找到这个材质。

在这里插入图片描述

然后我们自己创建了一个和这个官方透视材质一模一样的材质，这样后续可以对材质做一些自定义的设置。我们在 Assets 文件夹下的任意一个文件夹中创建了一个材质，叫做 CustomSelectivePassthrough，然后把 Shader 改成 Oculus/SelectivePassthrough。但是如果我们按照上一期教程的步骤把材质的 Render Queue 设为 5000，那么我们运行程序后，如果把一个虚拟小球放在具有透视材质的现实物体之后，我们还是可以看到墙之后的小球的。

在这里插入图片描述

如果想要让具有透视材质的现实物体遮挡虚拟小球，可以把透视材质的 Blend Color 由原来的 ReverseSubstract 改为 Substract 。此外，我在弹球 Demo 中给球加了个高亮材质，当手对准球的时候，显示球的高亮材质。如果我们想要看到球的高亮材质，还需要让透视材质的 Render Queue 小于球的高亮材质，且大于小球本身的材质。（如下图所示）

在这里插入图片描述

Render Queue 依据什么修改？首先 Render Queue 越大，材质越透明，并且在渲染顺序中越后渲染。

在这里插入图片描述

我们看高亮材质的 Render Queue，它是 3110：

在这里插入图片描述

如果透视材质的 Render Queue 按照上期教程设为了 5000，那么它比 3110 大，因此透视材质后渲染，并且这两个材质都是透明的材质。经过 Substract 混合一下会导致高亮材质看不到了，相当于透视材质盖住了高亮材质。

如果透视材质的 Render Queue 小于高亮材质，那么透视材质先渲染，高亮材质后渲染，这种情况下就能正常显示高亮材质。

总结一下，如果透视材质的 Blend Color 设为了 Substract，如果在场景中看不到某个其他的透明材质（比如球的高亮材质），可以让透视材质的 Render Queue 小于该透明材质，这样就能够看到该透明材质。

最终效果：

在这里插入图片描述

📕Scene API 实现遮挡的缺点

Scene API 实现的遮挡主要有两个缺点：

  1. 任何形状的物体都被当成了 2D 平面或者 3D 立方体。比如下方这张图，现实中桌子的下方是空的，但是它被系统当作了一个完整的立方体，因此桌子下方空的部分也会遮挡住小动物的一部分身体。

在这里插入图片描述

  1. Scene API 只能实现静态物体的遮挡。如果在空间设置完毕之后将一个现实物体进行移动，那么它所对应的场景模型中的虚拟物体并不会改变位置。假如我们想实现现实中双手与虚拟物体的遮挡，就不能用 Scene API 来实现。因为手可能会在不断运动。

📕Depth API 实现遮挡

Depth API 是 Quest 3 特有的功能，因为 Quest 3 有一个深度传感器，能够获取现实物体与相机之间的深度信息，因此能够判断现实物体和虚拟物体到相机的距离，来处理现实物体和虚拟物体之间的前后遮挡关系。而像 Quest 2 和 Quest Pro 就没有深度传感器，因此无法使用 Depth API。

Depth API 主要解决的是动态遮挡的需求，比如现实的手放在虚拟的物体前能呈现出正确的前后遮挡关系。

使用 Depth API 目前有几个注意事项：

  1. Depth API 目前是一个实验性的功能（在未来应该会成为正式的功能），这意味着目前使用 Depth API 的应用是无法上架到 Quest 商店的。但是开发者可以先拿来测试。
  2. Unity的编辑器版本需要是 2022.3.1及以上或 2023.2 及以上
  3. Meta XR SDK 的版本需要是 v60 及以上

Depth API 官方文档说明：https://developer.oculus.com/documentation/unity/unity-depthapi/（相关要求和配置过程可能会发生改变，一切以官方文档为主）

⭐导入 Depth API

目前导入 Depth API 需要从 Git URL 导入。我们可以打开 Depth API 官方 Github 样例项目网址：https://github.com/oculus-samples/Unity-DepthAPI

里面有两个 Git 链接，分别适用于不同的渲染管线。

普通渲染管线：https://github.com/oculus-samples/Unity-DepthAPI.git?path=/Packages/com.meta.xr.depthapi
URP 渲染管线：https://github.com/oculus-samples/Unity-DepthAPI.git?path=/Packages/com.meta.xr.depthapi.urp

根据自己的项目选择用哪一种，因为我的项目是默认的普通渲染管线，所以我先把第一个链接复制一下，然后如下图所示，打开 Unity 的 Window > Package Manager，点击界面左上角的 “+” 号，选择 Add package from git URL，将复制的 Git 链接导入。

在这里插入图片描述

导入之后可以在 Package Manager 当中的 In Project 里看到 Depth API，同时 Oculus XR Plugin 这个包的版本会转换为 4.2.0-exp-env-depth.2

在这里插入图片描述

⭐修改环境配置

打开 Unity 的 Edit > Project Settings > Oculus，点击安卓端和 PC 端的 Fix All 和 Apply All，直到列表的所有选项变绿为止。

在这里插入图片描述

这个自动修复工具确保了这几件事：

  1. Graphics API 设为了 Vulkan
  2. Rendering Mode 设为了 Multiview
  3. 透视功能是已经开启的
  4. Quest Features 中的 Scene Support 设为了 Required
    在这里插入图片描述

⭐添加 EnvironmentDepthOcclusion 预制体

我们在 Project 窗口中搜索 EnvironmentDepthOcclusion，将搜索选项设为 All 或 In Package，可以找到这个预制体 Prefab：

在这里插入图片描述

然后把这个预制体拖到场景中，找到它身上的 Environment Depth Occusion Controller 脚本的 Occlusion Type 参数，可以把它改为 Soft Occlusion：

在这里插入图片描述
Hard Occlusion：对现实物理的遮挡效果会比较粗糙，但是节约性能
Soft Occlusion：对遮挡效果进行了平滑处理，但是需要更大的 GPU 性能。需要注意的是 Depth API 是在实时进行处理的，所以它本身会消耗更多的算力。

⭐给物体替换遮挡 Shader

找到虚拟物体的材质，比如我这个小球的材质的 Shader 原本是 Standard，现在需要替换成 Meta/Depth/BiRP/Occlusion Standard：

在这里插入图片描述

替换成什么 Shader 可参考下方的表格（前缀是Meta/Depth/BiRP/）。
BiRP（普通渲染管线）：

在这里插入图片描述

URP：
在这里插入图片描述

现在运行程序，就可以实现当现实中的物体遮挡住后方的虚拟物体时，能看到虚拟物体前的现实物体。

⭐取消现实手部的遮挡效果

当我们用现实中的手抓取一个虚拟物体的时候，Depth API 会把虚拟物体的大部分表面遮挡掉，但是现实中的手本身是没有真正抓取一个物体的，就会导致手和虚拟物体穿模，出现很奇怪的视觉效果。我的优化思路是，当现实的手与虚拟物体进行交互时，显示虚拟手部模型，并且取消现实的手对虚拟物体的遮挡效果。如果给虚拟物体录制了抓取手势，因为 Synthetic Hand 对虚拟手部姿态的限制，所以在抓取物体的时候虚拟手部模型就会贴在虚拟物体的表面上，更有抓取的感觉。

Depth API 提供了一个方法，可以取消手腕以上手的部分对虚拟物体的遮挡效果。在 EnvironmentDepthTextureProvider 脚本中有一个 RemoveHands 方法可以实现这个功能。

在这里插入图片描述
在这里插入图片描述
传入 true 参数，可以取消手部对现实物体的遮挡效果。

和 Event Wrapper 搭配的样例：

在这里插入图片描述

最终效果：

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/257888.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

node+vue3+mysql前后分离开发范式——实现对数据库表的增删改查

node+vue3+mysql前后分离开发范式——实现对数据库表的增删改查

文章目录 ⭐前言⭐ 功能设计与实现💖 node后端操作数据库实现增删改查💖 vue3前端实现增删改查⭐ 效果⭐ 总结⭐ 结束⭐结束⭐前言 大家好，我是yma16，本文分享关于 node+vue3+mysql前后分离开发范式——实现对数据库表的增删改查。 技术选型 前端：vite+vue3+antd 后端：…
阅读更多...
2024-02-12 Unity 编辑器开发之编辑器拓展3 —— EditorGUI

2024-02-12 Unity 编辑器开发之编辑器拓展3 —— EditorGUI

文章目录 1 GUILayout2 EditorGUI 介绍3 文本、层级、标签、颜色拾取3.1 LabelField3.2 LayerField3.3 TagField3.4 ColorField3.5 代码示例 4 枚举选择、整数选择、按下按钮4.1 EnumPopup / EnumFlagsField4.2 IntPopup4.3 DropdownButton4.4 代码示例 5 对象关联、各类型输入…
阅读更多...
自然语言处理（NLP）—— 基本概念

自然语言处理（NLP）—— 基本概念

自然语言处理（Natural Language Processing，简称NLP）是人工智能和语言学领域的一个分支，它涉及到计算机和人类（自然）语言之间的相互作用。它的主要目标是让计算机能够理解、解释和生成人类语言的数据。NLP结…
阅读更多...
分享72个Html前端模板，总有一款适合您

分享72个Html前端模板，总有一款适合您

分享72个Html前端模板，总有一款适合您 72个Html前端模板下载链接：https://pan.baidu.com/s/1ZVhDy6aMGc9fBl447d69yg?pwd8888 提取码：8888 Python采集代码下载链接：采集代码.zip - 蓝奏云 学习知识费力气，收集…
阅读更多...
[office] Excel CHITEST 函数 使用实例教程 #媒体#知识分享#其他

[office] Excel CHITEST 函数 使用实例教程 #媒体#知识分享#其他

Excel CHITEST 函数 使用实例教程 提示 此函数已由 CHISQ.TEST 函数替换，新函数可以提供更好的精确度，其名称更好地反映其用法。旧函数仍可用于与早期版本Excel 的兼容。但是，如果不需要向后兼容，那么应考虑直接使用新函数&…
阅读更多...
Vue 全组件 局部组件

Vue 全组件 局部组件

一、组件定义和使用 1、全局组件 定义 <template> <div> <h1>This is a global component</h1> </div> </template> <script lang"ts"> </script> <style></style> 导入 全局组件在main.ts&#xff…
阅读更多...
LeetCode 每日一题 Day 62 - 75

LeetCode 每日一题 Day 62 - 75

1686. 石子游戏 VI Alice 和 Bob 轮流玩一个游戏&#xff0c;Alice 先手。 一堆石子里总共有 n 个石子&#xff0c;轮到某个玩家时&#xff0c;他可以 移出 一个石子并得到这个石子的价值。Alice 和 Bob 对石子价值有 不一样的的评判标准 。双方都知道对方的评判标准。 给你…
阅读更多...
嵌入式Qt Qt Creator安装与工程介绍

嵌入式Qt Qt Creator安装与工程介绍

一.Qt概述 什么是Qt&#xff1a;Qt是一个跨平台的C图形用户界面应用程序框架。它为应用程序开发者提供建立图形界面所需的所有功能。它是完全面向对象的&#xff0c;很容易扩展&#xff0c;并且允许真正的组件编程。 二.Qt Creator下载安装 下载地址&#xff1a;Index of /a…
阅读更多...
Spring中的事务实现、失效场景即AOP的相关概念理解

Spring中的事务实现、失效场景即AOP的相关概念理解

spring实现事务&#xff08;声明式事务&#xff09;的本质就是aop完成的,它会对方法的前后进行拦截,在执行方法之前开启事务,在执行完目标方法之后根据执行情况提交或回滚事务。aop就是面向切面编程&#xff0c;在spring中将那些与业务无关&#xff0c;但却对多个对象产生影响的…
阅读更多...
[嵌入式系统-16]：RT-Thread -2- 主要功能功能组件详解与API函数说明

[嵌入式系统-16]：RT-Thread -2- 主要功能功能组件详解与API函数说明

目录 一、RT-Thread主要功能组件 二、内核组件 2.1 概述 2.2 API 三、设备驱动 3.1 概述 3.2 API 四、通信组件 4.1 概述 4.4 API 五、网络组件 5.1 概述 5.2 API 5.3 补充&#xff1a;MQTT协议 六、文件系统 6.1 概述 6.2 API 七、GUI 组件 7.1 概述 7.2 …
阅读更多...
Mysql第一关之常规用法

Mysql第一关之常规用法

简介 介绍Mysql常规概念&#xff0c;用法。包括DDL、DCL、DML、DQL&#xff0c;关键字、分组、连表、函数、排序、分页等。 一、 SQL DCMQ&#xff0c;分别代表DDL、DCL、DML、DQL。 模糊简记为DCMQ&#xff0c;看起来像一个消息队列。 D&#xff1a;Definition 定义语句 M…
阅读更多...
【报错解决】-bash: export: `-8‘: not a valid identifier 不是有效的标识符

【报错解决】-bash: export: `-8‘: not a valid identifier 不是有效的标识符

现象 一登陆就提示-bash: export: -8’: not a valid identifier 不是有效的标识符 问题出现的原因 设置字符集时多写了空格 [rootdb1 ~]# cat >>/etc/profile<<EOF export LANGen_US.UTF -8(-8前不应有空格) EOF 解决方法 cd /etc vi profile 把export带有-8的…
阅读更多...
2024 前端面试题（GPT回答 + 示例代码 + 解释）No.21 - No.40

2024 前端面试题（GPT回答 + 示例代码 + 解释）No.21 - No.40

本文题目来源于全网收集&#xff0c;答案来源于 ChatGPT 和 博主&#xff08;的小部分……&#xff09; 格式&#xff1a;题目 h3 回答 text 参考大佬博客补充 text 示例代码 code 解释 quote 补充 quote 上一篇链接&#xff1a;2024 前端面试题&#xff08;GPT回答 示例…
阅读更多...
react+ts【项目实战一】配置项目/路由/redux

react+ts【项目实战一】配置项目/路由/redux

文章目录 1、项目搭建1、创建项目1.2 配置项目1.2.1 更换icon1.2.2 更换项目名称1.2.1 配置项目别名 1.3 代码规范1.3.1 集成editorconfig配置1.3.2 使用prettier工具 1.4 项目结构1.5 对css进行重置1.6 注入router1.7 定义TS组件的规范1.8 创建代码片段1.9 二级路由和懒加载1.…
阅读更多...
春晚后台撒贝宁意外“踩高跷”，尼格买提内增高秘密笑翻全场。

春晚后台撒贝宁意外“踩高跷”，尼格买提内增高秘密笑翻全场。

♥ 为方便您进行讨论和分享&#xff0c;同时也为能带给您不一样的参与感。请您在阅读本文之前&#xff0c;点击一下“关注”&#xff0c;非常感谢您的支持&#xff01; 文 |猴哥聊娱乐 编 辑|徐 婷 校 对|侯欢庭 龙年春晚无疑是观众们热议的焦点&#xff01;除了尼格买提表演…
阅读更多...
单片机的省电模式及策略

单片机的省电模式及策略

目录 一、单片机省电的核心策略 二、单片机IO口的几种模式 三、单片机的掉电运行模式 &#xff08;1&#xff09; 浅谈cpu运行为什么会需要时钟&#xff1f; &#xff08;2&#xff09;STC15系列单片机内部可以配置时钟 &#xff08;3&#xff09;分频策略&#xff0c;降低…
阅读更多...
Python爬虫之自动化测试Selenium#7

Python爬虫之自动化测试Selenium#7

爬虫专栏&#xff1a;http://t.csdnimg.cn/WfCSx 前言 在前一章中&#xff0c;我们了解了 Ajax 的分析和抓取方式&#xff0c;这其实也是 JavaScript 动态渲染的页面的一种情形&#xff0c;通过直接分析 Ajax&#xff0c;我们仍然可以借助 requests 或 urllib 来实现数据爬取…
阅读更多...
【Python】高级数据类型

【Python】高级数据类型

&#x1f6a9; WRITE IN FRONT &#x1f6a9; &#x1f50e; 介绍&#xff1a;"謓泽"正在路上朝着"攻城狮"方向"前进四" &#x1f50e;&#x1f3c5; 荣誉&#xff1a;2021|2022年度博客之星物联网与嵌入式开发TOP5|TOP4、2021|2222年获评…
阅读更多...
STM32—DHT11温湿度传感器

STM32—DHT11温湿度传感器

文章目录 一.温湿度原理1.1 时序图 二.代码 一.温湿度原理 1.1 时序图 (1).下图一是DHT11总的时序图。 (2).图二对应图一的左边黑色部分&#xff0c;图三对应图一的绿色部分&#xff0c;图四的左部分图对应图一的红色部分&#xff0c;图四的右部分对应图一的黄色部分。 (3)…
阅读更多...
Linux rp_filter、arp_filter、arp_ignore、arp_announce参数说明

Linux rp_filter、arp_filter、arp_ignore、arp_announce参数说明

Linux rp_filter、arp_filter、arp_ignore、arp_announce参数说明。我查看了参考资料&#xff0c;又去查阅了官方文档&#xff0c;凭着我的理解整理了以下文档。各位大神的文档写的很好&#xff0c;但都不喜欢断句啊&#xff0c;读的我这叫一个累。 参考 1.网络编程之网络丢包…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023