残疾人手语交流辅助系统手语识别与翻译基于数据手套的虚拟手的实现

残疾人手语交流辅助系统手语识别与翻译&&基于数据手套的虚拟手的实现

1、 特征提取

原始数据含有背景等大量无用成分,通过骨架技术,直接获得手的运动信息,减小问题复杂度。硬件和软件使用的是:Kinect和OpenNI。Kinect可以获得深度图像,OpenNI不太了解,查了下,【百度百科】例如,一个中间件可以接收一副有人的图像,计算并返回人手掌在图像中的位置。OpenNI提供了一组基于传感器设备的API,以及一组由中间件组件实现的API。通过打破传感器和中间件之间的依赖,使用OpenNI的API编写应用程序就不需要额外的努力去处理由不同的中间件共存带来的问题(跨平台)。在本论文的后边描述,可以知道调用了《骨骼提取》算法,这是个不开源的【知乎】OpenNi类似Kinect的SDK,但是里面的很多算法不是开源的,比如实时的human

poseestimation, hand tracking。这些算法来自一个叫primesense的公司的middleware,估计也是微软持资,openni只有接口。后期,骨骼提取技术因为处理速度慢,是整个系统的瓶颈,因为不开源的原因无法处理,因此添加了FPGA,【百度百科】系统设计师可以根据需要通过可编辑的连接把FPGA内部的逻辑块连接起来,就好像一个电路试验板被放在了一个芯片里。一个出厂后的成品FPGA的逻辑块和连接可以按照设计者而改变,所以FPGA可以完成所需要的逻辑功能。简而言之,就是一个有专门用途的芯片。

选择左右手、肘关节、肩关节6个骨架节点,在获得骨架节点后,通过常态化处理,使得每个动作延续121帧,原因是,标准化便于后期处理,方式是,均匀分配和插值处理。

2、 数据处理

从骨架6个节点计算出14个特征点,每个动作总在这里插入图片描述共121帧,总计1694个特征。通过SVM(支持向量机)对获取的向量处理。

通过LIBSVM训练分类器,而不用自己从头开始做。

【参与竞赛与做产品一样,总会使用最成熟、最简单的技术,不一定最先进,但最起码是次优的。这篇论文中,6、14、121这些数字的来源很令人好奇,估计也是从某个地方看过来的吧,另外,图像识别的关键环节:图像获取与预处理、SVM训练都利用成熟的技术和产品】

《基于数据手套的虚拟手的实现》

1、流程图,通过流程图可以对整个系统或者整篇论文有个基本的认识,之后可以对号入座,提高学习效率。在这里插入图片描述

OSG不了解,【百度】OpenSceneGraph(简称OSG)使用OpenGL技术开发,是一套基于C++平台的应用程序接口(API),它让程序员能够更加快速、便捷地创建高性能、跨平台的交互式图形程序。它作为中间件(middleware)为应用软件提供了各种高级渲染特性,IO,以及空间结构组织函数;而更低层次的OpenGL 硬件抽象层(HAL)实现了底层硬件显示的驱动。OpenGL不懂,【百度】OpenGL(全写Open

Graphics Library)是指定义了一个跨编程语言、跨平台的编程接口规格的专业的图形程序接口。它用于三维图像(二维的亦可),是一个功能强大,调用方便的底层图形库。【百度链接】OpenGL学习总结

一.OpenGL是做什么的

一种图形硬件的接口。而不是像C和C++一样的编程语言,更像是一个运行库,提供一些预先封装的函数。

二.OpenGL的主要功能是什么

建模,变换,颜色模式设置,光照和材质设置,纹理映射,位图显示和图像。

三.OpenGL的体系结构是什么

最底层为图形硬件,第二层为操作系统,第三层为窗口系统,第四层为OpenGL,第五层为应用软件。

四.怎么样利用OpenGL来实现我们想要做的事情

首先要明白一点,OpenGL是一个与平台无关的三维图形接口,操作系统必须提供像素格式管理和渲染环境管理。因此要使用OpenGL来做我们想做的事情的时候,一定要先为OpenGL搭建一个窗口环境。在这个窗口环境中,我们才能够使用OpenGL来实现我们自己的目的。

另外要注意的是OpenGL应用的不是保留模式,而是直接模式。即我们去操作的并非是已经封装好的一些建好的图形信息,而仅是相当于操作一个图形界面。也就是说如果我们要画一个复杂的形体,我们要把这个形体的几何信息,包括点、线和面的一些信息包括进去,然后使用一定的方法,把这些基本的信息合起来,构成我们要创建的那个物体。中间件不懂,【知乎】其实从广义来说
操作系统上,业务系统下与业务无关的

,都是中间件,包括数据库,离线等。当然
实际上不会这么分。 不过利用这个讲法应该能够更容易的去理解中间件是什么。对比与这个说明,库函数是位于代码与程序之间的中间件。

2、使用3D MAX和Creator建立手的3D模型,不研究这个,所以不细看,但作者的一个观点很令人耳目一新,通过树状结构建立数据库结构,原因有二:1、按照几何特征进行有效组织,并将模型转化为方便进行编辑和移动的节点;2、这种树状结构非常适合实时系统进行各种便利操作。【这样的思路跟之前读的结构模式识别很相似,利用模式(模型)本身的结构约束构建系统,减小不确定性】

3、数据手套的数据获取与处理

使用DG5 Vhand2.0数据手套,由5个嵌入玩去传感器测量手指的平均屈伸度,通过三轴加速计获得手的运动和方向。在软件层面,调用配套的函数库即可获得手的运动数据。

4、数据手套与虚拟手的交互控制

不是特别感兴趣,实现手套获取数据与虚拟手控制数据的某种映射。OSG可能采用MVC模式,Controller为数据手套,View为OSG提供的界面,Model为OSG映射函数。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/24577.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

AI绘图网站 MJ(Midjourney) 基础讲解+注册教程

【ChatGPT】前些天发现了一个巨牛的人工智能学习电子书,通俗易懂,风趣幽默,无广告,忍不住分享一下给大家。(点击查看学习资料) 最近有很多伙计在在问如何使用AI作图,MJ当属第一了,不…

ControlNet精准控制AI绘画教程

ControlNet精准控制AI绘画教程 AI绘画相信大家都已经不陌生了,虽然AI绘画出图很方便,但是要让其生成一副自己满意的图,还是需要费一番心思,有时候多次调整关键词就是生成不了自己想要的画面,这些一直以来都是AI绘画的痛…

python爬虫教程实战

写了那么久的博客,终于有了属于自己的小窝,欢迎各位访问我的个人网站,未来我们一起交流进步。 ChatGPT国内镜像站https://gpt.huntersking.top 八方云已经跑路,但其他的如果有类似的bug也一样。 成品 失效 下载链接 https://wwh…

让 ChatGPT 快速实现 To-Do List Web 应用

体验 ChatGPT 有段时间了,关于它的代码能力,只是比较粗浅地使用过。比如让它解一道算法题、解释一段代码的含义等。但它的潜力不止于此,它可以做更多的事情。比如,我们可以让它实现一个 To-Do List Web 应用,像下图这样…

chrome设置黑暗模式的4种方法

chrome设置黑暗模式的4种方法 前言方式一:自带皮肤暗黑具体操作效果 方式二:自带内容暗黑具体操作效果 方式三:安装chrome主题方式四:使用插件效果 额外:开发工具的暗黑设置结语 前言 对于大部分chrome用户来说&#…

实现暗黑模式

一、先在全局css中创建.dark-theme和.light-theme类,在分别在该类中创建相同的var变量 二、在组件刷新时为html添加类,再添加一个按钮可以进行模式切换 效果如下 暗黑模式如下 最后!!!此案例通过vue写的&#xff0…

为 TDesignBlazor 添加暗黑模式

本文将讲述我为 TDesignBlazor 开源项目提交 PR 的经历,主要介绍暗黑模式功能的实现以及之后如何在项目中使用。我将会分享我在实现这一功能时遇到的问题,以及我是如何解决这些问题的。我希望通过我的经历能够鼓励更多的人参与开源项目,为 TD…

暗黑模式(黑暗模式,深色模式)适配

暗黑模式(黑暗模式,深色模式)适配 全局关闭 打开Info.plist 项目配置文件,添加UIUserInterfaceStyle字段,key类型为String, 其value值设置为 Light模式。 部分关闭 iOS13之后UIViewController与UIView …

太强了,英伟达面对ChatGPT还有这一招...

大家好,我是 Jack。 今年可谓是 AI 元年,ChatGPT、AIGC、VITS 都火了一波。 我也先后发布了这几期视频: 这是一个大模型的时代,AI 能在文本、图像、音频等领域大放异彩,得益于大模型。而想要预训练大模型&#xff0c…

让GPT-3、ChatGPT、GPT-4一起做脑筋急转弯,GPT-4一骑绝尘!

作者 | python 一个烙饼煎一面一分钟,两个烙饼煎两面几分钟? 让你来回答,是不是一不小心就掉到沟里了?如果让大语言模型来做这种脑筋急转弯会怎样呢?研究发现,模型越大,回答就越可能掉到沟里&a…

用ChatGPT学习多传感器融合中的基础知识

该列表会不定期更新… 文章目录 困惑与解答:问题:匈牙利算法中的增广矩阵路径是什么意思解答:个人理解概述: 问题:扩展卡尔曼滤波是非线性方程求解问题,是将非线性方程拟合为线性方程吗解答:个…

Edge 开发者日 · New Bing New Edge

在开始应用开发前,我们往往会面临着“Web 应用 or 原生应用”的选择。在通过 Microsoft Edge 进行 Web 开发时,WebView2 能够带给开发者兼具 Web 和本机平台的混合应用开发体验;而与此同时,随着 PWA(Progressive Web A…

「图文教程」Windows系统Microsoft Edge浏览器设置搜索框搜索引擎为百度

相信使用过Microsoft Edge浏览器的朋友都有一个困扰,就是自带的Microsoft Edge浏览器不好用,但是想更换搜索引擎又不知道从哪里更换,下面小编就给大家带来Microsoft Edge浏览器更换搜索引擎为百度的教程。 1、打开Microsoft Edge浏览器&…

Microsoft Edge有哪些你不知道却超级好用的插件?(Microsoft Edge功能测评)

🎈个人主页:🎈 :✨✨✨初阶牛✨✨✨ 🐻推荐专栏: 🍔🍟🌯C语言进阶 🔑个人信条: 🌵知行合一 🍉本篇简介:>:对Edge浏览器的简单测评,分享一些自己在使用好用的插件. 目录…

微软 Edge 配置百科 1.6 新版发布 让你可以随心所欲的配置、得心应手的使用Edge的小工具

EdgeTools 更新日志: 2023.05.27 EdgeTools 1.6 发布: 1、支持 113.0.1774.50 版Edge的新增配置。 2、部分功能和性能的优化。 2023.03.28 EdgeTools 1.5 发布: 1、新增文件菜单,支持导入、导出配置文件和…

微软 Edge 被指将用户访问的站点发送给Bing

聚焦源代码安全,网罗国内外最新资讯! 编译:代码卫士 微软 Edge 浏览器似乎将用户访问的 URL 发送至 Bing API 网站。 上周,Reddit 用户率先发现 Edge 存在这些隐私问题,注意到最新的 Edge 版本将请求发送至 bingapis.c…

一款既有颜值又有实力的Edge浏览器插件——WeTab

目录 前言 推荐理由: 1.方便快捷的ChatGPT 2.适合摸鱼的小游戏 3.网站的快速访问 4.精美的壁纸切换 插件安装方法 总结 前言 我们知道,许多浏览器都可以安装扩展插件,有些插件的功能是非常不错的。下面我想推荐一款Edge浏览器的插件&…

屏蔽Edge浏览器的新闻推送,高效办公!

一、问题描述 每次打开浏览器想查询一些专业相关的知识时,总会被浏览器主页的一些“没营养的”新闻所牵绊,如下图所示。虽然我对这些新闻根本不感兴趣,但也做不到看了毫无感觉。因此,屏蔽这些新闻真的很有必要。我们需要获取什么…

拦截Edge的“根据热门内容向您推荐”

相信不少小伙伴因为广告、界面清洁度等原因,一直都使用谷歌浏览器Chrome 其实近年来,微软自带的浏览器Edge更新之后,使用体验感也非常不错。集锦、垂直标签页等辅助功能,登录微软账户随时可同步书签、设置,需要同时登录…

chatgpt赋能python:Python主网站的SEO优化

Python主网站的SEO优化 作为一名有10年Python编程经验的工程师,我一直非常关注Python官方网站的SEO优化,因为官方网站对于传播Python语言的影响至关重要。在这篇文章中,我将介绍一些Python主网站的SEO优化策略,并总结一些结论&am…