有 AI,无障碍,AIoT 设备为视障人群提供便利

据世界卫生组织统计,全球共 22 亿人视力受损,包含 2.85 亿视障人群和 3,900 万全盲人群。而且,这一数字将随老龄化加剧不断增加。
虽然视障人群面临着诸多不便,但是针对视障人群的辅助设备却存在成本高、维护困难、操作复杂等问题,很难满足他们的生活需求。
为此,广东技术师范大学和武汉科技大学的研究者基于智慧物联网共同开发了一套视障辅助设备,通过 AI 算法和传感器为视障人群的生活带来便利。

作者 | 雪菜

编辑 | 三羊、铁塔

2019 年,世界卫生组织 (WHO) 发布了第一份「世界视力报告」。报告称,全球至少有 22 亿视力受损者,其中 2.85 亿人为视障人群,3,900 万人彻底失明。受全球人口增长和人口老龄化的影响,视障人群的数量在 2040 年可能会增长 3 倍。

![](https://img-blog.csdnimg.cn/img_convert/df37da58b69793dffed98258850eb7e9.jpeg

图 1:全球视力受损者估计人数

视障者无法通过视觉系统接收外界的信息,在日常生活中面临着诸多不便。他们很难躲避附近的障碍物,也无法从书籍或是屏幕中获取信息。

然而,对视障人群进行长期健康监护成本很高,而现有的视障人群辅助设备价格昂贵、比较笨重且交互性差,也很难满足他们的日常需求。

为解决上述问题,广东技术师范大学和武汉科技大学的研究者基于智慧物联网 (AIoT, Artificial Intelligence of Things) 开发了一套视障辅助设备

这套设备主要包括智能眼镜和智能盲杖,总造价约 480 元。它可以通过多种传感器监测使用者和环境的状态,帮助使用者与环境进行交互并在危险状况下发出警报。这一成果已发表于「Electronics」。

在这里插入图片描述

这一成果已发表于 「Electronics」

论文链接:

https://www.mdpi.com/2079-9292/12/18/3760

设备设计

AIoT 架构:感知与交互

视障辅助设备的 AIoT 架构包括 3 层:

1、感知层,即收集外部数据的传感器及模组;

2、网格层,使用窄带物联网 (NB-IoT) 进行数据连接,并使用 HTTP 和 MQTT 协议进行数据传输;

3、应用层,主要通过 APP 和蓝牙音频设备与用户进行交互。

在这里插入图片描述

图 2:AIoT 的架构示意图

智能眼镜YOLO v5 + OCR

视障辅助设备应兼具便利和可靠性,以满足视障人群的日常需要。为此,研究人员通过双目相机收集图像,随后通过轻量级网格模型 YOLO v5 对物体及其距离进行分析,或是通过光学字符识别 (OCR) 阅读文字。

在这里插入图片描述

图 3:智能眼镜的结构示意图

物体识别过程中,YOLO v5 算法会将图片划分为网格,随后预测每个网格单元的边界框,并在创建边界框的同时识别出图片中的不同物体

YOLO v5 网格主要分为 4 层,包括:

1、input:用于对输入图像进行初始定义;

2、backbone:利用卷积神经网络 (CNN) 提取图像特征;

3、neck:整合图像特征,并连接 backbone 层和 output 层;

4、output:利用边界框输入对图像中物体的预测。

在这里插入图片描述

图 4:本研究中 YOLO v5 算法架构

除图像识别外,YOLO v5 算法还能通过对比双目相机的图像计算用户与障碍物之间的距离。

在这里插入图片描述

图 5:YOLO v5 计算障碍物距离的方法

在这里插入图片描述

图 6:YOLO v5 计算障碍物距离的公式

公式中,B 为相机左右镜头间距,f 为相机焦距,d 为对应左右点的视差。

智能眼镜的 OCR 功能通过调用百度 OCR 的 API 实现。OCR 过程包括图像获取、降噪、二值化 (Binarizatoin)、文字区域提取、字符分割、字符识别、优化及音频输出。

在这里插入图片描述

图 7:OCR过程示意图

智能盲杖健康监测与环境感知

智能盲杖的主要功能之一是健康监测,因此在盲杖上集成了心率、体温等传感器和数据收集模组。为实现非接触测量,心率传感器使用光体积变化描记图法 (PPG, Photoplethysmography) 进行监测,体温传感器使用红外辐射进行监测。

在这里插入图片描述

图 8:智能盲杖的结构示意图

此外,为增强视障者对环境的感知,盲杖上还集成了温度、湿度和姿势传感器。姿势传感器由加速度计和陀螺仪组成,通过计算使用者的组合加速度 (ACLR),监测其是否有跌倒的风险。

如果使用者距离障碍物过近,或是姿势传感器察觉到使用者可能会跌倒,盲杖将通过震动和蜂鸣器发出警报。

在这里插入图片描述

图 9:用于跌倒监测的 3 维坐标系

实验结果

图像识别物体与距离

研究人员在常见室内外环境中对设备的物体识别能力进行了 20 次测试。结果显示,室内外环境下 YOLO v5 算法均能比较准确地识别出环境中的物体,并对物体与使用者之间的距离作出判断。

在这里插入图片描述

图 10:室内环境下的测试结果

在这里插入图片描述

图 11:室外环境下的测试结果

然而,随着图像中物体数量增加,错误率会随之提高,尤其是对于具有相似特征的物体,比如电视与显示器,或是自行车与摩托车等。最终,智能眼镜的识别准确率为 92.16%。

即使 YOLO v5 算法认错了物体,它依然能对距离作出判断。与商用的 APP 相比,YOLO v5 算法判断距离的偏离率在 0.28-6.32% 之间,随着距离的增加而增加。

基于这一判断,当使用者与物体之间的距离小于 0.7 m 时,智能盲杖会发出警报,同时接管微控制器以避开障碍物。

OCR正确率接近 100%

同时,研究人员用 10 段文本测试了智能眼镜的 OCR 性能。测试状态下,智能眼镜的 OCR 正确率为 100%。虽然阅读过程中头部移动会导致些许识别错误,但整体 OCR 正确率仍有 99.91%。

在这里插入图片描述

图 12:智能眼镜的 OCR 结果

健康监测:心率与体温

心率监测模组通过 PPG 对用户的心率进行实时记录。测试中,智能盲杖分别记录了不同年龄的被试在静止和行走状态下的心率,结果与商用手环的偏离率在 0.72-3.52% 之间

在这里插入图片描述

表 1:不同实验组的心率监测结果

体温测试中,与医用的前额温度计相比,测试模组的最大偏离率为 0.19% 。这一结果说明即使在智能盲杖上,红外体温传感器也能够准确监测使用者体温,不会受到环境的干扰。
在这里插入图片描述

表 2:不同实验组的体温监测结果

姿势监测行走、上楼与下楼

智能盲杖可以通过加速度计和陀螺仪对使用者的姿势进行监测,并在可能跌倒时发出警报。实验测试了使用者在行走、上楼与下楼时盲杖的监测结果, 并将结果分为 3 类:

1、正确:盲杖监测的结果和使用者状态一致;

2、不正确:盲杖监测到了跌倒风险,但使用者仍为正常状态;

3、无响应:盲杖显示正常状态,但使用者有跌倒风险。

在这里插入图片描述

表 3:不同实验条件下的跌倒监测准确率

在不同场景下,智能盲杖的平均监测正确率为 87.33% ,说明这一设备可以在多数情况下对使用者的状态作出正确判断。

万物互联APP + 蓝牙

最终,所有数据会传输到手机上,并通过 APP 整合。同时,蓝牙音频会将这些数据播报给使用者,帮助他们了解自己的健康状态和外部环境。

在这里插入图片描述

图 13:集成的 APP 界面

关注普遍的眼健康

虽然无障碍设施正在多个场景不断普及,但这些设备更多针对行动不便的人群。对于身处黑暗的视障人群而言,他们需要更多的无障碍设施。

但由于 群体小、设施成本高,这些设施很难普及。盲道、盲文等便利视障人群的设施,则会因缺乏维护和管理,无法发挥效用。

然而,已有相当多的个人和企业参与到了帮助视障人群的行动中。目前绝大多数主流手机品牌已经有了专为视障人群设计的操作方式。

在北京、昆明等城市,开设了专为视障人群讲述电影的「心目影院」,帮助视障人群观赏院线大片。

在「我的世界」、「炉石传说」等游戏社区中,也有热心玩家开发了无障碍的模组 (Mod) 帮助改善视障人群的游戏体验。

在这里插入图片描述

图 14:「心目影院」中的盲人观众

2023 年 6 月 6 日是第 28 个全国爱眼日,主题为「关注普遍的眼健康」。今天是第 23 个世界视力日,希望大家能够关注视力健康,同时向身边的视障人群贡献一臂之力,与 AI 携手构建无障碍世界。

参考链接:

[1]https://www.who.int/zh/news/item/08-10-2019-who-launches-first-world-report-on-vision

[2]https://bjo.bmj.com/content/96/5/614.short

[3]https://www.bilibili.com/video/BV1fs4y1K7Q7

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/157342.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

给你一个项目,你将如何开展性能测试工作?

一、性能三连问 1、何时进行性能测试? 性能测试的工作是基于系统功能已经完备或者已经趋于完备之上的,在功能还不够完备的情况下没有多大的意义。因为后期功能完善上会对系统的性能有影响,过早进入性能测试会出现测试结果不准确、浪费测试资…

MQTT C库下载

方法一、从Eclipse paho下载 https://eclipse.dev/paho/index.php?pagedownloads.php 方法二,从MQTT官网下载 https://mqtt.org/software/ https://os.mbed.com/teams/mqtt/code/MQTTPacket/ MQTTPacket源码和paho下载的差不多 方法三、从Keil5 包管理工具…

centos7安装db2 version11.1

centos7安装DB2 操作系统 linux centos7 DB2版本 11.1 1、取包 IBM MRS Tool 将安装包放在 /home/software 下面 mkdir -p /home/software cd /home/software wget https://iwm.dhe.ibm.com/sdfdl/v2/regs2/db2pmopn/Express-C/DB2ExpressC11/Xa.2/Xb.aA_60_-i7wWKFMFpbW1xl1…

【数据结构】什么是线性表?

🦄个人主页:修修修也 🎏所属专栏:数据结构 ⚙️操作环境:Visual Studio 2022 目录 线性表的定义 生活中常见的线性表 结语 线性表的定义 线性结构的特点: 在数据元素的非空有限集中: 存在唯一的一个被称作"第一个"的数据元素;存在唯一的一个…

10个打工人必备AI神器,升职加薪靠AI

HI,同学们,我是赤辰,本期是第18篇AI工具类教程,文章底部准备了粉丝福利,看完后可领取!1. Runway(文字转视频AI工具) 只需要一句提示词就能精确生成你所想象的视频场景,还…

nnunetv2训练报错 ValueError: mmap length is greater than file size

目录 报错解决办法 报错 笔者在使用 nnunetv2 进行 KiTS19肾脏肿瘤分割实验的训练步骤中 使用 2d 和3d_lowres 训练都没有问题 nnUNetv2_train 40 2d 0nnUNetv2_train 40 3d_lowres 0但是使用 3d_cascade_fullres 和 3d_fullres 训练 nnUNetv2_train 40 3d_cascade_fullres …

Prometheus:优秀和强大的监控报警工具

文章目录 概述Prometheus的底层技术和原理数据模型数据采集数据存储查询语言数据可视化 Prometheus的部署Prometheus的使用配置数据采集目标查询监控数据设置警报规则 查看数据可视化总结 概述 Prometheus是一款开源的监控和警报工具,用于收集和存储系统和应用程序…

Xcode 14.3.1build 报错整理

1、Command PhaseScriptExecution failed with a nonzero exit code 2、In /Users/XX/XX/XX/fayuan-mediator-app-rn/ios/Pods/CocoaLibEvent/lib/libevent.a(buffer.o), building for iOS Simulator, but linking in object file built for iOS, file /Users/XX/XX/XX/fayuan…

软件设计之抽象工厂模式

抽象工厂模式指把一个产品变成一个接口,它的子产品作为接口的实现,所以还需要一个总抽象工厂和它的分抽象工厂。 下面我们用一个案例去说明抽象工厂模式。 在class中可以选择super类和medium类,即选择一个产品的子类。在type中可以选择产品的…

OJ项目——统一数据格式返回,我是如何处理的?

目录 前言 OJ项目中是如何处理的 1、准备一个类,作为统一的数据返回格式 2、准备一个类,实现ResponseBodyAdvice接口 3、我们如何写返回值更好 4、进一步优化返回值 小结 前言 关于SpringBoot的同一功能处理,本博主在这篇博客已经有介…

竞赛 深度学习 机器视觉 车位识别车道线检测 - python opencv

0 前言 🔥 优质竞赛项目系列,今天要分享的是 🚩 深度学习 机器视觉 车位识别车道线检测 该项目较为新颖,适合作为竞赛课题方向,学长非常推荐! 🥇学长这里给一个题目综合评分(每项满分5分) …

学习编程-先改变心态

编程失败的天才 林一和我很久以前就认识了——我从五年级就认识他了。他是班上最聪明的孩子。如果每个人在家庭作业或考试准备方面需要帮助,他们都会去那里。 有趣的是,林一不是那种连续学习几个小时的孩子。 他的聪明才智似乎与生俱来,几乎毫…

从一部iPhone手机看芯片的分类

目录 问题 iPhone X 手机处理器:A11 iPhone X 的两大存储芯片 数字 IC CPU:计算设备的运算核心和控制核心 GPU:图形处理器 ASIC:为解决特定应用问题而定制设计的集成电路 存储芯片:DRAM 和 NAND Flash iPhone…

C# Thread.Sleep(0)有什么用?

一、理论分析 回答这个要先从线程时间精度(时间片)开始说起。很多参考书说,默认情况下,时间片为15ms 左右,但是这是已经过时的知识。在老的 Windows 操作系统里,应用程序模式时时间片 15ms 左右&#xff0…

Node.js 新特性 SEA/单文件可执行应用尝鲜

#1 关于 SEA 单文件可执行应用(SEA,Singe Executable Applications),是 Node.js 新版本的特性,最初在 v19.7.0、v18.16.0 加入,并在 v20.x 得到扩展。而上个月发布的全家桶 Bun.js,就自带了 SEA…

3D WEB轻量化引擎HOOPS:促进CAD软件的创新与协作

CAD软件一直以来都在现代工程、建筑、制造和设计领域发挥着至关重要的作用。在数字时代,CAD软件的开发者不断追求提高软件性能、增加功能和改善用户体验,在这一努力中,HOOPS技术(高度优化的面向对象并行软件)滑块露头角…

上海-华为全联接大会|竹云受邀参加华为云ROMAConnect行业生态联盟成立联合发布会

2023年9月22日,在上海举办的华为全联接大会上,竹云作为华为云全方位合作伙伴代表,受邀参加华为云ROMAConnect行业生态联盟成立联合发布会。华为云PaaS服务产品部副部长张甲磊以及联盟主要成员企业出席发布仪式,共同见证华为云ROMA…

SpringBoot项目入门: IDEA 创建SpringBoot项目

方式1:在线创建项目 https://start.spring.io/ 环境准备 (1)JDK 环境必须是 1.8 及以上,传送门:jdk1.8.191 下载(2)后面要使用到 Maven 管理工具 3.2.5 及以上版本(3)开发工具建议…

Go If流程控制与快乐路径原则

Go if流程控制与快乐路径原则 文章目录 Go if流程控制与快乐路径原则一、流程控制基本介绍二、if 语句2.1 if 语句介绍2.2 单分支结构的 if 语句形式2.3 Go 的 if 语句的特点2.3.1 分支代码块左大括号与if同行2.3.2 条件表达式不需要括号 三、操作符3.1 逻辑操作符3.2 操作符的…

【CANN训练营】Ascend算子开发入门笔记

基础概念 什么是Ascend C Ascend C是CANN针对算子开发场景推出的编程语言,原生支持C和C标准规范,最大化匹配用户开发习惯;通过多层接口抽象、自动并行计算、孪生调试等关键技术,极大提高算子开发效率,助力AI开发者低成本完成算子…