物联网应用案例:镇海智慧水务

449be1d504823ca65bea47af53edad6c.jpeg

作者 | 余章琪

责编 | 薄荷茶

微信公众号ID | csdn_iot

1

项目简介

宁波市镇海区智慧水务项目建设内容包括水环境治理设施监测、水务信息资源中心、水务综合监管平台(监测监控、治水监督、应急指挥、综合服务、决策支撑及集成开发)、水务专题应用(包括防汛、环保、排水)等,监管体系如图1所示。

6bb273a3c2a93d35937e35c633e21325.jpeg

图1 智慧水务监管体系

2

技术架构

图2展示了基于物联网体系结构而设计的镇海水务分层架构模型。按照物联网体系结构,我们将镇海智慧水务架构抽象为4个层:感知层、网络层、平台层、应用层。

93625ee6cae5203510d9da09035f8ee9.jpeg

图2 镇海水务分层架构模型

3

关键设计决策

任何架构和设计决策,最终都是解决业务问题的重大关键。镇海智慧水务开发和实施过程中面临着如下的技术挑战:

  1. “物”的多样性和差异性。镇海水务的监测对象包括:闸门、泵站、排海管网、水质检测站等。监测指标涉及PH值、COD、流量等。监测数据来自于不同的工业传感器、自动控制系统、智能终端设备、电子标签,它们运行于不同类型的操作系统或者微控制器上,使用不同的数据协议,如Modbus、DNP3、DL101、OPC等。

  2. “物”所处的网络环境多样性。物联网设备通过不同的方式接入到骨干传输网络中,比如RFID、WIFI、蓝牙等。

  3. 物联网应用层协议的多样性。在镇海水务项目中,我们采用的协议有MQTT、HTTP(REST)、WebSocket。

  4. 数据采集、传输和处理的实时性。在应急响应、实时监控方面,对数据以及系统响应的实时性有较高的要求。

  5. 海量数据的实时处理和存储、分析。 

除此之外,各单位都存在一些已建或在建的系统,数据孤岛现象严重,难以互连互通。

c0406492e390fefdb176b8b4fa992397.jpeg

图3 智慧水务SCADA系统的逻辑架构

那么,我们是如何解决和应对这诸多挑战的呢?接下来将重点介绍4项关键技术。它们是:

  1. 物联网网关——解决众多传感设备的数据采集和处理问题;

  2. 海量数据存储——解决物联网传感器产生的海量数据存储问题;

  3. 实时通信——解决数据通信的实时性问题,从“感知层”到“展示层”的上行通信,以及从“展示层”到“感知层”的下行通信;

  4. 数据交换与共享——解决不同单位和系统间数据交换与共享的问题。

物联网网关

镇海智慧水务项目的各类监测设备主要是工业自动化系统的传感器,如水质PH值、COD等的检测、流量计、水位计等。Modbus协议是水务水利工业传感协议的事实标准,此外,OPC协议应用也较为广泛。虽然是标准协议,但由于各单位已经存在一些原有的自动化监控系统,设备来自不同的厂家,系统也不是一个开发商提供的,所以对Modbus协议的实现方式不完全一致,增加了系统开发和集成的难度和工作量。

针对此类共性需求,项目中我们自主研发了物联网网关产品。物联网网关通俗的讲就是一个通用的数据采集和通信网关。它内置了对主流数据协议的支持,并且提供自定义插件来实现动态扩展,即对于非内置支持的协议,可支持协议的二次定制开发。开发人员只需要继承DataSource基类,实现特定的override方法,即可迅速完成一个新“数据源”程序的开发。然后将动态链接库(DLL)通过管理工具发布到物联网网关服务器,即可实现与特定类型设备和传感器的通信,如图4。

79250f6b7450a16d3f80f76a6179a0b3.jpeg

图4 物联网网关工作原理示意图

海量数据存储

镇海智慧水务项目一期接入了诸多的监测厂、站、节点等,不同类型监测指标的采集频率也不完全相同。根据统计,所有节点一天上报的监测数据约为4.32亿条,1年下来就是1500亿条记录,约7.2TB。

基于以上的容量规划,经过技术调研和可行性验证,我们最终选择采用MongoDB数据库作为实时数据的持久化存储。

MongoDB实时监测数据集合的Schema如下:

Point_data_real {

Code string,        // 测点代码

Value double,   // 监测值

Time date,  // 采集时间

Owner {     // 数据来源对象

Category string,

Site string

},

Attributes {    // 扩展属性

Quality bool,

Valid bool,

Event_num int

}

}

经过测试分析,我们总结了MongoDB数据库性能最佳实践,当然,这是基于我们自己的测试数据得出的,如表1所示仅供参考。

32255cec458ae3880df91e90c44ec4ba.jpeg

表1 MongoDB数据库性能最佳实践

这里值得注意的是,我们的性能测试和评估是在单台服务器的情况下完成的,因此,在实际生产部署环境下,建议采用复制集加分片集群的模式。

图5说明如何在最佳性能和最大数据可靠性之间取得平衡。

f31896d7a66ba64857a88a8917d2234e.jpeg

图5 最佳性能和最大数据可靠性的平衡

实时通信

物联网应用从传感设备的数据采集、处理到存储、传输、分析、展示,中间要经过很多的环节,除了程序运行处理的时间开销,还应考虑网络传输的延时,即用户对系统实时性的要求。除此之外,人机交互的模式对系统可伸缩性的影响也不容忽视——当新的监测数据上报到服务器时,是主动推送至监控系统的用户界面,还是让用户发送新的数据请求然后将结果返回给用户?推送动作的触发是采用数据库轮询模式,还是基于事件通知?这些都会影响到最终的技术选型。

表2是对相关技术的简单对比。

2080db2dae4493bee040063e86290080.jpeg

表2 通信技术对比

最终,我们选择了HTML5 WebSocket作为从物联网网关到监控系统用户界面的实时数据通信机制。主要评估指标包括:实时性、系统可伸缩性、技术复杂度、浏览器兼容性、标准性与开放性、用户体验。

数据交换与共享

如前文所述,由于政府部门和单位间的“数据孤岛”现象严重而导致难以实现系统间互连互通,因此,迫切需要一种数据交换与共享的解决方案。经过市场调研之后,我们最终自己开发了一个轻量级的数据交换与共享服务器程序,来满足镇海智慧水务的数据交换需求,如图6。

f3935aea3b2c60c29d37e620d899f32a.jpeg

图6 数据交换与共享服务工作原理

数据提供者程序和数据接受者程序可以分别部署在不同的网段,不同的服务器上,只要两台服务器之间存在可以连通的网络即可。数据发送方进程和数据接收方进程分别具有本方数据库的访问权限,而无需知道对方数据库。

数据交换配置信息,用来描述源数据库和目标数据库的的标识、表及字段映射关系。 

一个数据提供者可以向多个接收者发送数据,一个数据接收者也可以从多个提供者接收数据。

说到这里,有人可能会问:为什么不直接采用数据库层面的DTS来实现数据复制呢?简单的说,DTS也能在一定场景下适用,但只能视具体项目情况而定,而且必须2个数据库间能直接互连,而这在镇海智慧水务项目中基本是不可行的。

4

后记

最后跟大家分享几点心得:

多了解项目相关的知识。像实施镇海智慧水务项目,需要了解工业传感器、PLC编程、嵌入式系统和编程、网络通信、服务器端开发、大数据相关技术、GIS、数据可视化分析和展示等知识。

架构设计需谨慎。在技术落地和项目实施的过程中,要不断优化和演进架构设计,并且防止设计的退化。

对物联网应用项目的实施来说,很大一部分工作量在于系统集成和设备联调。使用实时数据模拟程序、可视化数据分析等工具能够将整个项目进行合理划分和分解,也有利于并行开发,加快进度,便于系统集成。

3d757c4ca69aab1a629e115b5ba47bcf.png

作者:余章琪,就职于飞利信科技股份有限公司,担任物联网平台架构师,拥有18年编程经验。2014年至2016年参与了镇海智慧水务项目从解决方案设计到最终实施完成的全过程。目前致力于物联网云平台的规划与设计。 

责编:贾维娣(jiawd@csdn.net),转载请微信联系 jiaweidi1214

47f2326f77db5ae78bd589a5468b8339.jpeg

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/71537.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Hyperchain超块链创始人史兴国解读“A股Web3.0概念股涨停潮”

最近A股上市公司Web3.0概念股逆势大涨,成为市场新热点。11月10日,Web3.0概念股掀起涨停潮,其中天地在线获10天8板,榕基软件4连板。飞利信、中文在线、二六三、科蓝软件、东港股份等多家上市公司回应已布局相关业务。Hyperchain超块…

I2C协议

关于I2C I2C最早是飞利浦公司在1982年开发的一种双向二线制串行总线协议。它只需要两根信号线就能完成信息交换,发展至今已经有100kHz、400kHz、1MHz、3.4MHz、5MHz五种通信速率。最终通信速率取决于外设而非主机芯片。 I2C信号线 SCL时钟线 SCL时钟线决定了通信…

一周信创舆情观察(2021.12.27~2022.1.3)

一、一周舆情要点 2021年12月24日,《中华人民共和国科学技术进步法》修订通过,其中第九十一条明确:对境内自然人、法人和非法人组织的科技创新产品、服务,在功能、质量等指标能够满足政府采购需求的条件下,政府采购应当购买;首次投放市场的,政府采购应当率先购买,不得…

四大行、三大运营商在列,或有15家公司参与央行数字货币

“四大行、三大运营商、华为、腾讯是当前已基本明晰的央行数字货币建构方。” 本文来源:互链脉搏;作者:金车走;该内容旨在传递更多市场信息,不构成任何投资建议。 法定数字货币一直属于央行内部的保密项目,…

《程序员》6月精彩内容:物联网开发技术栈

作为互联网技术的进化,物联网开发并非孤立的技术栈,而是向上承接了互联网,向下统领了嵌入式硬件开发的一个承上启下的全栈开发技术。 作为正在快速进化中的新互联网技术,我们并不能预测物联网技术栈最终的样子:统一的…

Python实战系列-爬取网页内容

Python实战-爬取网页内容 from selenium import webdriver browser webdriver.Chrome() browser.get(http://finance.sina.com.cn/realstock/company/sh000001/nc.shtml) data browser.page_sourceprint(data)browser.quit() # 退出模拟浏览器打印内容&#xff1a; <h…

国内MCU厂商也开始卷了

关注星标公众号&#xff0c;不错过精彩内容 转自 | 痞子衡嵌入式 传统 ARM 内核 MCU 受到高昂授权费的影响&#xff0c;很多 MCU 厂商开始转型或入局 RISC-V内核MCU。 今天就来给大家分享一下由痞子衡整理的国内多家RISC-V内核MCU厂商。 注&#xff1a;欢迎大家留言告诉新晋RIS…

根据公开信息 已有15家公司参与央行数字货币

文丨互链脉搏金走车 未经授权&#xff0c;不得转载! 法定数字货币一直属于央行内部的保密项目&#xff0c;其参与方的身份更是神秘。而12月24日&#xff0c;几则消息的公布&#xff0c;使得央行数字货币参与方的轮廓愈加清晰。 当天&#xff0c;腾讯内部发布了《关于成立数字货…

飞利浦43php5292,独家爆料飞利浦43PFF5292T3质量好吗?怎么样呢?亲测解析内情

其实这个飞利浦43PFF5292T3的确是非常OK的&#xff0c;优雅的外观设计风格&#xff0c;做工极其考究&#xff0c;很多朋友想了解这飞利浦43PFF5292T3怎么样&#xff1f;值得入手吗&#xff1f;说真心话这飞利浦43PFF5292T3已经使用过一段时间个人感觉可以的哟&#xff0c;我自己…

云和恩墨助力大数据与安全技术沙龙全国行 (北京站)活动

2018年2月2日&#xff0c;由数据安全国产创新联盟举办的“大数据与安全技术沙龙”在北京海淀区举行&#xff0c;本次沙龙主题为“数聚护航”&#xff0c;从技术实践的角度探讨大数据时代下的信息安全问题&#xff0c;吸引了大量大数据领域技术从业者及爱好者的参与。 本次活动邀…

pjsip 会议桥多点会议呼叫_远程会议的新方向 | 飞利信多点会议系统云端会议厅...

作者 | 飞利信产品研发中心 地址 | 北京市海淀区塔院志新村2号飞利信大厦 21世纪是信息产业及科技飞速发展的世纪&#xff0c;随着移动互联网的发展&#xff0c;用户对会议产品体验要求越来越高&#xff0c;用户早已不满足于仅仅能看到实时的视频图像了&#xff0c;对高清晰、高…

网达Jenkins部署

1. git信息 1.1先到git上切换到部署的环境 1.2复制最后一次提交的代码编号 1.3点击tags标签。 2. 新建tag 2.1点击new tag 3.tag 信息填写 3.1tag name 一般填写部署的序号&#xff0c;或者时按日期 3.2Create from 填写你刚才复制的最后一次提交的代码 4.jekins 4.1…

python爬虫爬取百度文库txt以及ppt资料

使用bs4,requests,re库完成对百度文库部分格式文件的爬取 案例中的目标文档地址: https://wenku.baidu.com/view/cbb4af8b783e0912a3162a89.html?fromsearch 案例中的个ppt地址: https://wenku.baidu.com/view/f74952272bf90242a8956bec0975f46527d3a703.html?fromsearch效果…

独家! 19个省市,共62个5G消息相关招投标项目汇总!

5G消息&#xff0c;自2020年4月三大运营商共同发布《5G消息白皮书》以来&#xff0c;便成为5G时代话题中心。 经公开信息得知&#xff0c;涉及5G消息的相关招投标信息共计62个&#xff08;如有遗漏&#xff0c;欢迎留言补充&#xff09;。 为方便大家“一览无余”&#xff0c;小…

当网页数据到达用户计算机,当网页数据到达用户计算机时,数据进行转换步骤是()...

摘要&#xff1a; 当网达用然后编制成表&#xff0c;据到进行检查表中般都的回答一是(&#xff0c;行检按此表进查&#xff0c;项目检查确定&#xff0c;险因列出的危所有素&#xff0c;若干个单元或层次分成。行作险性评价境危用L业环法进时&#xff0c;户计据的因素所依是(。…

任务01-05表格表单的知识点的整理

一、表格的使用 1.表格&#xff08;table&#xff09;&#xff0c;表头&#xff08;thead&#xff09;:行&#xff08;tr&#xff09;&#xff0c;列&#xff08;th&#xff09;&#xff0c;有加粗且居中&#xff0c;表身&#xff08;tody&#xff09;&#xff1a;行&#xff0…

网络设备中的集线器(Hub)是什么?—Vecloud微云

集线器的英文是Hub,这个词的意思是中心&#xff0c;也就是说&#xff0c;集线器本身是作为网络的中心而存在的一种网络设备。通常按照标准的ISO(国际标准化组织)制定OSI(Open System Interconnection)(开放系统网络互联)的七层模型里的物理层的设备。 集线器有什么作用&#xf…

上海软件公司排行

公司名 地理位置 网址 红黑TOP100 公司列表 网友评论 信息反馈 地图查看 全国公司评论 IP地址速查 分类排行: 全国排行榜上海市北京市广东省江苏省浙江省天津市河北省山西省内蒙古自治区辽宁省吉林省黑龙江省安徽省福建省江西省山东省河南省湖北省湖南省广西壮族自治区海南省…

转发:上海软件公司排行 (估计是2008年的吧)

原文&#xff1a;http://www.cnblogs.com/Ihaveadream/archive/2008/04/21/1164302.html 红榜Top100 OrderCompany NamePointChange172.5--2SAP(中国)研究院 - SAP Labs70.8--3SAP Active Global Support - SAP AGS67.9--4飞思卡尔半导体&#xff08;上海&#xff09;67.1--5赛…

Crust 的2020年终总结 :测试网达1000节点,基本完成协议开发

Crust 提供了 Web3 生态系统的去中心化存储网络&#xff0c;支持包括 IPFS 在内的多种存储层协议&#xff0c;并对应用层提供接口。Crust 的技术栈还能够支持去中心化计算层。Crust 旨在构建一个重视数据隐私和所有权的分布式云生态系统。 尽管 2020 是史无前例艰难的一年&…