深智城基于超融合数据库MatrixOne的一站式交通大数据平台改造

在智慧交通应用中,数据处理需求极为复杂,涉及人、车辆、道路和环境等多个方面,产生了大量异构数据。交通管理人员需要对这些数据进行实时分析和决策,以应对各种交通事件。然而,在实际生产中会发现数据处理缺陷、管理复杂度高、云原生基础设施兼容性不足等问题。

实践证明,MatrixOne 可完整、稳定支撑深智城集团的交通数字实时仿真项目,实现秒级的业务及分析实时性,并在技术、管理和成本方面均得到了显著提升,大幅降低了系统复杂性、加强了与 K8s 云基础设施的融合,运维成本降低约50%

此案例将详细剖析深圳市智慧城市科技发展集团有限公司(以下简称:深智城)基于超融合数据库MatrixOne的一站式交通大数据平台改造的过程。

客户基本情况

深智城致力于推动深圳智慧城市和数字政府建设。作为一家以科技创新为驱动的企业,深智城在“十四五”期间设定了宏伟的战略目标,即实现“百亿营收、千亿市值”。为此,深智城积极投身于深圳市智慧城市和数字政府的建设运营,并大力培育和发展战略性新兴产业。

深智城拥有一支由4300名高素质专业人才组成的技术团队,覆盖多个专业领域。其中,团队包括4名国家级人才、65名省部级高层次人才、123名国家级行业专家,以及196名拥有副高级以上职称的专业人士。这支多元化的团队为深智城在智慧城市建设和企业数字化转型中提供了坚实的技术支撑。

深智城采用了“1+N+1”的创新运作模式,即通过国企平台统筹和生态组合的方式,整合数字孪生、区块链等前沿技术,全面赋能智慧城市建设和企业数字化转型,推动城市的智能化、数字化发展。

面临的业务挑战

深智城智慧交通系统中的人、车、道路和环境每天会产生海量的异构数据,传统数据库技术在遇到异构数据的挑战时,将会面临以下问题:

  1. 无法满足海量数据的高频写入需求:传统数据库技术在处理超大规模数据时,写入性能不足,难以支撑业务需求。
  2. 实时数据分析与更新的局限:现有数据库技术无法实现实时的数据分析与更新,导致业务响应速度不够快。
  3. 数据一致性难以保障:在高并发和复杂操作的情况下,传统数据库在保持数据一致性方面存在困难,增加了数据管理的风险。
  4. 异构数据的兼容性问题:传统数据库在处理来自不同来源和格式的异构数据时,往往面临兼容性不足的问题。

此外,深智城现有的数据技术栈也存在一些局限性:

  1. 数据组件分散,管理和运维复杂:分散的数据组件增加了系统的管理和运维难度,使得高效运作变得困难。
  2. 与云原生技术的兼容性不足:现有技术与Kubernetes等云原生基础设施的兼容性较低,无法充分利用现代技术带来的优势。

因此,针对以上挑战,深智城联合MatrixOne,期望针对该系统达到以下三个目标:

  1. 简化数据架构,提升效率:通过优化和整合数据架构,减少管理复杂性,提高系统整体效率。
  2. 增强业务性能,满足数据处理需求:提升系统性能,以更好地应对海量数据的高并发处理需求。
  3. 提升异构数据处理能力:增强系统对不同类型和格式数据的兼容性,确保业务数据的全面处理与整合。

解决方案剖析

该项目主要从以下三个方面入手:

一、数据库技术增强:

  1. 数据仓库改造升级:对现有数据仓库进行优化升级,提高系统对各种业务场景的适应性,满足多样化的数据处理需求。
  2. 数据库技术集成:整合交易和分析数据库技术,提供统一的高速数据库支持,实现交易和分析场景的无缝切换。
  3. 增强数据操作支持:扩展对数据更新、删除和事务的支持,并提供在线表结构变更功能,降低系统对业务变更的适应难度。

二、支持云原生:

  1. 云原生基础设施兼容性:增强与Kubernetes (K8s)的兼容性,实现数据层与基础设施层的容器编排无缝集成,提升系统灵活性。
  2. 基础设施管理简化:简化整体基础设施的管理流程,降低管理复杂度,提高运维效率。
  3. 资源管理优化:通过统一资源管理,实现灵活调度和弹性扩缩容,增强对瞬时负载变化的响应能力,优化底层资源的利用率。

三、耦合现有的交通数字实时仿真系统:

  1. 支持模拟真实交通业务场景:提供技术支持,确保能够模拟真实的交通业务场景,满足项目需求。
  2. 处理海量数据:具备每小时处理TB级数据的能力,确保系统在高数据量下依然稳定高效运行。
  3. 实现秒级业务及分析实时性:通过MatrixOne技术,确保业务处理和数据分析的实时性,实现秒级响应。

客户收益

MatrixOne 完整支撑了深智城集团的交通数字实时仿真项目,通过模拟真实交通业务场景,MatrixOne可轻松应对每小时产生的TB级数据,并达到秒级实时性分析。此外,深智城交通系统在技术、管理和成本方面均得到了显著提升:

  1. 数据架构简化:通过将原有的5个数据组件整合至单一数据库,组件数量减少了80%,大大降低了系统复杂性,提高了管理效率。
  2. 云原生化实现:充分利用KubernetesK8s)的调度和扩展能力,实现与K8s云基础设施的无缝整合,简化了部署和管理流程,实现数据层与业务层的统一管理。
  3. 成本节约与效率提升:通过减少组件数量、简化架构和团队整合,实现了显著的成本节约和效率提升;同时,通过共享云基础设施和合并运维团队,运维成本降低了约50%

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/416654.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

负载均衡 Ribbon 与 Fegin 远程调用原理

文章目录 一、什么是负载均衡二、Ribbon 负载均衡2.1 Ribbon 使用2.2 Ribbon 实现原理 (★)2.3 Ribbon 负载均衡算法 三、Feign 远程调用3.1 Feign 简述3.2 Feign 的集成3.3 Feign 实现原理 (★) 一、什么是负载均衡 《服务治理:Nacos 注册中心》 末尾提到了负载均…

信息安全发展阶段与形式

关注这个证书的其他相关笔记:NISP 一级 —— 考证笔记合集-CSDN博客 0x01:信息安全的发展阶段 信息安全的发展阶段可以参照下面的思维导图: 0x02:我国的信息安全形式 2013 年,“棱镜门” 事件在全球持续发酵&#xf…

idea配置连接数据库的操作方法(适配不同版本)

文章目录 一、IDEA找不到database图标的解决方法二、链接数据库 一、IDEA找不到database图标的解决方法 首先很多小伙伴说我左右侧边栏都找了找不到数据库图标 解决办法: 第一种:选择 View --> Tool Windows --> Database 如果你的idea版本在这里…

ASP源码 发布站改制最终版 原来3000ok网通大站的源程序

ASP源码 新服发布站改制最终版 原来3000ok网通大站的源程序 这个是非常完整 兼容性很强的。 后台地址:http://你的域名/admin 账号:admin 密码:admin 会员发布地址:http://你的域名/gamevip 源码下载:https://downlo…

Splasthop 安全远程访问帮助企业对抗 Cobalt Strike 载荷网络攻击

一、背景 根据 FreeBuf(标题为:潜藏系统2个月未被发现,新型网络攻击瞄准中国高价值目标)和 The Hacker News(标题为:New Cyberattack Targets Chinese-Speaking Businesses with Cobalt Strike Payloads&a…

『功能项目』项目优化【21】

我们打开上一篇20主角身旁召唤/隐藏坐骑的项目, 本章要做的事情如以下几点: 1.优化资源包Resources下的层级分类 2.优化脚本包Scripts下的脚本分类 3.地形Terrain的优化(只让主角点击地面移动跳过其他石头山树等其他物体) 首…

Windows系统下的Spark环境配置

一:Spark的介绍 Apache Spark 是一个开源的分布式大数据处理引擎,它提供了一整套开发API,包括流计算和机器学习。Spark 支持批处理和流处理,其显著特点是能够在内存中进行迭代计算,从而加快数据处理速度。尽管 Spark …

Lua 代码编码规范

lua代码格式 vscode stylua 插件 配置文件stylua.toml column_width 240 line_endings “Unix” indent_type “Spaces” --使用空格 很重要,保证不同编辑器打开是一样的 indent_width 4 quote_style “AutoPreferDouble” --字符串引号样式双引号 call_paren…

0.3 学习Stm32经历过的磨难

文章目录 用库函数传参 能否按位或STM32库函数XXX_GetFlagStatus和XXX_GetITStatus的区别关于MDK导入文件后报错 Browse information of one files is not available 用库函数传参 能否按位或 答案是看清况,而不是一股脑的写!(血泪的经验啊&…

以太网通信之UDP

免责声明: 本文所提供的信息和内容仅供参考。作者对本文内容的准确性、完整性、及时性或适用性不作任何明示或暗示的保证。在任何情况下,作者不对因使用本文内容而导致的任何直接或间接损失承担责任,包括但不限于数据丢失、业务中断或其他经济…

DML、DQL、DCL的基础介绍

1.DML、DQL、DCL 1.1DML-介绍 DML英文全称Data Manipulation Language(数据操作语言),用来对数据库中表的数据记录进行增删改操作 添加数据(INSERT)修改数据(UPDATE)删除数据(DEL…

github中action作用和讲解

1,简介 GitHub Actions 是 GitHub 的一个自动化功能,它允许你在 GitHub 仓库中自动执行软件开发工作流程。你可以使用 GitHub Actions 来执行各种任务,比如: 自动测试:每当代码被推送到仓库时,自动运行测试…

SpringBoot2:RESTFUL风格接口开发及源码解读

一、RESTFUL简介 Rest风格支持(使用HTTP请求方式,动词来表示对资源的操作) 以前:/getUser 获取用户 /deleteUser 删除用户 /editUser 修改用户 /saveUser 保存用户 现在: /user GET-获取用户 DELETE-删除用户 PUT-修改…

开源vscode AI插件

1、twinny - AI Code Completion and Chat 2、Continue - Codestral, Claude, and more 3、Cody: AI Coding Assistant with Autocomplete & Ch

报错:java:程序包org.springframework.boot不存在

Date: 2024.08.31 18:01:20 author: lijianzhan 简述:关于java:程序包org.springframework.boot不存在问题如何进行修复。 操作如下: 点击左侧菜单栏选择设置,弹框内选择构建,执行,部署----->构建工具点击Maven按键&#xf…

Kafka-设计原理

ControllerLeader - PartitionRebalance消息发布机制HW与LEO日志分段 Controller Kafka核心总控制器Controller:在Kafka集群中会有一个或者多个broker,其中有一个broker会被选举为控制器(Kafka Controller),它负责管理…

Java的IO模型详解-BIO,NIO,AIO

文章目录 一、BIO相关知识读写模型BIO 概述BIO 特点BIO 实现示例服务器端客户端 二、NIO相关知识点读写模型NIO 核心概念NIO 特点NIO 实现示例服务器端客户端 三、AIO相关知识读写模型AIO 概念AIO 组件AIO 特点AIO 实现示例服务器端客户端 总结 一、BIO相关知识 Java 的 BIO (…

从0开始学杂项 第八期:流量分析(2) 数据提取

Misc 学习(八) - 流量分析:数据提取 这一期,我们主要写一下如何进行比较繁多的数据的提取。 使用 Tshark 批量提取数据 有时候,我们会需要从多个包中提取数据,然后再进行截取和组合,比如分析…

人机环境系统智能与Petri网

人机环境系统工程是一门新兴的交叉学科,它以人、机、环境为系统,研究系统整体的优化。而 Petri 网是一种用于描述和分析系统动态行为的图形化建模工具。 在人机环境系统中,智能体现在人、机、环境三个要素之间的相互作用和协同工作。人的智能…

嵌入式24千兆电口+4万兆光口管理型三层交换机RTL9301模块

核心模块概述: 嵌入式RTL9301模块可以支持4口万兆上联24口千兆三层管理型以太网交换机,也就是最多可以提供24个10/100/1000自适应电口、4个10 Gb SFP 端口、1个console口、1个USB串口。 完善的安全控制策略及CPU保护策略(CPU protect policy)提高容错能力&#xff0…