在智慧交通应用中,数据处理需求极为复杂,涉及人、车辆、道路和环境等多个方面,产生了大量异构数据。交通管理人员需要对这些数据进行实时分析和决策,以应对各种交通事件。然而,在实际生产中会发现数据处理缺陷、管理复杂度高、云原生基础设施兼容性不足等问题。
实践证明,MatrixOne 可完整、稳定支撑深智城集团的交通数字实时仿真项目,实现秒级的业务及分析实时性,并在技术、管理和成本方面均得到了显著提升,大幅降低了系统复杂性、加强了与 K8s 云基础设施的融合,运维成本降低约50%。
此案例将详细剖析深圳市智慧城市科技发展集团有限公司(以下简称:深智城)基于超融合数据库MatrixOne的一站式交通大数据平台改造的过程。
客户基本情况
深智城致力于推动深圳智慧城市和数字政府建设。作为一家以科技创新为驱动的企业,深智城在“十四五”期间设定了宏伟的战略目标,即实现“百亿营收、千亿市值”。为此,深智城积极投身于深圳市智慧城市和数字政府的建设运营,并大力培育和发展战略性新兴产业。
深智城拥有一支由4300名高素质专业人才组成的技术团队,覆盖多个专业领域。其中,团队包括4名国家级人才、65名省部级高层次人才、123名国家级行业专家,以及196名拥有副高级以上职称的专业人士。这支多元化的团队为深智城在智慧城市建设和企业数字化转型中提供了坚实的技术支撑。
深智城采用了“1+N+1”的创新运作模式,即通过国企平台统筹和生态组合的方式,整合数字孪生、区块链等前沿技术,全面赋能智慧城市建设和企业数字化转型,推动城市的智能化、数字化发展。
面临的业务挑战
深智城智慧交通系统中的人、车、道路和环境每天会产生海量的异构数据,传统数据库技术在遇到异构数据的挑战时,将会面临以下问题:
- 无法满足海量数据的高频写入需求:传统数据库技术在处理超大规模数据时,写入性能不足,难以支撑业务需求。
- 实时数据分析与更新的局限:现有数据库技术无法实现实时的数据分析与更新,导致业务响应速度不够快。
- 数据一致性难以保障:在高并发和复杂操作的情况下,传统数据库在保持数据一致性方面存在困难,增加了数据管理的风险。
- 异构数据的兼容性问题:传统数据库在处理来自不同来源和格式的异构数据时,往往面临兼容性不足的问题。
此外,深智城现有的数据技术栈也存在一些局限性:
- 数据组件分散,管理和运维复杂:分散的数据组件增加了系统的管理和运维难度,使得高效运作变得困难。
- 与云原生技术的兼容性不足:现有技术与Kubernetes等云原生基础设施的兼容性较低,无法充分利用现代技术带来的优势。
因此,针对以上挑战,深智城联合MatrixOne,期望针对该系统达到以下三个目标:
- 简化数据架构,提升效率:通过优化和整合数据架构,减少管理复杂性,提高系统整体效率。
- 增强业务性能,满足数据处理需求:提升系统性能,以更好地应对海量数据的高并发处理需求。
- 提升异构数据处理能力:增强系统对不同类型和格式数据的兼容性,确保业务数据的全面处理与整合。
解决方案剖析
该项目主要从以下三个方面入手:
一、数据库技术增强:
- 数据仓库改造升级:对现有数据仓库进行优化升级,提高系统对各种业务场景的适应性,满足多样化的数据处理需求。
- 数据库技术集成:整合交易和分析数据库技术,提供统一的高速数据库支持,实现交易和分析场景的无缝切换。
- 增强数据操作支持:扩展对数据更新、删除和事务的支持,并提供在线表结构变更功能,降低系统对业务变更的适应难度。
二、支持云原生:
- 云原生基础设施兼容性:增强与Kubernetes (K8s)的兼容性,实现数据层与基础设施层的容器编排无缝集成,提升系统灵活性。
- 基础设施管理简化:简化整体基础设施的管理流程,降低管理复杂度,提高运维效率。
- 资源管理优化:通过统一资源管理,实现灵活调度和弹性扩缩容,增强对瞬时负载变化的响应能力,优化底层资源的利用率。
三、耦合现有的交通数字实时仿真系统:
- 支持模拟真实交通业务场景:提供技术支持,确保能够模拟真实的交通业务场景,满足项目需求。
- 处理海量数据:具备每小时处理TB级数据的能力,确保系统在高数据量下依然稳定高效运行。
- 实现秒级业务及分析实时性:通过MatrixOne技术,确保业务处理和数据分析的实时性,实现秒级响应。
客户收益
MatrixOne 完整支撑了深智城集团的交通数字实时仿真项目,通过模拟真实交通业务场景,MatrixOne可轻松应对每小时产生的TB级数据,并达到秒级实时性分析。此外,深智城交通系统在技术、管理和成本方面均得到了显著提升:
- 数据架构简化:通过将原有的5个数据组件整合至单一数据库,组件数量减少了80%,大大降低了系统复杂性,提高了管理效率。
- 云原生化实现:充分利用Kubernetes(K8s)的调度和扩展能力,实现与K8s云基础设施的无缝整合,简化了部署和管理流程,实现数据层与业务层的统一管理。
- 成本节约与效率提升:通过减少组件数量、简化架构和团队整合,实现了显著的成本节约和效率提升;同时,通过共享云基础设施和合并运维团队,运维成本降低了约50%。