海量数据融合互通丨TiDB 在安徽省住房公积金监管服务平台的应用实践

导读

安徽省住房公积金监管服务平台通过整合全省 17 家公积金中心的数据,致力于实现数据共享、规范化管理与高效数据分析。为了应对海量数据处理需求,安徽省选择 TiDB 作为底层数据库,利用其分布式架构和 HTAP 能力,实现了快速的数据分析与治理。TiDB 的高效性能提升了平台的数据处理能力和查询效率,为全省公积金数据的统一管理与共享提供了有力支持。

本文将详细介绍 TiDB 在平台中的应用与实际效果,以及 TiDB 如何帮助安徽省提升数据分析和治理能力。


安徽省住房公积金监管服务平台是一个集成了全省 17 家公积金中心数据的监管服务平台,此平台主要目标是构建一个省级住房数据平台,以满足国家数据标准,规范并统一省内住房公积金数据的应用。此外,它还需要与住建部的全国公积金数据共享平台以及省大数据局对接,以便实现省级数据的共享,并且能够为省数据共享提供可靠的数据支撑。

为实现全省公积金数据统一数据服务,提升公积金数据标准化、规范化、数据共享和服务能力能力,安徽公积金将 TiDB 作为安徽省住房公积金监管服务平台底层数据库。经过上线实践证明,TiDB 为安徽省住房公积金在海量数据融合互通数据核查治理数据分析时效性等方面带来了显著价值。

海量数据融合互通,基础架构面临挑战

平台功能介绍

目前安徽省住房公积金监管服务平台已具备一系列功能模块,包括首页、运营分析、统计报表、智慧大屏、数据治理、风险检查和系统管理。

其中,运营分析主要用于从不同维度分析公积金业务指标,统计报表则负责生成、填报和查询住建部规定的报表,同时也支持省级用户的报表导入、核对和更新。智慧大屏提供了综合和业务两大类可视化展示,而数据治理模块则涵盖了传数统计、数据检核和人工数据核对等功能,以确保数据的质量。风险检查方面,平台不仅支持公积金中心的自我检查,也支持省厅的检查,并可以根据需要添加新的检查模型。在系统管理上,平台提供了机构、岗位、角色和用户管理,以及数据字典和菜单管理等工具。另外,平台还具有年报功能,允许各公积金中心编辑和导出年度报告,并支持中心上传自定义的年报。

安徽省住房公积金监管服务平台需要提供以下功能:

  1. 数据采集:从安徽省各市和安徽省公积金业务系统采集数据,包含公积金交易、转账等明细信息。
  2. 数据分析:基于各市公积金上报业务明细数据进行统计分析,如根据根据公积金交易明细数据计算公积金核心经验业务指标,基于业务数据进行报表可视化展示等。
  3. 数据加工治理:需要对各市级公积金上报数据进行统计、校对,并对上报数据进行统一建模加工形成统一的数据标准,确保数据规范和统一标准,以便提供与各市、外省以及全国公积金交换和共享数据。
  4. 数据共享上报:安徽公积金数据规范之后需要再往全国公积金共享平台上报数据。

数据库技术选型要求

为了实现安徽省住房公积金监管服务平台上述功能要求,解决全省 17 个公积金系统海量数据融合互通能力,提升数据分析效性和数据加工治理等生产环境面对的痛点,安徽省住房公积金监管服务平台启动了原生分布式数据库的测试选型,具体的要求包括:

  1. 数据扩展:需要数据库具备海量数据存储、汇聚和计算能力,实现多市海量数据汇聚和全省数据融合互通
  2. 数据分析:需要数据库具备高性能数据分析能力,实现高性能经营指标分析、报表可视化展示和智慧大屏等业务
  3. 数据加工治理:需要数据库具备高效数据加工能力,实现高效数据治理、统一建模等业务
  4. 高可用:需要数据库具备多副本数据存储能力,提高关键海量数据完整性和高可用能力
  5. 自主可控:需要数据库具备自主可控能力,确保业务连续性和自主可控

经过多轮对比测试和业务场景的验证,TiDB 满足了本次技术选型的所有指标。安徽省住房公积选择将 TiDB 作为国家免疫规划信息系统的底层数据库。

HTAP 架构赋能,TiDB 助力高效数据治理

经过多轮对比测试和业务场景的验证,TiDB 满足了本次技术选型的所有指标。安徽省住房公积金选择将 TiDB 作为安徽省住房公积金监管服务平台的底层数据库。

当前使用了 7 台 16vc/64G 服务器,其中 3 台服务器做 TiFlash 节点,使用 TiDB HTAP 能力一栈式支持数据分析、高并发数据汇聚和高效数据加工等能力。

系统架构图

系统架构图

目前所有应用模块已成功迁移到 TiDB 集群上,目前该系统已正式上线运行,全省 16 个市加安徽省公积金业务系统均与安徽省住房公积金监管服务平台的正式环境实现了对接,目前数据量接近 1 TB,经营指标、报表展示、智慧大屏等查询业务均在秒级别完成,显著提升了数据分析和查询效率。

总结与展望

结合系统的实际运行效果,总结 TiDB 为安徽省住房公积金带来的收益如下:

  1. 海量数据处理:TiDB 使用存算分离架构,计算和存储节点都可以按需扩展。目前已经存储接近 1 TB 数据。
  2. 高效数据分析:TiDB HTAP 能力单个 SQL 可以在多台服务器上并行计算,并且可以使用 TiFlash 列存做列存分析计算。经营指标、报表展示、智慧大屏等查询业务均在秒级别完成,提升了数据分析效率。
  3. 数据加工治理:利用 TiDB 分布式和 HTAP 能力,结合应用数据治理模块拆批能力,实现超大数据量高效数据治理能力,统一全省数据标准。
  4. 高可用:利用 TiDB 多副本和 Raft 金融级数据强一致性性,提升了数据高可用能力。
  5. 自主可控:TiDB 为自主可控的开源数据库产品,满足自主可控需求。

安徽省住房公积金监管服务平台的成功实践证明了 TiDB 在处理海量数据、提升数据分析效率以及保障数据高可用性方面的卓越能力。

通过整合全省 17 家公积金中心的数据,平台实现了数据的统一管理和高效共享,为省级数据治理和全国公积金数据交换提供了坚实的技术支撑。TiDB 的分布式架构和 HTAP 能力不仅满足了平台当前的业务需求,还为未来的数据扩展和功能升级奠定了基础。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/29563.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

轻松上手 —— 通过 RPM 包快速部署 NebulaGraph

前言 在当今大数据时代,处理复杂关系数据的需求与日俱增,图数据库应运而生并逐渐崭露头角。NebulaGraph 作为一款高性能、分布式且易扩展的图数据库,专为应对大规模图数据处理而精心打造。它不仅具备丰富的查询语言,还拥有强大高效…

docker1

前言 技术架构 单机架构 应用数据分离架构 应用服务集群架构 读写分离/主从分离架构 写入主的时候,要同步Mysql从的数据才可以 冷热分离架构 写的时候要写入主和缓存数据库 读的时候先去缓存看有没有,没有的话就去从数据库读数据 主要就是看这个数据是…

豪越智慧消防安全:电气火灾监控系统守护用电安全

在当今社会,电气设备的广泛应用给人们的生活和工作带来了极大的便利,但同时也带来了电气火灾的潜在风险。豪越智慧消防的电气火灾监控系统,犹如一位忠诚的守护者,时刻关注着电气线路的安全,为保障场所用电安全发挥着重…

typora高亮方案+鼠标侧键一键改色

引言 在typora里面有一个自定义的高亮, <mark></mark>>但是单一颜色就太难看了, 我使用人工智能, 搜索全网艺术家, 汇集了几种好看的格式,并且方便大家侧键一键 调用, 是不是太方便啦 ! 示例 午夜模式 春意盎然 深海蓝调 石墨文档 秋日暖阳 蜜桃宣言 使用方法 …

springboot011基于springboot的课程作业管理系统(源码+包运行+LW+技术指导)

项目描述 临近学期结束&#xff0c;还是毕业设计&#xff0c;你还在做java程序网络编程&#xff0c;期末作业&#xff0c;老师的作业要求觉得难了吗?不知道毕业设计该怎么办?网页功能的数量是否太多?没有合适的类型或系统?等等&#xff0c;你想解决的问题&#xff0c;今天…

微信小程序+SpringBoot的单词学习小程序平台(程序+论文+讲解+安装+修改+售后)

感兴趣的可以先收藏起来&#xff0c;还有大家在毕设选题&#xff0c;项目以及论文编写等相关问题都可以给我留言咨询&#xff0c;我会一一回复&#xff0c;希望帮助更多的人。 系统背景 &#xff08;一&#xff09;社会需求背景 在全球化的大背景下&#xff0c;英语作为国际…

分享能在线运行C语言的网站

https://www.onlinegdb.com/# 我用vscode运行c语言总是报错&#xff0c;后面找到这个网站&#xff0c;可以在线调试和保存代码。 如下图&#xff0c;程序的效果是给变量x&#xff0c;y&#xff0c;z赋值&#xff0c;并打印出来。代码输入以后&#xff0c;右上角选择C语言&…

豆包大模型 MarsCode AI 刷题专栏 002

003.数字字符串格式化 难度&#xff1a;易 问题描述 小M在工作时遇到了一个问题&#xff0c;他需要将用户输入的不带千分位逗号的数字字符串转换为带千分位逗号的格式&#xff0c;并且保留小数部分。小M还发现&#xff0c;有时候输入的数字字符串前面会有无用的 0&#xff0…

超图(Hypergraph)

超图&#xff08;Hypergraph&#xff09;是图结构学习&#xff08;Graph Learning&#xff09;中的一种扩展形式&#xff0c;它比传统图&#xff08;Graph&#xff09;更具表达能力&#xff0c;适用于建模复杂的多元关系。 超图是一种由 超节点&#xff08;Hypernodes&#xff…

网络编程-----服务器(多路复用IO 和 TCP并发模型)

一、单循环服务器模型 1. 核心特征 while(1){newfd accept();recv();close(newfd);}2. 典型应用场景 HTTP短连接服务&#xff08;早期Apache&#xff09;CGI快速处理简单测试服务器 3. 综合代码 #include <stdio.h> #include <sys/types.h> /* See NO…

为解决局域网IP、DNS切换的Windows BAT脚本

一、背景 为解决公司普通人员需要切换IP、DNS的情况&#xff0c;于是搞了个windows下的bat脚本&#xff0c;可以对有线网络、无线网络进行切换设置。 脚本内容 echo off title 多网络接口IP切换工具:menu cls echo echo 请选择要配置的网络接口: echo echo 1. 有线网络&am…

极狐GitLab 正式发布安全版本17.9.1、17.8.4、17.7.6

本分分享极狐GitLab 补丁版本 17.9.1、17.8.4、17.7.6 的详细内容。这几个版本包含重要的缺陷和安全修复代码&#xff0c;我们强烈建议所有私有化部署用户应该立即升级到上述的某一个版本。对于极狐GitLab SaaS&#xff0c;技术团队已经进行了升级&#xff0c;无需用户采取任何…

Docker Compose企业示例

利用容器编排完成haproxy和nginx负载均衡架构实施 1.mkdir docker.test 2.touch haproxy.yml 3.mkdir /var/lib/docker/volumes/conf 4.dnf install haproxy -y --downloadonly --downloaddir/xixi&#xff1a;下载内容到/xixi目录下 5. rpm2cpio haproxy-2.4.22-4.el9.x8…

电脑网络出现问题!简单的几种方法解除电脑飞行模式

在某些情况下&#xff0c;您可能需要关闭电脑上的飞行模式以便重新连接到 Wi-Fi、蓝牙或其他无线网络。本教程中简鹿办公将指导您如何在 Windows 和 macO S操作系统上解除飞行模式。 一、Windows 系统下解除飞行模式 通过快捷操作中心 步骤一&#xff1a;点击屏幕右下角的通知…

uniapp 微信小程序 升级 uniad插件版本号

问题描述&#xff1a; 每次提交代码升级的时候会弹窗提示&#xff1a;uniad插件版本太低… 解决办法 一、使用微信小程序开发工具点击右上角 查看到最新版本&#xff1a;1.3.4 二、在app.json中改为最新的版本即可 "uni-ad": {"version": "1.3.4&q…

【文献阅读】The Efficiency Spectrum of Large Language Models: An Algorithmic Survey

这篇文章发表于2024年4月 摘要 大语言模型&#xff08;LLMs&#xff09;的快速发展推动了多个领域的变革&#xff0c;重塑了通用人工智能的格局。然而&#xff0c;这些模型不断增长的计算和内存需求带来了巨大挑战&#xff0c;阻碍了学术研究和实际应用。为解决这些问题&…

【Linux-网络】初识计算机网络 Socket套接字 TCP/UDP协议(包含Socket编程实战)

&#x1f3ac; 个人主页&#xff1a;谁在夜里看海. &#x1f4d6; 个人专栏&#xff1a;《C系列》《Linux系列》《算法系列》 ⛰️ 道阻且长&#xff0c;行则将至 目录 &#x1f4da;一、初识计算机网络 &#x1f4d6; 背景 &#x1f4d6; 网络协议 &#x1f516;OSI七层…

Facebook营销自动化—— Python脚本 + 代理IP实现内容高效分发

目录 1. 引言&#xff1a;内容分发与Facebook营销的现状与痛点 2. 环境搭建与前期准备 2.1 开发环境与工具选择 2.2 获取代理IP 2.3 Facebook账号与开发者平台配置 3. Facebook内容分发的基本流程与策略 3.1 内容规划与策略制定 3.2 内容分发方式选择 3.3 风控与风险防…

C++20的简写函数模板

文章目录 简写函数模板的语法示例代码优点 C20引入了简写函数模板&#xff08;Abbreviated Function Template&#xff09;&#xff0c;这是一种更简洁的函数模板声明方式&#xff0c;允许使用 auto或带有约束的 auto来代替显式的模板参数声明。 简写函数模板的语法 当在函数…

nginx 代理 redis

kubernetes 发布的redis服务端口为 31250 通过命令查询 [miniecs-88500735 /]$ minikube service redis --url http://192.168.49.2:31250[rootecs-88500735 /]# vi /etc/nginx/nginx.conf配置nginx.conf stream {upstream redis {server 192.168.49.2:31250;}server {liste…