云卷云舒:论超级数据库、算网数据库、智算数据库

笔者大胆提出一种“超级数据库”的概念设想。

一、超级能力

就像当初提出“超级计算机”一样,我们是否同样可以提出“超级数据库”的概念呢?当然不是不可以。

二、超级计算机

我们回忆一下“超级计算机”的发展之路,大致经过了如下几个环节:

  • 晶体管计算机:实现体积缩小
  • 半导体集成电路:集成在半导体晶片上的晶体管数量将每两年翻一倍的速度增长,这就是著名的“摩尔定律”,至今依然有效。
  • 芯片:体积进一步缩小,比如CPU和GPU,上百亿的晶体管的容纳。
  • 超级计算机:复杂高难计算,将无数的芯片集成起来,就是超级计算机了。支持至少1-亿次计算/S
  • 银行二号:并行计算突破,10亿次
  • 天河一号:GPU和CPU形成异构融合体系,千万亿次,6144哥CPU+5120GPU,在2010年全球首座。
  • 神威太湖之光:算力已达到10亿亿次。

01aa5a04685e4ee5a25e3c80aa89f407.png

三、算力概念

智算=CPU+GPU+xAI

算力网络:多个云计算,通过网络(光纤、5G)组合起来,通用算力+超级算力+智算+量子计算。通过算网大脑灵活智能调度,赋能数据经济,实现数字经济时代的“南水北调、西电东送”等超级工程,如“东数西存、东数西算”。

四、算力网络背后的技术坐标

  • 算力:计算底座(主机)、计算引擎(数据库),各类芯片加持下的新型计算产品XPU;
  • 网络:5G、光纤
  • 存力:各类芯片加持
  • 算网大脑:调度、运营、服务

五、超级数据库

再次回顾“超级计算机”,数据库的演进惊人的相似。

  • 稳定安全大容量:IBM大型机+DB2,成本高,银行和民航才用得起;
  • 大型机替代方案:小型机+oracle软件,HP横空出世,成本大幅降低,在电信、金融行业有了市场,DB2被打翻;
  • 走向细分:OLTP(oracle依然傲娇)、OLAP(开源突破,PG崭露头角,oracle在AP市场被蚕食)
  • 算力细分、智能化:OLTP(oracle中间退伍,分布式理念让MySQL等开源TP数据库大兴)、OLAP市场更加兴旺,大数据技术链“体系化”出现,oracle彻底没了市场。这一时代,成本大降,但是数据库的维护、数据管控复杂度大大提升,甚至需要组件数据库团队。

和“超级计算机”类似,都是从“小算力”-->“大规模集成算力”-->“连接型(网络型)算力+智能编排调度”演进,那么数据库作为一种常见的“算力”也要做出改变,但经常被很多“算力”服务商所忽略,其实:

算力的范围应该是:计算机+OS+数据库。网络的范围是:骨干/传输+接入+云内/云间。

那么算力网络时代的“超级工程”,具备“算网数据库、智算数据库、量算数据库”整合能力。“多态”、“连接”、“智能”是标准三件套,算网时代数字生态的构建是“超级数据库”的需求爆点

  • 能力图谱:

    • 为了支撑客户全国性调度的需求,光靠数据库本身不行,数据库的周边生态工具需要发展起来,比如“高效/安全传输”、“数据治理套件”、“数据冷热调度器”、“智能数据网关”。
    • 数据碎片化分布、大体量的传输,对于安全提出了较高的要求,这里面应该建设专门的“数据安全高效传输专用通道”,甚至“专有协议”,一切为了安全和高效。
    • 数据库的技术重点:也将随着数据库所在位置(端、近、远)有所侧重,端侧侧重实时计算、近侧侧重有限事务协同+端侧管控+模型应用、远侧侧重全局事务管控+模型管理。这里面,近侧和远侧的场景就十分适合放在“智算中心”进行管理。
    • 算云网边端,五位一体,那么数据库是否依然有五种对应的形态呢?没有5种起码也有三种,适配端侧(内嵌)、近侧(边缘)、远侧(集中)。
  • 调度中枢:

    • 这里指的是“超级数据库”的调度中枢,它与“算网大脑”可以说是一个上下位的关系。
      • 算网大脑负责全局资源管控、算力调度,而调度中枢专门指的是调度“超级数据库”体系内部数据的“数据调度中枢”,算网大脑侧重于全局资源的均衡,调度中枢则更多的关注数据的冷热分层、查询效率、数据一致性。
      • 但是二者相似的事是,都需要针对全局资源统管可见,这一点上,调度中枢需要同意遵循“算网大脑”的“上位编排”。
      • 之所以叫“超级数据库”,是指的“超大规模、超复杂架构”的数据都存在一个数据库体系内。
  • 生态演进:

    • 那么应用场景在哪里?派生新的通用行业-“数据行业”。目前可见如此大的“超级数据库”,应用的场景还是“分布式领域”,有两个场景:
      • 全国性大客户,客户业务或数据遍及全国,需要针对数据层面的管理和调度需求,如大中型央国企、大型医药/教育/工业/电商平台。
      • 从云服务上本身来看,实现全网数据库的同一纳管,实现资源总量的集中化运营,可以大幅提高资源利用效率,利用空闲区域数据库分担繁忙区域的“非热”数据,成本实现最佳。
      • 从衍生价值来看,在“超级数据库”中,如此多的数据实现了“统一管理”,除了满足全网的随时访问、安全保管、数据存储之外,还应该充分挖掘衍生价值,比如“数据超市”、“数据快递”、“超级备份中心”、“数据试验田”、“大模型中心”、“数据分析大表”等,更充分的赋能“算力时代”,打造更多的算网应用。
      • 从需求孵化角度,我们需要持续提升数据库价值挖掘,打造新型通用行业“数据行业”,覆盖全局。

六、超级数据库、算网数据库、智算数据库

8361c9ae242a4003a34306880583b9f1.png

        算力网络时代已经来临,超大算力芯片和网络已然布局,越来越多的“智算中心”不断投产,我们需要更加加速构建上层算网应用生态,除了关注传统的“物理机、虚拟机”算力,需要更多去关注能够产生更加广阔价值的paas算网应用,比如“超级数据库、算网数据库、智算数据库”,其实在计算机发展历程上看,并不是一个东西,而是一个演进的过程。

        但是在如今,时不我待,大胆创新突破,正当数字经济时代的“弄潮儿”,我们需要基于成熟的技术和算网生态体系,打造“超级数据库、算网数据库、智算数据库”(我这里统称“超级数据库”)。

 

参考文章:

云卷云舒:算力网络+云原生(下):云数据库发展的新篇章-CSDN博客


云卷云舒:算力网络+云原生(中):探索构建算力网络数据库_云卷云舒 csdn-CSDN博客

云卷云舒:算力网络+云原生(上):打造云网边端协同架构_算力网络和云原生-CSDN博客

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/255676.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

详细分析Redis中数值乱码的根本原因以及解决方式

目录 前言1. 问题所示2. 原理分析3. 拓展 前言 对于这方面的相关知识推荐阅读: Redis框架从入门到学精(全)Java关于RedisTemplate的使用分析 附代码java框架 零基础从入门到精通的学习路线 附开源项目面经等(超全) …

单片机学习笔记---蜂鸣器播放提示音音乐(天空之城)

目录 蜂鸣器播放提示音 蜂鸣器播放音乐(天空之城) 准备工作 主程序 中断函数 上一节讲了蜂鸣器驱动原理和乐理基础知识,这一节开始代码演示! 蜂鸣器播放提示音 先创建工程:蜂鸣器播放提示音 把我们之前模块化的…

Python 错误及其解决方法

Python 是一种易于学习的编程语言,但初学者在学习和使用 Python 的过程中难免会遇到一些错误。以下是一些常见的 Python 错误及其解决方法: 1. 语法错误(SyntaxError): python # 错误示例 print("Hello, World!…

【计算机网络】【练习题及解答】【新加坡南洋理工大学】【Computer Control Network】【Exercise Solution】

说明: 个人资料,仅供学习使用,版权归校方所有。 一、题目描述 该问题接上期博文【练习题及解答】,描述网络通信中的链路效率(Link Efficiency),即Link Utilization的计算。(此处认…

第二届 N1CTF Junior WEB方向 部分题解WP

zako 题目描述&#xff1a;很简单的rce哦 启动环境&#xff0c;源码直接给了。 execute.sh #!/bin/bashreject(){echo ${1}exit 1 }XXXCMD$1awk -v str"${XXXCMD}" \ BEGIN{deny";&$(){}[]!#$%^&*-";for(i 1; i < length(str); i){char su…

Qt Windows和Android使用MuPDF预览PDF文件

文章目录 1. Windows MuPDF编译2. Android MuPDF编译3. 引用 MuPDF 库4. 解析本地PDF文件 1. Windows MuPDF编译 使用如下命令将MuPDF的源码克隆到本地 git clone --recursive git://git.ghostscript.com/mupdf.git直接用VS&#xff0c;打开 mupdf/platform/win32/mupdf.sln …

《CSS 简易速速上手小册》第10章:未来的 CSS(2024 最新版)

文章目录 10.1 CSS 的新特性和趋势10.1.1 基础知识10.1.2 重点案例&#xff1a;使用 CSS Grid 创建响应式图库10.1.3 拓展案例 1&#xff1a;利用 CSS 变量实现主题切换10.1.4 拓展案例 2&#xff1a;使用 lab() 颜色和 layer 规则优化样式 10.2 CSS Houdini&#xff1a;魔法般…

【JMX】JAVA监控的基石

目录 1.概述 2.MBean 2.1.Standard MBean 2.2.Dynamic MBean 2.3.Model Bean 2.4.Dynamic MBean和Model Bean的区别 2.5.MXBean 2.6.Open Bean 3.控制台 1.概述 什么是JMX&#xff0c;首先来看一段对话&#xff1a; Java Management Extensions&#xff08;JMX&#…

四.Linux实用操作 12-14.环境变量文件的上传和下载压缩和解压

目录 四.Linux实用操作 12.环境变量 环境变量 环境变量--PATH $ 符号 自行设置环境变量 自定义环境变量PATH 总结 四.Linux实用操作 13.文件的上传和下载 上传&#xff0c;下载 rz&#xff0c;sz命令 四.Linux实用操作 14.压缩和解压 压缩格式 tar命令 tar命令压缩…

Java核心设计模式:代理设计模式

一、生活中常见的代理案例 房地产中介&#xff1a;客户手里没有房源信息&#xff0c;找一个中介帮忙商品代购&#xff1a;代理者一般有好的资源渠道&#xff0c;降低购物成本&#xff08;如海外代购&#xff0c;自己不用为了买东西出国&#xff09; 二、为什么要使用代理 对…

2024最新版Sublime Text 4安装使用指南

2024最新版Sublime Text 4安装使用指南 Installation and Usage Guide to the Latest Sublime Text 4 in 2024 By JacksonML 0. Sublime Text是什么&#xff1f; Sublime Text 由自定义组件构建&#xff0c;支持Python, Java, C/C等多种编程语言&#xff0c;并为用户提供无与…

第74讲Breadcrumb 面包屑实现

Breadcrumb 面包屑实现 为了实现二级路由&#xff0c;我们搞成搞个子路由&#xff0c;对于二级菜单 const routes [{path: /,name: 首页,component: () > import(../views/layout),redirect:/home,children:[{path: /home,name: 首页,component: () > import(../views…

Redis篇之过期淘汰策略

一、数据的过期策略 1.什么是过期策略 Redis对数据设置数据的有效时间&#xff0c;数据过期以后&#xff0c;就需要将数据从内存中删除掉。可以按照不同的规则进行删除&#xff0c;这种删除规则就被称之为数据的删除策略&#xff08;数据过期策略&#xff09;。 2.过期策略-惰…

Peter算法小课堂—单调队列

祝大家新年快乐&#xff01; 今天这一次有点简单。 单调队列有两个要点&#xff0c;一个是单调&#xff0c;另一个就是我们的队列。 听到队列&#xff0c;我相信大家一定会想到它的好朋友BFS吧。但是……今天……可……没……那么……简单哦。 西佳佳偶像天团1 题目描述 …

MySQL-----DCL基础操作

▶ DCL简介 DCL英文全称是Data ControlLanguage(数据控制语言)&#xff0c;用来管理数据库用户、控制数据库的访问权限。 DCL--管理用户 ▶ 查询用户 use mysql; select * from user; ▶ 创建用户 ▶ 语法 create user 用户名主机名 identified by 密码 设置为在任意主机上访问…

第67讲自定义icon实现

element-plus内置有一些常用的icon供我们使用&#xff0c;但是我们假如需要用自己的icon时候&#xff0c;我们可以搞一个icon自定义组件&#xff1b; 先把icons文件放到src下&#xff1b; 再新建一个SvgIcon组件&#xff1b; index.vue <template><svg class"…

机器人学、机器视觉与控制 上机笔记(第一版译文版 2.1章节)

机器人学、机器视觉与控制 上机笔记&#xff08;第一版译文版 2.1章节&#xff09; 1、前言2、本篇内容3、代码记录3.1、新建se23.2、生成坐标系3.3、将T1表示的变换绘制3.4、完整绘制代码3.5、获取点*在坐标系1下的表示3.6、相对坐标获取完整代码 4、结语 1、前言 工作需要&a…

Linux操作系统运维-Docker的基础知识梳理总结

Linux操作系统运维-Docker的基础知识梳理总结 docker用来解决不同开发人员软件调试时环境不统一的问题&#xff0c;保证了程序调试时运行环境的一致性。docker的设计理念便是一处镜像&#xff0c;处处运行&#xff0c;即通过产生用户软件&#xff0c;运行环境及其运行配置的统一…

ElasticSearch级查询Query DSL上

目录 ES高级查询Query DSL match_all 返回源数据_source 返回指定条数size 分页查询from&size 指定字段排序sort 术语级别查询 Term query术语查询 Terms Query多术语查询 exists query ids query range query范围查询 prefix query前缀查询 wildcard query通…

NAT——网络地址转换、NAPT

网络地址转换 NAT (Network Address Translation) 1994 年提出。 需要在专用网连接到互联网的路由器上安装 NAT 软件。 装有 NAT 软件的路由器叫做 NAT路由器&#xff0c;它至少有一个有效的外部全球 IP 地址。 所有使用本地地址的主机在和外界通信时&#xff0c;都要在 NA…