YashanDB:潜心实干,数据库核心技术突破没有捷径可走

都说数据库是三大基础软件中的一块硬骨头,技术门槛高、研发周期长、工程要求高,市场长期被几大巨头所把持。

因此,实现突破一直是中国数据库产业的夙愿。自上个世纪80年代起,中国数据库产业走过艰辛坎坷的四十余载,终于拥有一席之地。但当中国逐渐成长为全球最大数据圈之际,中国数据库产业又面临着全新局面:

一方面,数字经济带来持续且丰富的数据库需求,中国数据库市场的未来普遍被看好;另一方面,市场涌现出上百家数据库公司,重复建设的现象突出,出现一定的乱象;更加重要的是,面对日趋复杂且多样的数据处理需求,数据库理论和核心技术亟待突破,以更好适应未来市场需求。

洗尽铅华始见金,中国数据库产业之路该走向何方?近日深圳计算科学研究院(以下简称深算院)YashanDB团队接受大数据在线的专访,畅谈中国数据库产业发展等话题。YashanDB产品总监王南认为数据库的发展必须突破关键核心技术,唯有潜心实干才是出路。目前,YashanDB正积极探索一条产学研用的新路,即致力于数据库理论与核心技术的突破,利用前沿研究成果,紧密贴合市场需求,打造出世界一流的数据库产品。

野蛮生长不可取

IDC数据显示,2022年中国关系型数据库市场规模为34.3亿美元,同比增长23.9%;到2027年,规模有望达到102.7亿美元,年复合增长率为24.5%。中金研究报告也显示,2023-2027年数据库整体国产替换市场空间约400亿元。

毋庸置疑,中国数据库市场潜力巨大。与此同时,信通院《数据库发展白皮书》中提到,中国数据库公司数量已达到150家,数据库产品更是高达238款。在外部环境不确定性持续增加的大背景下,百花齐放的确让市场欣欣向荣,却也让野蛮生长和重复建设的现象逐渐突出。

作为基础软件,数据库有其自身规律,短时间涌现出如此数量的公司可能会造成两个挑战:

其一、短期资本涌入造成繁荣的假象,但市场总体规模体量并不足以养活如此多公司,多数公司未来前景存疑;其二、数据库是一项需要持续投入的基础软件领域,重复建设会让市场人才、资金走向割裂,整体竞争力受损。

再仔细研究中国数据库公司,大部分跟MySQL、PostgreSQL两大开源数据库有着千丝万缕的联系。不可否认,开源在推动中国数据库产业高速发展中发挥着关键性作用,也绝对是数据库产业未来重要的发展趋势之一。但开源≠免费,在云计算兴起的当下,甚至频出各种利益纠葛,像MySQL的GPL协议在开源协议中要求最为严格,未来如何发展取决于Oracle的态度。如果通过利用开源快速包装出“速成”产品,以达到抢夺市场的目的,这种做法未来存在巨大风险。

当下,这种“走捷径”的做法已产生一定影响。例如,CSDN 《2022-2023 中国基础软硬件-数据库开发者调查报告》显示,只有31%的开发者对国产数据库持正面看法,69%的开发者均对国产数据库持负面看法。

“数据库等基础软件没有捷径可走。数据库要想持续发展,需要有足够的战略定力,围绕理论创新与技术突破,才能真正解决数据库的基本问题。”YashanDB产品总监王南如是说。

数据库核心技术突破没有捷径可走

本质上,数据库属于软件重工业,工程化程度极高,投入大、见效慢,并且回报带有极大不确定性。要想在数据库领域有一番作为,需要直面资金、技术、人才和商业化四个最为关键的挑战。

例如,数据库的研发需要持续投入大量资金,投入少、依靠开源“走捷径”,本质上很难获得核心竞争力,又如面临核心内核人才不足、商业化落地等难题。

但最为重要的挑战无疑就是技术突破。当前的数据库市场类似新能源汽车市场早期,市场存在大量公司,但真正掌握核心技术的公司却是不多。在数据库关键技术挑战中,又以数据库理论创新最为关键,核心技术发展有赖于数据库理论创新。

显然,在用户业务类型、场景规模、数据量等均发生翻天覆地变化的今天,数据库的理论创新迫在眉睫,也正是当下中国数据库企业需要潜心实干的方向。只有在数据库理论实现创新与突破,才能点到面带来产品技术的全面变革,从而支撑起未来业务场景的需求。

在当下的中国数据库市场,深算院是为数不多致力于数据库理论研究与创新的机构,深算院的理论研究团队原创有界计算(bounded evaluation)、数据驱动的近似计算(data-driven approximation)、并发事务调度理论等系列创新理论,致力于持续探索数据库核心技术的突破。

像有界计算理论是把大数据计算规约成小数据上的处理,近似计算则可在硬件规模投入有限的情况下,实现大数据精确高效查询。深算院的理论研究成果对于很多身处大数据时代的行业用户极具现实价值。

当前,性能与成本依然是数据库产品选型的核心要素。然而,计算资源的增长速度远远跟不上数据增长的速度,尽管堆叠机器增加算力也难以应对海量数据的计算要求,还会导致成倍的运维问题和成本。而有界计算和近似计算则有望打破传统数据库理论的束缚,让数据库的性能与成本达到新高度。

例如,曾经通过测试发现,在某业务场景数十亿条数据的实时查询场景下,91% 的查询可以用有界计算来解决,并且 70% 以上的查询效率可以提升 25 倍到 14 万倍,剩余 9% 不具备有界计算条件的查询,可以通过数据驱动的近似计算理论来解决。

但从理论创新到落地产品的过程绝非易事,需要持续的验证、迭代和优化。YashanDB研发团队从原型开始验证,历经各种困难与挑战,逐步在YashanDB中融入这两大理论研究成果。在最新的YashanDB 版本中,YashanDB 实现在大数据分析时不需要访问全部数据,只需取其中的小数据集就能得到想要的结果。经过实测,数据量从 10GB 增长到 1TB,YashanDB 响应时延维持亚秒级,性能提升千倍以上且未衰减,性能与成本表现出色。

据悉,YashanDB从核心理论到关键技术均为原创,且高度兼容主流数据库。YashanDB自身产品能力较为全面,基于YashanDB内核,打造出单机/主备、共享集群、分布式等多种产品形态,覆盖OLTP/HTAP/OLAP负载场景,并提供完整的工具体系。王南透露,YashanDB会根据用户场景来推荐不同的产品形态。

“我们以提高单位资源成本下的计算效能为目标设计产品,不是堆叠机器追求‘规模上限’。”王南说道。在OLTP场景中,YashanDB通过细粒度并发控制、免锁事务优化和自适应并发调度算法等技术,最大程度提升单机的事务处理性能,提供可用于生产的Benchmark性能测试配置和测试数据,性能超出主流商业数据库30%以上。

“几年前,大家可能还认为中国数据库内核需要好多年才能成熟起来。”王南表示道,“但现在从咱们一些数据库产品在核心业务场景中的表现来看,数据库核心技术只要沉下心去攻克,是一定能解决的。”

就如国产新能源汽车逐渐率先攻克自动驾驶、智能车机、底盘等核心技术,在市场中脱颖而出一样,扎根关键技术研发与突破的数据库公司,从一开始就把地基打牢固,也有望在未来的市场中逐步实现引领。“数据库不存在弯道超车,掌握核心技术才是关键所在。如果核心技术不足,哪怕一开始‘走捷径’,未来也走不远。”王南如是说。

商业化不能“纸上谈兵”

总体来看,我国数据库产业发展正处于欣欣向荣的阶段,加速由“数量型”向“质量型”关键转变。这其中,商业化就是摆在很多中国数据库公司面前的一道必答题。

在数据库市场,光有突破性的数据库核心技术、能力强大的数据库产品还远远不够,商业化则是将产品技术实现价值化的关键所在。众所周知,我国数据库公司相对还较为年轻,过去由于Oracle等数据库巨头长期占领市场,使得很多中国数据库公司哪怕有诸多技术与产品的创新,却很难有较多机会在金融等核心业务场景中得到验证,从而陷入“技术、产品、场景”不能良性循环的怪圈,商业化之路极为曲折。

如今,随着自主可控技术体系成为中国数字经济发展的重要支撑,中国数据库也迎来了打破怪圈的契机。在王南看来,中国数据库公司需要从场景验证、应用改造、选型成本、服务能力四个方面发力,从而加速推动商业化。

首先是场景验证,比如金融核心业务场景,对于数据库的性能、可靠性、稳定性要求极高,随着硬件层面的自主可控技术逐步进入到核心业务场景中,会带来数据库适配、性能波动等一系列挑战。王南直言:“数据库要想实现规模化复制,必须在关键行业和关键场景中去验证,一步一步往前走,才能在行业广度、业务场景中做到规模复制。”

以YashanDB为例,围绕金融、央国企等重点行业的等他客户和重点场景已经做了相当范围的覆盖和验证。

其次是应用改造的挑战。像银行等金融机构,由于历史积累丰富、业务系统庞杂,比如分布式架构的改造,需要解决规模化带来的成本问题,“这是一个关键矛盾,对于数据库公司、用户等都是巨大挑战。”王南补充道。

第三是降低客户选型的成本。由于产品质量参差不齐,客户选型判断成本过高。提供诚实可信的高性价比产品、公正透明的价格、完善的生态体系以及放心省心的服务方是破局之道。

最后则是需要解决好服务能力,目前国内数据库公司普遍面临的困境就是面对场景的复杂性,需要有很重的服务投入,对于DBA团队极为倚重。

相比于其他商业数据库公司,依托深算院,YashanDB作为产学研“一体化”数据库的代表,其商业化之路更加为业界所关注。王南介绍,YashanDB拥有深算院背后强大的科研资源,未来同样希望加速商业化,将数据库领域好的创新实现市场化,为中国企业的数字化转型带来更多价值。据悉,YashanDB接下来会进一步加速市场化和商业化进程,产品化、重点行业和生态合作伙伴布局也在紧锣密鼓和有条不紊地推进中。

“我们有足够的信心和战略定力把YashanDB做好!”王南最后表示道。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/131956.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

vue组件库开发,webpack打包,发布npm

做一个像elment-ui一样的vue组件库 那多好啊!这是我前几年就想做的 但webpack真的太难用,也许是我功力不够 今天看到一个视频,早上6-13点,终于实现了,呜呜 感谢视频的分享-来龙去脉-大家可以看这个视频:htt…

美东一公司的郁闷面试题

说是题目可以用不同的语言,但是貌似 Java 是多线程的,用 Java 写肯定容易不少。 但,觉得这个题目用多线程简直是有点脱了裤子放屁。 完整题目内容 题目的网站内容如下: Please complete the following challenge in one of th…

【自动驾驶决策规划】POMDP之Introduction

文章目录 前言Markov PropertyMarkov ChainHidden Markov ModelMarkov Decision ProcessPartially Observable Markov Decision ProcessBackground on Solving POMDPsPOMDP Value Iteration Example 推荐阅读与参考 前言 本文是我学习POMDP相关的笔记,由于个人能力…

2024字节跳动校招面试真题汇总及其解答(一)

1. 【算法题】重排链表 给定一个单链表 L 的头节点 head ,单链表 L 表示为: L0 → L1 → … → Ln - 1 → Ln请将其重新排列后变为: L0 → Ln → L1 → Ln - 1 → L2 → Ln - 2 → … 不能只是单纯的改变节点内部的值,而是需要实际的进行节点交换。 示例 1: 输入:hea…

Kafka3.0.0版本——消费者(自动提交 offset)

目录 一、自动提交offset的相关参数二、消费者(自动提交 offset)代码示例 一、自动提交offset的相关参数 官网文档 参数解释 参数描述enable.auto.commi默认值为 true,消费者会自动周期性地向服务器提交偏移量。auto.commit.interval.ms如果…

基于视觉重定位的室内AR导航APP的大创项目思路(2):改进的项目思路——建图和定位分离

文章目录 一、建图二、定位首先是第一种方法:几何方法其次是第二种方法:图像检索方法最后是第三种方法:深度学习方法 前情提要: 是第一次做项目的小白,文章内的资料介绍如有错误,请多包含! 一、…

华为云云耀云服务器L实例评测|初始化centos镜像到安装nginx部署前端vue、react项目

文章目录 ⭐前言⭐购买服务器💖 选择centos镜像 ⭐在控制台初始化centos镜像💖配置登录密码 ⭐在webstorm ssh连接 服务器⭐安装nginx💖 wget 下载nginx💖 解压运行 ⭐添加安全组⭐nginx 配置⭐部署vue💖 使用默认的ng…

【文件上传-配置文件】crossdomain.xml跨域策略配置文件上传

目录 一、0x00 前言 二、基础知识 1、Flash 2、crossdomain.xml文件 3、crossdomain.xml格式 4、crossdomain.xml相关参数 三、漏洞利用 1、方法: 2、上传漏洞配置文件 一、0x00 前言 在很多地方都会见查是否跨域 比如某些特定的步骤、CSRF、flash跨域劫…

SimpleCG程序交互操作

前言 之前所有示例程序都是属于展示型的,只是作为展示板输出使用,不涉及键盘和鼠标的输入交互,下面我们开始接触具有交互功能的程序。 没有交互功能的程序可以满足一定需求,不过大部分的程序是不能脱离交互功能的。程序依据使用者的操作进行相…

PbootCMS在搭建网站

1、打开网站 https://www.pbootcms.com/ 2、点击 “本站” 下载最新的网站代码 3、在本地laragon/www下创建目录(hejuwuye),并将代码放进去 4、创建本地数据库,数据库名称为: hejuwuye,然后将static/bac…

第三方软件测试机构有哪些测试服务软件测试报告收费标准是怎样的?

软件验收机构 一、什么是第三方软件测试机构? 第三方软件测试机构是区别于软件开发公司以及软件需求方的第三方机构,软件企业将软件测试外包给第三方软件测试机构已经成为了行业发展趋势。既省心省力,又降低企业成本,得出的软件测试结果以…

《机器学习核心算法》分类算法 - 朴素贝叶斯 MultinomialNB

「作者主页」:士别三日wyx 「作者简介」:CSDN top100、阿里云博客专家、华为云享专家、网络安全领域优质创作者 「推荐专栏」:小白零基础《Python入门到精通》 朴素贝叶斯 1、朴素贝叶斯API2、朴素贝叶斯算法实际应用2.1、获取数据集2.2、划分…

EasyPHP-Devserver-17安装和配置mantisBT

文章目录 1、准备工作2、安装easyphp2.1 http://127.0.0.1 无法访问 3、安装mantisBT和phpMyAdmin3.1 配置浏览器的访问url和端口号(配置局域网内可访问)3.2 安装mantis 4、Administrator 注册新用户时设置登录密码5、附件上传6、邮件配置 文章参考自&am…

前端开发工具:助力创造精彩Web体验

💂 个人网站:【工具大全】【游戏大全】【神级源码资源网】🤟 前端学习课程:👉【28个案例趣学前端】【400个JS面试题】💅 寻找学习交流、摸鱼划水的小伙伴,请点击【摸鱼学习交流群】 当涉及到前端开发工具时…

Spring Boot配置文件(YAML Properties)总结

文章目录 配置文件的作用YAML配置文件Properties配置文件配置文件的加载顺序激活不同的配置文件配置文件的占位符自定义配置属性加密敏感信息配置文件的最佳实践结论 🎉欢迎来到架构设计专栏~Spring Boot配置文件(YAML & Properties)总结…

C#控制台程序中使用log4.net来输出日志

Apache log4net 库是一个帮助程序员将日志语句输出到各种输出目标的工具。log4net 是优秀的 Apache log4j™ 框架到 Microsoft .NE​​T 运行时的端口。 我喜欢他可以自定义输出,区分等级等特点。 导入库 我们在工程里添加NuGet的包。输入名称log4net &#xff0…

【每日一题】852. 山脉数组的峰顶索引

852. 山脉数组的峰顶索引 - 力扣&#xff08;LeetCode&#xff09; 符合下列属性的数组 arr 称为 山脉数组 &#xff1a; arr.length > 3存在 i&#xff08;0 < i < arr.length - 1&#xff09;使得&#xff1a; arr[0] < arr[1] < ... arr[i-1] < arr[i] ar…

SpringMVC 的三种异常处理方式详解

目录 1. 什么是异常 2. 为什么要全局异常处理 3. SpringMVC异常分类 4. 异常处理思路 5. 三种异常处理方式示例 ① 配置 SimpleMappingExceptionResolver 处理器 ② 实现 HandlerExceptionResolver 接口 ③ 使用ControllerAdviceExceptionHandler实现全局异常 6. 响应…

如何在windows环境下编译T

一&#xff0c; 安装MYSYS2 1. 去https://www.msys2.org下载 msys2-x86_64-xxxxx.exe; 2. 按照msys2.org主页提示的步骤安装; 3.安装完默认起来的是 UCRT的&#xff0c; 可以根据环境的需要选择&#xff0c; 我选择的 MSYS2 MINGW64 4. 搭建编译环境&#xff0c; 安装对应的软…

18. 线性代数 - 线性变换

文章目录 线性空间线性变换线性变换的几何意义特征值与特征向量NumPy的矩阵操作Hi, 你好。我是茶桁。 经历了几节线性代数课程之后,终于咱们到了最后一节课了。本节课的内容说多不多,说少也不少。 我们先是要理解一下线性空间和线性变换,并且探讨一下线性变换的几何意义。…