公司要使用新的大数据架构,打算用国产代替国外的大数据平台。所以这里我就纠结用doris还是starrocks,如果用doris,因为是开源的,以后就可以直接用云厂商的。如果用starrocks就得自己搭建,但是以后肯定会商业化,也是要收钱的。doris我以前用过,没用过starRocks,想试下是不是真的像下面参考链接里的高性能,所以我选择了starrocks。用他来做数仓,代替我们以前cdh里的hive-presto或者kudu-impala。
大家觉得starRocks可以替代hive吗?我觉得是可以的,hadoop那一套的都是20年前google玩腻的了,hadoop那套组件太多了,好处就是非常稳定,20年了,几乎遇到的大bug都修完了。彻底不用hadoop那套,可以用starRocks代替。
检测cpu是否支持
cat /proc/cpuinfo | grep avx2
如果什么都没有打印,那么你可以换cpu了。
Be是负责计算的,你没有这个指令集,那么部署不了
介绍
startrocks是做【数据分析】的【数据仓库】,可以替代传统的hive,他具有向量化,MMP架构的列式存储引擎,支持实时分析,并发计算。兼容mysql协议,可使用mysql客户端对接。支持水平扩展。全系统无外部依赖,也就是不需要zookeeper来管理,或者元数据存在mysql,只用维护自身。
他不适合做事务操作,比如更新等操作,用来分析的数据都是写入了就不变的,比如日志数据,或者是体检报告等。
向量化:指的是将数据向量化后,cpu原本只能处理一条,现在可以同时处理多条
MPP架构:大规模并行处理架构,将数据拆分给多台机器一起执行,处理大量数据
列式存储引擎:将列进行管理,支持大宽表存储和分析,mysql就不行,字段多了就崩了,单独查列很快,可以实时更新列
实时分析:查询分析速度比较快,毫秒级
mysql客户端对接:比如navicat,或者jdbc都可以直接链接它?待验证
水平扩展:1台太弱,我可以继续加机器,让他分析能力变强
支持以下BI对接:包括 Tableau、Power BI、FineBI 和 Smartbi。
作为实时数仓,他只能【秒级】同步数据,可以实时【毫秒级】查询。
系统架构(维护以及搭建必看)
系统的核心只有 FE(Frontend)、BE (Backend) 或 CN (Compute Node) 进程。
前端(显示界面)、后端(逻辑控制)、节点
3.0后支持了存算分离,存储持久化数据必须放到hdfs上。当然你也可以选择存算一体。
3.0同样支持这两种架构。
这2个有啥区别,存算一体的话,你必须将【数据复制】到startRocks里一份,存算分离的话,你【直接用hdfs】的数据就行了。少了一步复制,存算分离的话更加省钱,省磁盘,更好的动态扩容,扩容就不用管存储了,直接扩容计算节点就行。缺点就是要多维护一套外源数据。
不支持混合部署,存算一体选择了,就不能弄存算分离了。
Fe负责协调、和目录管理
存算一体
Be负责存储和计算
Fe(详细版):
负责管理元数据,管理客户端的连接,查询规划、查询调度。
FE的元数据是存储在内存里的,磁盘中也有一份。
FE有3种角色,leader,follower,observer
Leader是选举出来的,他负责读写。然后写入后,将元数据更新完,同步给follwer和observer,只有一半的follwer成功了才算成功。
Follwer没有写入权限,只有读取权限
Observer和follwer一样,可选部署,能提高查询速度,不参与选举,相当于是如虎添翼
Be(详细版):
每个BE是一样的(没有啥leader,follwer),但是并不是每一个be都有完整的数据,BE负责是存储和计算,FE将数据分配到BE,BE将他存下来,并且生成索引。
Be计算,会将sql根据语法意思,分成逻辑单元(代码层面),然后根据数据分布变成物理单元(硬件层面),然后会在本地执行。
元数据:这个不会没人知道吧,说实话我都不想写,只是为了照顾小白。比如这个数据是什么类型的,是字符串还是数字,这就是元数据,用来修饰数据的数据。
查询规划:计划要消耗多少性能,用什么sql,进行优化,转换成物理计划
查询调度:选择哪台be去执行这个物理计划
存算提一体数据管理
starRocks最小的存储单元叫做tablet。我们可以自行分区,然后指定分桶。
图中是按时间列分区,然后对指定4个字段进行分桶(4列,其实用1列都可以),然后指定了3个副本,每个列的数据每个单元数据,分布在不同的节点下。A-1和A-2还有A-3都是相同的数据,是A的备份。
他扩容的时候,不需要停止服务,增加节点会自动迁移,节点减少时也会自动均横分布数据。
存算分离
引入了【缓存】的概念,Be【只】负责计算,然后改名叫做Cn(计算节点-compute node)
缓存:会自动根据查询频率将数据进行动态变化
动态变化:分为3级,内存,本地,外源。最热的数据在内存中,然后其他是本地磁盘中,然后冷数据(不经常用的)在外源中。随着你的访问频率进行动态数据调整
存算分离建表时候,需要告诉他是否开启缓存。
支持以下后端存储:
- 兼容 AWS S3 协议的对象存储系统(支持主流的对象存储系统如 AWS S3、Google GCP、阿里云 OSS、腾讯云 COS、百度云 BOS、华为云 OBS 以及 MinIO 等)
- Azure Blob Storage
- 传统数据中心部署的 HDFS
这里官网的系统架构的每句话,我都已经用自己话讲完了。下面开始搭建。
快速上手体验
他是用docker容器帮你打包好环境了,所以可以直接启动。
首先安装docker,至少4G内存,10GB空间。
我们服务器的cpu不支持avx2,这里我在下虚拟机,打算在windows上面弄一个Ubuntu.22,因为我个人电脑是支持avx2的。---等我下载完,在开始写后面的。
参考:
📚 【源码解析】StarRocks 查询优化系列文章 - 原理解读 - StarRocks中文社区论坛
StarRocks | StarRocks
部署前提条件 | StarRocks
https://www.cnblogs.com/huanghanyu/p/18186894