大数据之ClickHouse

大数据之ClickHouse

简介

  • ClickHouse是一种列式数据库管理系统,专门用于高性能数据分析和数据仓库应用。它是一个开源的数据库系统,最初由俄罗斯搜索引擎公司Yandex开发,用于满足大规模数据分析和报告的需求。

特点

  • 开源的列式存储数据库管理系统,支持线性扩展,简单方便,高可靠性
  • 容错跑分快:可处理的数据级别达到10亿级别
  • 功能多:支持数据统计分析各种场景,支持类SQL查询,异地复制部署

优点

  • 真正的面向列的DBMS,不是一个单一的数据库,它允许在运行时创建表和数据库、加载数据和运行查询,而无需重新配置和重新启动服务器
  • 使用数据压缩,提高了性能
  • 磁盘存储数据
  • 多核并行处理:多核多节点并行化大型查询
  • 在多个服务器上分布式处理:数据可以驻留在不同的分片上,每个分片都可以用于容错的一组副本,查询会在所有分片上进行处理
  • SQL支持:基本语法跟SQL语法兼容
  • 向量化引擎:数据不仅按列式存储,而且由矢量-列的部分进行处理,这使得开发者能够实现高CPU性能
  • 实时数据更新:为了快速执行对主键范围的查询,数据使用合并数(MergeTree)进行递增排序
  • 支持近似计算
  • 数据复制和对数据完整性的支持:使用异步多主复制,写入任何可用的副本后,数据将分发到所有剩余的副本。系统在不同的副本上保持相同的数据,数据在失败后自动恢复

缺点

  • 没有完整的事务支持,不支持Transaction
  • 缺少完整Update/Delete操作,缺少高频率、低延迟的修改或删除已存在数据的能力,仅用于批量删除或修改数据
  • 聚合结果必须小于一台机器的内存大小
  • 支持有限操作系统
  • 不适合Key-value存储,不支持Blob等文档型数据库

系统架构

  • ClickHouse是一个真正的列式数据库管理系统。在ClickHouse中,数据始终是按列存储的,包括矢量执行的过程。

Column与Field

  • Column和Field是ClickHouse数据最基础的映射单元。内存中的一列数据由一个Column对象表示。
  • Column对象分为接口和实现两部分,在IColumn接口对象中,定义了对数据进行各种关系运算的方法。
  • ClickHouse是以整列的方式操作数据,如果需要操作单个具体的数值,也就是单列中的一行数据时,则需要使用Field对象,Field对象代表一个单值。
  • Column对象使用的是泛化设计思路,Field对象使用的是聚合的设计思路。

数据类型DataType

  • IDataType负责序列化和反序列化:读写二进制或文本形式的列或单个值构成的块。直接与表的数据类型相对应
  • IDataTypeIColumn之间的关联并不大。不同的数据类型在内存中能够用相同的IColumn实现来表示。
  • IDataType仅存储元数据。
  • 数据的序列化和反序列化工作由DataType负责。IDataType接口定义了许多正反序列化的方法,它们成对出现。IDataType使用的是泛化的设计模式,具体方法的实现逻辑由对应数据类型的实例承载。
  • DataType虽然负责序列化相关工作,但它并不直接负责数据的读取,而是转由从Column或Field对象获取。

块Block

  • Block是表示内存中表的子集的容器,是由IColumnIDataType列名构成的集合
  • ClickHouse内部的数据操作是面向Block对象进行的,并且采用了流的形式。

块流BlockStreams

  • 块流用来处理数据,它可以从某个地方读取数据,执行数据转换,或将数据写到某个地方

  • Block流操作的两组顶层接口:

    • IBlockInputStream负责数据的读取和关系运算, IBlockInputStream 具有 read 方法,其能够在数据可用时获取下一个块。
    • IBlockOutputStream负责将数据输出到下一环节。 IBlockOutputStream 具有 write 方法,其能够将块写到某处。
  • IBlockInputStream接口的实现类大致可以分为三类:

    • 第一类用于处理数据定义的DDL操作
    • 第二类用于处理关系运算的相关操作
    • 第三类则是与表引擎呼应,每一种表引擎都拥有与之对应的BlockInputStream实现

Formats格式

  • 数据格式同块流一起实现。用于向客户端输出数据的展示格式

数据读写I/O

  • ReadBufferWriteBuffer两个抽象类来面向字节输入输出
  • 它们是由一个连续的缓冲区和指向缓冲区中某个位置的一个指针组成,它们用于处理文件、文件描述符和网络套接字,也用于实现压缩等。

数据表Table

  • 表由IStorage接口表示。该接口的不同实现对应不同的表引擎。
  • 表引擎是ClickHouse的一个显著特性,不同的表引擎由不同的子类实现。
  • 表的read方法能够返回多个IBlockInputStream对象以允许并行处理数据。多个块输入流能够从一个表中并行读取。
  • AST查询被传递给read方法,表引擎可以使用它来判断是否能够使用索引,从而从表中读取更少的数据。

解析器Parser

  • 查询由一个手写递归下降解析器解析。
  • 解析器创建AST

解释器Interpreter

  • 解释器负责从AST创建查询执行流水线。
  • 查询执行流水线由块输入或输出流组成。
  • Parser分析器可以将一条SQL语句以递归下降的方法解析成AST语法树的形式。不同的SQL语句,会经由不同的Parser实现类解析。

函数Functions

  • ClickHouse主要提供两类函数

    • 普通函数Functions

      • 不会改变行数,它们的执行看起来就像是独立地处理每一行数据。
      • 实际上,函数不会作用于一个单独的行上,而是作用在以Block为单位的数据上,以实现向量查询执行。
      • 普通函数采用向量化的方式直接作用于一整列数据。
    • 聚合函数Aggregate Functions

      • 聚合函数是状态函数,它们将传入的值激活到某个状态,并允许你从该状态获取结果。
      • 聚合状态可以被序列化和反序列化,以在分布式查询执行期间通过网络传递或者在内存不够的时候将其写到硬盘。

Cluster与Replication

  • ClickHouse的集群由分片(Shard)组成,而每个分片又通过副本(Replica)组成。
  • ClickHouse的1个节点只能拥有1个分片,也就是说如果要实现1分片、1副本,则至少需要部署2个服务节点。
  • 分片只是一个逻辑概念,其物理承载还是由副本承担的。

MergeTree

  • ClickHouse拥有非常庞大的表引擎体系,其共拥有合并树、外部存储、内存、文件、接口和其他6大类20多种表引擎。
  • 合并树家族自身也拥有多种表引擎的变种。其中MergeTree作为家族中最基础的表引擎,提供了主键索引、数据分区、数据副本和数据采样等基本能力,而家族中其他的表引擎则在MergeTree的基础之上各有所长。

创建与存储

  • MergeTree在写入一批数据时,数据总会以数据片段的形式写入磁盘,且数据片段不可修改。
  • 为了避免片段过多,ClickHouse会通过后台线程,定期合并这些数据片段,属于相同分区的数据片段会被合并成一个新的片段。
  • 这种数据片段往复合并的特点,也正式合并树名称的由来。
  • MergeTree表引擎中的数据是拥有物理存储的,数据会按照分区目录的形式保存到磁盘之上

数据分区

数据分区规则

  • MergeTree数据分区的规则由分区ID决定,而具体到每个数据分区所对应的ID,则是由分区键的取值决定的。

  • 分区键支持使用任何一个或一组字段表达式声明。

  • 分区ID的生成逻辑有四种规则:

    • 不指定分区键:如果不适用分区键,则分区ID默认取名为all,所有的数据都会被写入这个all分区。
    • 使用整型:如果分区键取值属于整型,且无法转换为日期类型YYYYMMDD格式,则直接按照该整型的字符形式输出,作为分区ID的取值。
    • 使用日期类型:如果分区键取值属于日期类型,或者是能够转换为YYYYMMDD格式的整型,则使用按照YYYYMMDD进行格式化后的字符形式输出,并作为分区ID的取值。
    • 使用其他类型:如果分区键取值既不属于整型,也不属于日期类型,则通过128位Hash算法取其Hash值作为分区ID的取值。

分区目录命名

  • 一个完整分区目录的命名公式

  • 在这里插入图片描述

    • 201905表示分区目录的ID
    • 1_1分别表示最小的数据块编号与最大的数据块编号
    • 而最后的_0则表示目前合并的层级
    • PartitionID:分区ID
    • MinBlockNum和MaxBlockNum:最小数据块编号与最大数据块编号
    • Level:合并的层级,可以理解为某个分区被合并过的次数,或者这个分区的年龄。数值越高表示年龄越大

分区目录合并

  • 首先,MergeTree的分区目录并不是在数据表被创建之后就存在的,而是在数据写入过程中被创建的,也就是说,如果一张数据表没有任何数据,那么也不会有任何分区目录存在。

  • 其次,它的分区目录在建立之后也并不是一成不变的。

    • 在其他某些数据库的设计中,追加数据后目录自身不会发生变化,只是在相同分区目录中追加新的数据文件。而MergeTree完全不同,伴随着每一批数据的写入,MergeTree都会生成一批新的分区目录。
    • 即便不同批次写入的数据属于相同分区,也会生成不同的分区目录。
    • 之后,ClickHouse会通过后台任务再将属于相同分区的多个目录合并成一个新的目录。
    • 已经存在的旧分区目录并不会立即被删除,而是在之后的某个时刻通过后台任务被删除(默认8分钟)。

一级索引

  • 稠密索引中每一行索引标记都会对应到一行具体的数据记录。
  • 稀疏索引中每一行索引标记对应的是一段数据,而不是一行。
  • 稀疏索引的优势在于它仅需使用少量的索引标记就能够记录大量数据的区间位置信息,且数据量越大优势越明显。

索引查询过程

  • MarkRange在ClickHouse中是用于定义标记区间的对象。

  • MergeTree按照index_granularity的间隔粒度,将一段完整的数据划分成了多个小的间隔数据段,一个具体的数据段即是一个MarkRange。

  • MarkRange与索引编号对应,使用start和end两个属性表示其区间范围。

  • 通过与start及end对应的索引编号的取值,即能够得到它所对应的数值区间。而数值区间表示了此MarkRange包含的数据范围。

  • 查询步骤

    • 生成查询条件区间:首先,将查询条件转换为条件区间。

    • 递归交集判断:以递归的形式,一次对MarkRange的数值区间与条件区间做交集判断。

      • 如果不存在交集,则直接通过剪枝算法优化此整段MarkRange。
      • 如果存在交集,且MarkRange步长大于8(end-start),则将此区间进一步拆分成8个子区间,并重复此规则,继续做递归交集判断。
      • 如果存在交集,且MarkRange不可再分解(步长小于8),则记录MarkRange并返回。
    • 合并MarkRange区间:将最终匹配的MarkRange聚在一起,合并它们的范围。

二级索引

  • 二级索引又称跳数索引,由数据的聚合信息构建而成。
  • 根据索引类型的不同,其聚合信息的内容也不同。跳数索引的目的与一级索引一样,也是帮助查询时减少数据扫描的范围。

粒度

  • 首先,按照index_granularity粒度间隔将数据划分成n段,总共有[0,n-1]个区间
  • 接着,根据索引定义时声明的表达式,从0区间开始,一次按index_granularity粒度从数据中获取聚合信息,每次向前移动1步,聚合信息逐步累加。
  • 最后,当移动granularity次区间时,则汇总并生成一行跳数索引数据。

分类

  • minmax:记录了一段数据内的最小和最大极值,其索引的作用是能够快速跳过无用的数据区间。
  • set:直接记录了声明字段或表达式的取值,其完整形式为set(max_rows),其中max_rows是一个阈值,表示在一个index_granularity内,索引最多记录的数据行数。
  • ngrambf_v1:记录的是数据短语的布隆表过滤器,只支持String和FixedString数据类型。
  • tokenbf_v1:是ngrambf_v1的升级版,同样也是一种布隆过滤器索引,会自动按照非字符的、数字的字符串分割token。

数据存储

列式存储

  • 在MergeTree,数据按列存储。而具体到每个列字段,数据也是独立存储的,每个列字段都拥有一个与之对应的.bin数据文件。这些.bin文件也是最终承载着数据的物理存储。

  • 数据文件以分区目录的形式被组织存放,所以在.bin文件中只会保存当前分区片段内的这一部分数据。

  • 优势:

    • 可以更好地进行数据压缩
    • 能够最小化数据扫描的范围
  • 存储方式

    • 首先,数据是经过压缩的,默认使用LZ4算法
    • 其次,数据会事先依照ORDER BY的声明排序
    • 最后,数据是以压缩数据块的形式被组织并写入.bin文件中的

数据压缩

  • 一个压缩数据块由头信息和压缩数据两部分组成。

    • 头信息固定使用9位字节表示,具体由1个UInt8(1字节)整型和2个UInt32(4字节)整型组成,分别代表使用的压缩算法类型、压缩后的数据大小和压缩前的数据大小
    • 每个压缩数据块的体积,按照其压缩前的数据字节大小,都被严格控制在64KB~1MB
    • 一个压缩数据块最终的大小,和一个间隔(index_granularity)内数据的实际大小相关
  • 数据写入过程

    • MergeTree在数据具体的写入过程中,会依照索引粒度(默认情况下,每次取8192行),按批次获取数据并进行处理
    • 单个批次数据size<64KB :如果单个批次数据小于64KB,则继续获取下一批数据,直至累积到size>=64KB时,生成下一个压缩数据块
    • 单个批次数据64KB<=size<=1MB :如果单个批次数据大小恰好在64KB与1MB之间,则直接生成下一个压缩数据块
    • 单个批次数据size>1MB :如果单个批次数据直接超过1MB,则首先按照1MB大小截断并生成下一个压缩数据块。剩余数据继续依照上述规则执行
  • 优势:

    • 其一,虽然数据被压缩后能够有效减少数据大小,降低存储空间并加速数据传输效率,但数据的压缩和解压动作,其本身也会带来额外的性能损耗。所以需要控制被压缩数据的大小,以求在性能损耗和压缩率之间寻求一种平衡。
    • 其二,在具体读取某一列数据时(.bin文件),首先需要将压缩数据加载到内存并解压,这样才能进行后续的数据处理。通过压缩数据块,可以在不读取整个.bin文件的情况下将读取粒度降低到压缩数据块级别,从而进一步缩小数据读取的范围。

数据读写流程

写入数据

  • 数据写入的第一步是生成分区目录,伴随着每一批数据的写入,都会生成一个新的分区目录。在后续的某一时刻,属于相同分区的目录会依照规则合并到一起;接着,按照index_granularity索引粒度,会分别生成primary.idx一级索引、每一个列字段的.mrk数据标记和.bin压缩数据文件。

查询数据

  • 数据查询的本质,可以看作一个不断减小数据范围的过程。在最理想的情况下,MergeTree首先可以依次借助分区索引、一级索引和二级索引,将数据扫描范围缩至最小。然后再借助数据标记,将需要解压与计算的数据范围缩至最小。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/306797.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2024年mathorcup(妈妈杯)数学建模C题思路-物流网络分拣中心货量预测及人员排班

# 1 赛题 C 题 物流网络分拣中心货量预测及人员排班 电商物流网络在订单履约中由多个环节组成&#xff0c;图 ’ 是一个简化的物流 网络示意图。其中&#xff0c;分拣中心作为网络的中间环节&#xff0c;需要将包裹按照不同 流向进行分拣并发往下一个场地&#xff0c;最终使包裹…

外观模式:简化复杂系统的统一接口

在面向对象的软件开发中&#xff0c;外观模式是一种常用的结构型设计模式&#xff0c;旨在为复杂的系统提供一个简化的接口。通过创建一个统一的高级接口&#xff0c;这个模式帮助客户端通过一个简单的方式与复杂的子系统交互。本文将详细介绍外观模式的定义、实现、应用场景以…

云原生(八)、Kubernetes基础(一)

K8S 基础 # 获取登录令牌 kubectl create token admin --namespace kubernetes-dashboard1、 NameSpace Kubernetes 启动时会创建四个初始名字空间 default:Kubernetes 包含这个名字空间&#xff0c;以便于你无需创建新的名字空间即可开始使用新集群。 kube-node-lease: 该…

PostgreSQL15 + PostGis + QGIS安装教程

目录 下载1、PostgreSQL安装1.1、环境变量配置 2、PostGIS安装2.1、安装插件 3、QGIS下载3.1、安装3.2、测试 下载 PostgreSQL15安装&#xff1a;下载地址 PostGIS安装&#xff1a;下载地址&#xff08;倒数第二个&#xff09; 1、PostgreSQL安装 下载安装包之后一直点下一步…

Python 全栈系列239 使用消息队列完成分布式任务

说明 在Python - 深度学习系列32 - glm2接口部署实践提到&#xff0c;通过部署本地化大模型来完成特定的任务。 由于大模型的部署依赖显卡&#xff0c;且常规量级的任务需要大量的worker支持&#xff0c;从成本考虑&#xff0c;租用算力机是比较经济的。由于任务是属于超高计…

AR地图导览小程序是怎么开发出来的?

在移动互联网时代&#xff0c;AR技术的发展为地图导览提供了全新的可能性。AR地图导览小程序结合了虚拟现实技术和地图导航功能&#xff0c;为用户提供了更加沉浸式、直观的导览体验。本文将从专业性和思考深度两个方面&#xff0c;探讨AR地图导览小程序的开发方案。 编辑搜图 …

【大语言模型】基础:如何处理文章,向量化与BoW

词袋模型&#xff08;BoW&#xff09;是自然语言处理&#xff08;NLP&#xff09;和机器学习中一种简单而广泛使用的文本表示方法。它将文本文档转换为数值特征向量&#xff0c;使得可以对文本数据执行数学和统计操作。词袋模型将文本视为无序的单词集合&#xff08;或“袋”&a…

给现有rabbitmq集群添加rabbitmq节点

现有的&#xff1a;10.2.59.216 rabbit-node1 10.2.59.217 rabbit-node2 新增 10.2.59.199 rabbit-node3 1、分别到官网下载erlang、rabbitmq安装包&#xff0c;我得版本跟现有集群保持一致。 erlang安装包&#xff1a;otp_src_22.0.tar.gz rabbitmq安装包&#xff1…

华为海思校园招聘-芯片-数字 IC 方向 题目分享——第三套

华为海思校园招聘-芯片-数字 IC 方向 题目分享——第三套 (共9套&#xff0c;有答案和解析&#xff0c;答案非官方&#xff0c;未仔细校正&#xff0c;仅供参考&#xff09; 部分题目分享&#xff0c;完整版获取&#xff08;WX:didadidadidida313&#xff0c;加我备注&#x…

c++编程(3)——类和对象(1)、类

欢迎来到博主的专栏——c编程 博主ID&#xff1a;代码小豪 文章目录 类对象类的访问权限类的作用域 类 c最初对c语言的扩展就是增加了类的概念&#xff0c;使得c语言在原有的基础之上可以做到信息隐藏和封装。 那么我们先来讲讲“带类的c”与C语言相比有什么改进。 先讲讲类…

Golang | Leetcode Golang题解之第24题两两交换链表中的节点

题目&#xff1a; 题解&#xff1a; func swapPairs(head *ListNode) *ListNode {dummyHead : &ListNode{0, head}temp : dummyHeadfor temp.Next ! nil && temp.Next.Next ! nil {node1 : temp.Nextnode2 : temp.Next.Nexttemp.Next node2node1.Next node2.Nex…

论文阅读:Polyp-PVT: Polyp Segmentation with PyramidVision Transformers

这篇论文提出了一种名为Polyp-PVT的新型息肉分割框架&#xff0c;该框架采用金字塔视觉变换器&#xff08;Pyramid Vision Transformer, PVT&#xff09;作为编码器&#xff0c;以显式提取更强大的特征。本模型中使用到的关键技术有三个&#xff1a;渐进式特征融合、通道和空间…

【vue】watch 侦听器

watch&#xff1a;可监听值的变化&#xff0c;旧值和新值 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><titl…

【opencv】示例-imgcodecs_jpeg.cpp使用OpenCV库来创建和处理图像,并保存为不同JPEG采样因子的版本...

上层-原始图像 下层&#xff1a;编码解码后的lossy_img #include <opencv2/core.hpp> // 包含OpenCV核心功能的头文件 #include <opencv2/imgproc.hpp> // 包含OpenCV图像处理功能的头文件 #include <opencv2/imgcodecs.hpp> // 包含OpenCV图像编码解码功能…

平板设备IP地址设置指南

在数字化时代&#xff0c;平板电脑作为便携且功能强大的设备&#xff0c;广泛应用于日常生活和工作中。为了确保平板能够正常接入网络并与其他设备进行通信&#xff0c;正确设置IP地址是至关重要的。虎观小二将为您介绍如何设置平板的IP地址&#xff0c;帮助您轻松完成网络配置…

大创项目推荐 深度学习+opencv+python实现车道线检测 - 自动驾驶

文章目录 0 前言1 课题背景2 实现效果3 卷积神经网络3.1卷积层3.2 池化层3.3 激活函数&#xff1a;3.4 全连接层3.5 使用tensorflow中keras模块实现卷积神经网络 4 YOLOV56 数据集处理7 模型训练8 最后 0 前言 &#x1f525; 优质竞赛项目系列&#xff0c;今天要分享的是 &am…

数字IC/FPGA——锁存器/触发器/寄存器

本文主要介绍以下几点&#xff1a; 什么是触发器和锁存器门电路和触发器的区别什么是电平钟控触发器电平钟控触发器触发器和锁存器的区别触发器的分类方式&#xff1a;逻辑功能、触发方式、电路结构、存储数据原理、构成触发器的基本器件寄存器利用移位寄存器实现串并转换或并…

WordPress LayerSlider插件SQL注入漏洞复现(CVE-2024-2879)

0x01 免责声明 请勿利用文章内的相关技术从事非法测试&#xff0c;由于传播、利用此文所提供的信息而造成的任何直接或者间接的后果及损失&#xff0c;均由使用者本人负责&#xff0c;作者不为此承担任何责任。工具来自网络&#xff0c;安全性自测&#xff0c;如有侵权请联系删…

LiveNVR监控流媒体Onvif/RTSP功能-概览负载统计展示取流中、播放中、录像中点击柱状图快速定位相关会话

LiveNVR概览负载统计展示取流中、播放中、录像中点击柱状图快速定位相关会话 1、负载信息说明2、快速定位会话3、RTSP/HLS/FLV/RTMP拉流Onvif流媒体服务 1、负载信息说明 实时展示取流中、播放中、录像中等使用数目 取流中&#xff1a;当前拉流到平台的实时通道数目播放中&am…

基于单片机的智能锁芯报警系统设计

摘 要:在传统的智能锁芯报警系统中,存在响应时间较长的问题,为此,提出一种基于单片机的智能锁芯报警系统。通过控制模块、智能锁芯设置模块、报警模块、中断模块、液晶模块等,建立系统总体框架,根据系统总体框架,通过单片机、电源适配器、智能锁芯、报警器、LED灯等…