pika：适用于大数据量持久化的类redis组件｜简介及安装（一）

文章目录

  • 0. 引言
  • 1. pika简介
  • 2. pika安装
  • 3. pika设置开机自启
  • 4. pika主从搭建
  • 5. pika哨兵模式实现自动容灾
  • 总结

0. 引言

最近因为公司中用到pika组件，于是将研究过程和理解进行系统记录，以供后续参考。

1. pika简介

pika是360开发的一款国产类redis的非关系型数据库，主要用来解决redis在大内存下产生的启动恢复时间长、一主多从代价大、缓存区容易写满等问题。适用于大数据量下的数据查询，比如日志、汇总数据、各种全量数据等。

需要注意的是pika是类redis的，也就意味着它兼容redis的大部分指令和客户端

其支持的客户端可以在github源码库中查看到，以java为例，比较常用的redis客户端jedis，redission都支持pika
源码库地址：https://github.com/OpenAtomFoundation/pika/wiki/%E6%94%AF%E6%8C%81%E7%9A%84%E8%AF%AD%E8%A8%80%E5%92%8C%E5%AE%A2%E6%88%B7%E7%AB%AF

这就意味着，对于pika的客户端对接和使用，可以直接参考redis

在这里插入图片描述
pika和redis一样，同样支持5种数据类型string、hash、list、set、zset。针对各数据结构的指令支持情况可见下图
在这里插入图片描述
更多可见官方对pika 支持的redis接口及兼容情况的描述
https://github.com/OpenAtomFoundation/pika/wiki/pika-%E6%94%AF%E6%8C%81%E7%9A%84redis%E6%8E%A5%E5%8F%A3%E5%8F%8A%E5%85%BC%E5%AE%B9%E6%83%85%E5%86%B5

pika特性

  • 协议兼容：完全兼容 Redis 协议，且极力追求高性能、大容量、低成本、大规模
  • 数据结构：支持 Redis 的常用数据结构 String、Hash、List、Zset、Set、Geo、Hyperloglog、Pubsub、Bitmap、Stream、ACL etc
  • 冷热数据：对热数据做缓存，将全量数据持久化存储到 RocksDB，并且实现冷热分级存储
  • 极大容量：相比于 Redis 的内存存储方式，Pika 支持百 GB 的数据量级，能极大减少服务器资源占用，增强数据的可靠性
  • 部署方式：单机主从模式(slaveof)和 Codis 集群模式，扩缩容简单
  • 迁移简单：不用修改代码即可平滑从 Redis 迁移到 Pika
  • 便于运维：完善的运维命令文档

2. pika安装

下面我们针对pika单机版的安装来进行详细叙述

1、下载安装包，这里我选择了3.5.3版本，tar.gz压缩版中只有一个pika执行文件，缺少配置文件和工具包，所以选择bz2版更加方便
下载地址

在这里插入图片描述

2、解压bz2格式的需要提前安装一个bzip2工具

yum install -y bzip2

3、创建个路径用来安装pika， 然后解压安装包

mkdir /data/pika
tar -xvf pika-linux-x86_64-v3.5.3.tar.bz2

解压后可以看到有一个output路径
在这里插入图片描述

4、我们修改一下配置文件中的配置项

thread-num : 4 # 调整为cpu核数值
thread-pool-size : 12 # 一般该值为thread-num的1.5倍，这里我没有调整，直接使用的默认值log-path : /data/pika/output/log/ # 日志文件路径，指定为绝对路径，防止因执行路径不同导致的文件变化
db-path : /data/pika/output/db/  # 数据文件路径，指定为绝对路径，防止因执行路径不同导致的文件变化pidfile : /data/pika/output/pika.pid #  pid文件目录
dump-path : /data/pika/output/dump/ # dump目录设置, bgsave后生成的文件将存放在该目录中
db-sync-path : /data/pika/output/dbsync/ # db 同步路径配置参数


pika中的各配置项，可以参加官方说明
https://github.com/OpenAtomFoundation/pika/wiki/pika-%E9%85%8D%E7%BD%AE%E6%96%87%E4%BB%B6%E8%AF%B4%E6%98%8E

在这里插入图片描述

同时pika的相关参数调优可以参考https://github.com/OpenAtomFoundation/pika/discussions/1970?sort=old

在这里插入图片描述

5、可以通过如下指令手动启动pika

./output/bin/pika -c ./output/conf/pika.conf

可以用各类redis客户端对pika进行连接测试
在这里插入图片描述

至此，pika就安装成功了，但在服务器中运行时，为了防止断电、重启等导致的宕机，我们还要设置pika的开机自启

3. pika设置开机自启

1、创建pika.service文件

vi /usr/lib/systemd/system/pika.service

并编辑内容

[Unit]
Description=pika server
Requires=network.target
After=network.target[Service]
Type=forking
WorkingDirectory=/data/pika/output
ExecStart=/data/pika/output/bin/pika -c /data/pika/output/conf/pika.conf
Restart=always[Install]
WantedBy=multi-user.target

2、创建pika.service.d目录

mkdir /etc/systemd/system/pika.service.d

创建limit.conf文件

cat > /etc/systemd/system/pika.service.d/limit.conf <<EOF
# If you need to change max open file limit
# for example, when you change maxclient in configuration
# you can change the LimitNOFILE value below
# see "man systemd.exec" for information[Service]
LimitNOFILE=65536
EOF

3、最后因为要后台启动pika, 我们还需要修改pika中的配置项

vi /data/pika/output/conf/pika.conf

将daemonize设置为yes，即让pika允许后台启动
在这里插入图片描述
4、接下来就可以通过systemctl指令启动、停止pika服务了

# 停止
systemctl stop pika
# 启动
systemctl start pika
# 重启
systemctl restart pika
# 检查启动状态
systemctl status pika

5、添加到开机自启

systemctl enable pika

6、如果启动过程有问题，可以查看output/log下的日志文件进行排查

4. pika主从搭建

pika的主从搭建很简单，与redis类似，只需要在从节点中增加一个slaveof配置即可

1、首先我们先按照上诉步骤，再搭建一个节点

2、然后修改该节点配置文件

port : 9222 # 我这里直接在同一台服务器启动的从节点，所以调整一下端口，如果在不同服务器则不用调整
log-path : /data/pika/output2/log/ #  声明日志文件路径
db-path : /data/pika/output2/db/ # 声明数据文件路径slaveof : 192.168.x.x:9221 # 主节点ip和端口 # 该配置项只在从节点配置，配置后从节点会从该主节点同步数据

在这里插入图片描述
其他与主从相关的配置，大家可以根据需要调整

# sync 主从同步时候从库执行主库传递过来命令的线程数量
sync-thread-num : 6# 同步验证密码, 用于slave(从库)连接master(主库)请求同步时进行验证, 该参数需要与master(主库)的requirepass一致
masterauth :# 主从同步流量控制的的窗口，主从高延迟情形下可以通过提高该参数提高同步性能。默认值9000最大值90000。
sync-window-size : 9000# 处理客户端连接请求的最大缓存大小，可配置的数值为67108864(64MB) 或 268435456(256MB) 或 536870912(512MB)
# 默认是268435456(256MB)，需要注意的是主从的配置需要一致。
# 单条命令超过此buffer大小，服务端会自动关闭与客户端的连接。
max-conn-rbuf-size : 268435456

3、启动从节点，查看其log/pika.INFO日志可以看到数据同步记录
在这里插入图片描述
至此主从节点就搭建完了，要实现完整的容灾，还可以搭建哨兵模式

5. pika哨兵模式实现自动容灾

根据官方的描述，pika哨兵模式与redis完全一致，所以这里不再累诉，大家可以参考这篇文章：

redis进阶：哨兵模式工作原理及搭建: https://wu55555.blog.csdn.net/article/details/127797798

总结

至此pika安装就完成了，下节我们来看看如何在java项目中集成pika

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/488335.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

LNMP和Discuz论坛

LNMP和Discuz论坛

文章目录 LNMP和Discuz论坛1 LNMP搭建1.1 编译安装nginx服务1.1.1 编译安装1.1.2 添加到系统服务 1.2 编译安装MySQL服务1.2.1 准备工作1.2.2 编辑配置文件1.2.3 设置路径环境变量1.2.4 数据库初始化1.2.5 添加mysqld系统服务1.2.6 修改mysql的登录密码 1.3 编译安装PHP服务1.3…
阅读更多...
Yocto 项目运行超出 BitBake 范围的内容

Yocto 项目运行超出 BitBake 范围的内容

尽管 Yocto 项目依赖 BitBake 解析和调度元数据来完成构建&#xff0c;但在实际开发中&#xff0c;可能需要执行超出 BitBake 直接管理范围的任务。例如&#xff0c;调用外部脚本或工具完成一些特定的处理逻辑&#xff0c;如生成配置文件、执行硬件初始化脚本或调用第三方构建工…
阅读更多...
SpringBoot+OSS文件(图片))上传

SpringBoot+OSS文件(图片))上传

SpringBoot整合OSS实现文件上传 以前,文件上传到本地(服务器,磁盘),文件多,大,会影响服务器性能 如何解决? 使用文件服务器单独存储这些文件,例如商业版–>七牛云存储,阿里云OSS,腾讯云cos等等 也可以自己搭建文件服务器(FastDFS,minio) 0 过程中需要实名认证 … 1 开…
阅读更多...
生产慎用之调试日志对空间矢量数据批量插入的性能影响-以MybatisPlus为例

生产慎用之调试日志对空间矢量数据批量插入的性能影响-以MybatisPlus为例

目录 前言 一、一些缘由 1、性能分析 二、插入方式调整 1、批量插入的实现 2、MP的批量插入实现 3、日志的配置 三、默认处理方式 1、基础程序代码 2、执行情况 四、提升调试日志等级 1、在logback中进行设置 2、提升后的效果 五、总结 前言 在现代软件开发中&#xff0c;性能优…
阅读更多...
SQL 在线格式化 - 加菲工具

SQL 在线格式化 - 加菲工具

SQL 在线格式化 打开网站 加菲工具 选择“SQL 在线格式化” 或者直接访问 https://www.orcc.online/tools/sql 输入sql&#xff0c;点击上方的格式化按钮即可 输入框得到格式化后的sql结果
阅读更多...
汇编语言学习

汇编语言学习

文章目录 前言机器语言与机器指令汇编语言与汇编指令用汇编语言编写程序的工作过程注意事项 计算机组成指令和数据的表示计算机中的存储单元计算机中的总线三类总线X86 CPU性能一览 CPU对存储器的读写内存地址空间将各类存储器看作一个逻辑存储器 —— 统一编址内存地址空间的分…
阅读更多...
MATLAB深度学习(七)——ResNet残差网络

MATLAB深度学习(七)——ResNet残差网络

一、ResNet网络 ResNet是深度残差网络的简称。其核心思想就是在&#xff0c;每两个网络层之间加入一个残差连接&#xff0c;缓解深层网络中的梯度消失问题 二、残差结构 在多层神经网络模型里&#xff0c;设想一个包含诺干层自网络&#xff0c;子网络的函数用H(x)来表示&#x…
阅读更多...
【PHP】部署和发布PHP网站到IIS服务器

【PHP】部署和发布PHP网站到IIS服务器

欢迎来到《小5讲堂》 这是《PHP》系列文章&#xff0c;每篇文章将以博主理解的角度展开讲解。 温馨提示&#xff1a;博主能力有限&#xff0c;理解水平有限&#xff0c;若有不对之处望指正&#xff01; 目录 前言安装PHP稳定版本线程安全版解压使用 PHP配置配置文件扩展文件路径…
阅读更多...
SSM 校园一卡通密钥管理系统 PF 于校园图书借阅管理的安全保障

SSM 校园一卡通密钥管理系统 PF 于校园图书借阅管理的安全保障

摘 要 传统办法管理信息首先需要花费的时间比较多&#xff0c;其次数据出错率比较高&#xff0c;而且对错误的数据进行更改也比较困难&#xff0c;最后&#xff0c;检索数据费事费力。因此&#xff0c;在计算机上安装校园一卡通密钥管理系统软件来发挥其高效地信息处理的作用&a…
阅读更多...
TCP 2

TCP 2

文章目录 Tcp状态三次握手四次挥手理解TIME WAIT状态 如上就是TCP连接管理部分 流量控制滑动窗口快重传 延迟应答原理 捎带应答总结TCP拥塞控制拥塞控制的策略 -- 每台识别主机拥塞的机器都要做 面向字节流和粘包问题tcp连接异常进程终止机器重启机器掉电/网线断开 Tcp状态 建…
阅读更多...
【操作系统】实验二：观察Linux，使用proc文件系统

【操作系统】实验二：观察Linux，使用proc文件系统

实验二 观察Linux&#xff0c;使用proc文件系统 实验目的&#xff1a;学习Linux内核、进程、存储和其他资源的一些重要特征。读/proc/stat文件&#xff0c;计算并显示系统CPU占用率和用户态CPU占用率。&#xff08;编写一个程序使用/proc机制获得以及修改机器的各种资源参数。…
阅读更多...
【密码学】AES算法

【密码学】AES算法

一、AES算法介绍&#xff1a; AES&#xff08;Advanced Encryption Standard&#xff09;算法是一种广泛使用的对称密钥加密&#xff0c;由美国国家标准与技术研究院&#xff08;NIST&#xff09;于2001年发布。 AES是一种分组密码&#xff0c;支持128位、192位和256位三种不同…
阅读更多...
【学习笔记】目前市面中手持激光雷达设备及参数汇总

【学习笔记】目前市面中手持激光雷达设备及参数汇总

手持激光雷达设备介绍 手持激光雷达设备是一种利用激光时间飞行原理来测量物体距离并构建三维模型的便携式高科技产品。它通过发射激光束并分析反射回来的激光信号&#xff0c;能够精确地获取物体的三维结构信息。这种设备以其高精度、适应各种光照环境的能力和便携性&#xf…
阅读更多...
探索 LeNet-5：卷积神经网络的先驱与手写数字识别传奇

探索 LeNet-5：卷积神经网络的先驱与手写数字识别传奇

一、引言 在当今深度学习技术蓬勃发展的时代&#xff0c;各种复杂而强大的神经网络架构不断涌现&#xff0c;如 ResNet、VGG、Transformer 等&#xff0c;它们在图像识别、自然语言处理、语音识别等众多领域都取得了令人瞩目的成果。然而&#xff0c;当我们回顾深度学习的发展历…
阅读更多...
【数据结构——栈与队列】链栈的基本运算（头歌实践教学平台习题）【合集】

【数据结构——栈与队列】链栈的基本运算（头歌实践教学平台习题）【合集】

目录&#x1f60b; 任务描述 相关知识 测试说明 我的通关代码: 测试结果&#xff1a; 任务描述 本关任务&#xff1a;编写一个程序实现链栈的基本运算。 相关知识 为了完成本关任务&#xff0c;你需要掌握&#xff1a; 初始化栈、销毁栈、判断栈是否为空、进栈、出栈、取栈…
阅读更多...
【笔记】架构上篇Day6 法则四：为什么要顺应技术的生命周期？

【笔记】架构上篇Day6 法则四：为什么要顺应技术的生命周期？

法则四&#xff1a;为什么要顺应技术的生命周期&#xff1f; 简介&#xff1a;包含模块一 架构师的六大生存法则-法则四&#xff1a;为什么要顺应技术的生命周期&#xff1f;&法则四&#xff1a;架构设计中怎么判断和利用技术趋势&#xff1f; 2024-08-29 17:30:07 你好&am…
阅读更多...
Security自定义逻辑认证（极简案例）

Security自定义逻辑认证（极简案例）

项目结构 config SecurityConfig package com.wunaiieq.tmp2024121105.config;import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; import org.springframework.security.crypto.password.NoOpPasswordEnco…
阅读更多...
docker安装ddns-go（外网连接局域网）

docker安装ddns-go（外网连接局域网）

docker先下载镜像&#xff0c;目前最新版是v6.7.6 也可以csdn资源下载 再导入dockers https://download.csdn.net/download/u014756339/90096748 docker load -i ddns-go.tar 启动 docker run -d --name ddns-go --restartalways --nethost -v /opt/ddns-go:/root jeessy/…
阅读更多...
技术速递｜dotnet scaffold – .NET 的下一代内容创建

技术速递｜dotnet scaffold – .NET 的下一代内容创建

作者&#xff1a;Sayed Ibrahim Hashimi - 首席项目经理 排版&#xff1a;Alan Wang Visual Studio 中为 ASP.NET Core 项目搭建脚手架是一项长期特性&#xff0c;是在 ASP.NET Core 发布后不久添加的。多年来&#xff0c;我们一直支持从命令行搭建脚手架。根据从命令行操作中获…
阅读更多...
基于ZYNQ 7z010开发板 oled点亮的实现

基于ZYNQ 7z010开发板 oled点亮的实现

dc拉高的时候就是发送128字节数据的时候 发送指令dc拉低 模式是00 sck先置低再置高 复位是与开发板上的按键一样都是低有效 25位字节指令 加 3字节的 页地址加起始结束 b0,00,10, timescale 1ns / 1ps module top0(input wire clk ,input wire rst_n,// out…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023