分布式搜索引擎（Elastic Search）+消息队列（RabbitMQ）部署

在这里插入图片描述

一、分布式搜索引擎：Elastic Search

Elastic Search的目标就是实现搜索。是一款非常强大的开源搜索引擎，可以帮助我们从海量数据中快速找到需要的内容。在数据量少的时候，我们可以通过索引去搜索关系型数据库中的数据，但是如果数据量很大，搜索的效率就会很低，这个时候我们就需要一种分布式的搜索引擎。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elastic search结合kibana、Logstash、Beats，也就是elastic stack（ELK），被广泛应用在日志数据分析、实时监控等领域。而elastic search是elastic stack的核心，负责存储、搜索、分析数据。
Elastic search是一个基于Lucene的搜索服务器。Elastic search底层是基于lucene来实现的。Lucene是一个Java语言的搜索引擎类库，是Apache公司的顶级项目。
ES中的存储是这样的：
一个索引（indeces）相当于一个数据库（database），每个索引中有多个类型types（相当于表结构），每个索引中有多个documents（相当于行），每个documents由多个fields组成（相当于字段）。
你可以把ES理解为他是一个面向文档的数据库。下面用一张图描述ES和关系型数据库之间的相似之处：

在企业中，往往是Elasticsearch和mysql两者结合使用：
1、对安全性要求较高的写操作，使用mysql实现
2、对查询性能要求较高的搜索需求，使用elasticsearch实现
3、两者再基于某种方式，实现数据的同步，保证一致性
Elastic Search与MySQL的特征：
MySQL：擅长事务类型操作，可以确保数据的安全和一致性
Elastic Search：擅长海量数据的搜索、分析、计算
在这里插入图片描述

二、RabbitMQ

RabbitMQ主要任务是处理海量的信息。主要用于分布式系统的内部各子系统之间的数据存储转发,这是系统解耦方面的一种运用。它是对AMQP协议的实现，支持多种客户端，可以对来自客户端的异步消息进行存储转发，在易用性、扩展性、高可用性等方面表现不俗。
RabbitMQ的特点：
1、基于ErLang语言开发具有高可用高并发的优点,适合集群服务器;
2、健壮、稳定、易用、跨平台、支持多种语言、文档齐全;
3、可靠性高，有消息确认机制和持久化机制,;
4、可靠性：RabbitMQ支持持久化,保证了消息的稳定性；
5、高并发高可用: RabbitMQ使用了Erlang作为开发语言，Erlang是为电话交换机开发的语言，天生自带高并发和高可用的光环；可用于高并发系统当中的流量削峰，将请求流量数据临时存放到RabbitMQ当中，从而避免大量的请求流量直接达到后台服务,把后台服务冲垮。
6、集群部署简单：正是因为Erlang使得RabbitMQ集群部署变的超级简单；
7、RabbitMQ是实现了AMQP标准的消息服务器。
RabbitMQ是一种基于erlang语言开发的流行的开源消息中间件，或者说是一个消息队列系统。消息的生产者把要发送的消息放入到消息队列中，消息的接收端可以根据RabbitMQ配置的转发机制接收服务端发来的消息。RabbitMQ依据指定的转发规则进行消息的转发、缓冲和持久化操作，主要用在多服务器间或单服务器的子系统间进行通信，RabbitMQ是分布式系统的标准配置。

三、安装部署：

（一）ES 安装Elastic Search

  1. 确保系统已经安装jdk1.8及以上版本

  2. 在这里插入图片描述

  3. 在这里插入图片描述

  4. 在这里插入图片描述

  5. 在这里插入图片描述

  6. 在这里插入图片描述

  7. 添加用户
    useradd admin

  8. 解压
    （1）tar xf elasticsearch-5.6.7.tar.gz -C /usr/local
    （2）cd /usr/local

  9. 设置软链
    ln -sv elasticsearch-5.6.7 elasticsearch
    5.创建文件夹
    mkdir -pv /usr/local/elasticsearch/{data,logs}
    mkdir -p /usr/local/elasticsearch/plugins
    mkdir -p /usr/local/elasticsearch/config/scripts

  10. 设置权限
    chown -R admin.admin /usr/local/elasticsearch-5.6.7

  11. 修改配置文件
    vi /usr/local/elasticsearch/config/elasticsearch.yml
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    cluster.name: my_application

换个节点名字

node.name: node-1
path.data: /usr/local/elasticsearch/data
path.logs: /usr/local/elasticsearch/logs

修改一下ES的监听地址，这样别的机器也可以访问

network.host: 0.0.0.0
http.port: 9200

增加新的参数，这样head插件可以访问es

http.cors.enabled: true
http.cors.allow-origin: “*”

  1. 编辑limit.conf文件
    vi /etc/security/limits.conf
    在这里插入图片描述
  2. 编辑sysctl.conf文件 /etc/sysctl.conf
    在这里插入图片描述

vm.max_map_count= 262144
sysctl -p
14. 启动es服务，切换至上面添加的admin用户
（1）指令如下
cd /usr/local
chown -R admin.admin /usr/local/elasticsearch-5.6.7
su admin
（2）启动es
cd elasticsearch/bin
./elasticsearch
16. 可能遇到的问题
在这里插入图片描述
在这里插入图片描述

  1. 安装ik分词器 解压后文件名称改为ik-analysis
    放入 /usr/local/elasticsearch/plugins
    切换root 执行这个命令
    chown -R admin.admin /usr/local/elasticsearch-5.6.7
    在这里插入图片描述
    在这里插入图片描述

  2. 后台启动es
    cd /usr/local/elasticsearch/bin
    su admin
    ./elasticsearch -d
    在这里插入图片描述

（二）RabbitMQ安装

  1. 上传安装包
    在这里插入图片描述

2 解压
tar -zxvf otp_src_22.0.tar.gz
3. 移走
mv otp_src_22.0 /usr/local/
4. 切换目录
cd /usr/local/otp_src_22.0/
5. 安装依赖
yum -y install gcc glibc-devel make ncurses-devel openssl-devel xmlto perl wget gtk2-devel binutils-devel
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  1. 创建即将安装的目录
    mkdir …/erlang
  2. 配置安装路径
    chmod +7 /usr/local/erlang
    ./configure --prefix=/usr/local/erlang
    在这里插入图片描述
    在这里插入图片描述

提示权限不够时，以下路径给root配置+7权限
chmod +7 /usr/local/opt_src_22.0/Erts/configure
chmod +7 /usr/local/opt_src_22.0/Make/configure
chmod +7 /usr/local/opt_src_22.0/Lib/common-test/configure
chmod +7 /usr/local/opt_src_22.0/Lib/crypto/configure
chmod +7 /usr/local/opt_src_22.0/Lib/erl-interface/configure
chmod +7 /usr/local/opt_src_22.0/Lib/megaco/configure
chmod +7 /usr/local/opt_src_22.0/Lib/odbc/configure
chmod +7 /usr/local/opt_src_22.0/Lib/snmp/configure
chmod +7 /usr/local/opt_src_22.0/Lib/wx/configure
在这里插入图片描述

  1. 安装
    make install
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  2. 查看一下是否安装成功
    ll /usr/local/erlang/bin

  3. 添加环境变量
    echo ‘export PATH=$PATH:/usr/local/erlang/bin’ >> /etc/profile
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  4. 刷新环境变量
    source /etc/profile

  5. 执行erl （在安装目录下执行）

  6. 在这里插入图片描述

通过生效的环境变量执行（相当于有了DOS系统搜索路径后，再执行.exe或.com .bat）
在这里插入图片描述
14. halt().命令退出来
在这里插入图片描述

  1. 由于是tar.xz格式的所以需要用到xz，没有的话就先安装
    yum install -y xz
    在这里插入图片描述

  2. 解压rabbitmq-server-generic-unix 第一次解压
    tar /bin/xz -d rabbitmq-server-generic-unix-3.7.15.tar.xz

  3. 第二次解压
    tar -xvf rabbitmq-server-generic-unix-3.7.15.tar

  4. 移走
    mv rabbitmq_server-3.7.15/ /usr/local/
    cd /usr/local/

  5. 改名
    mv /usr/local/rabbitmq_server-3.7.15 rabbitmq

  6. 配置环境变量
    echo ‘export PATH=$PATH:/usr/local/rabbitmq/sbin’ >> /etc/profile

  7. 刷新环境变量
    source /etc/profile
    在这里插入图片描述
    在这里插入图片描述

  8. 启动 停止 状态
    rabbitmq-server –detached
    在这里插入图片描述

rabbitmqctl stop

rabbitmqctl status
在这里插入图片描述

  1. 开启web插件
    rabbitmq-plugins enable rabbitmq_management
    在这里插入图片描述

  2. 添加一个用户
    rabbitmqctl add_user admin yuanfeng021
    在这里插入图片描述

  3. 配置权限
    rabbitmqctl set_permissions -p “/” admin “." ".” “.*”
    在这里插入图片描述

    rabbitmqctl set_user_tags admin administrator
    在这里插入图片描述
    在这里插入图片描述
    26、在CentOS8本机上访问：http://XXX.XXX.XXX:15672/ admin yuanfeng021
    在这里插入图片描述
    在这里插入图片描述

27、此时发现在局域网上不能访问，所以
（1）查看CentOS上开启的端口号
在这里插入图片描述

可以看出，并没有15672端口未被开启
（2）通过命令firewall-cmd –add-port=xxx/tcp命令开启5672、15671、15672三个端口
在这里插入图片描述
若永久开启15672端口时，使用命令firewall-cmd --permanet --add-port=15672/tcp
（3）修改rabbitmq的配置文件，rabbitmq-env
在这里插入图片描述

增加一行内容如下：（大写）
NODE_IP_ADDRESS=192.168.0.132(你安装rabbitmq server的CentOS的网卡ip地址)
在这里插入图片描述

（4）从局域网的电脑telnet测试rabbitmq-server的15672端口号
在这里插入图片描述

测试结果如下：说明15672端口开启正常（左上方的光标一闪一闪，未提示连接端口失败）
在这里插入图片描述

28、从局域网访问rabbitmq-server正常，如下图：
在这里插入图片描述

访问成功，至此分布式搜索引擎（Elastic Search）+消息队列（RabbitMQ）部署结束，不足之处敬请批评指正。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/210963.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【C++11】线程库/异常

【C++11】线程库/异常

一：线程库 1.1:线程库(thread) 1.1.1：为什么要有线程库 1.1.2：thread库中的成员函数 1.1.3：线程函数参数 1.2:互斥锁(mutex) 1.2.1：为什么要有互斥锁 1.2.2：C11中的互斥锁 1.3:原子操作(atomic) 1.4:条件变…
阅读更多...
Apollo新版本Beta技术沙龙

Apollo新版本Beta技术沙龙

有幸参加Apollo开发者社区于12月2日举办的Apollo新版本(8.0)的技术沙龙会，地址在首钢园百度Apollo Park。由于去的比较早，先参观了一下这面的一些产品，还有专门的讲解，主要讲了一下百度无人驾驶的发展历程和历代产品。我对下面几个…
阅读更多...
Java画爱心

Java画爱心

Java画爱心代码，每个人都可以被需要 效果图 源代码 package com.example.test; import java.awt.Color; import java.awt.Font; import java.awt.Graphics; import java.awt.Image; import java.awt.Toolkit; import javax.swing.JFrame; class Cardioid extend…
阅读更多...
Java+Swing+Mysql实现超市管理系统

Java+Swing+Mysql实现超市管理系统

一、系统介绍 1.开发环境 操作系统：Win10 开发工具 ：IDEA2018 JDK版本：jdk1.8 数据库：Mysql8.0 2.技术选型 JavaSwingMysql 3.功能模块 4.系统功能 1.系统登录登出 管理员可以登录、退出系统 2.商品信息管理 管理员可以对商品信息…
阅读更多...
超完整的mysql安装配置方法（包含idea和navicat连接mysql,并实现建表）

超完整的mysql安装配置方法（包含idea和navicat连接mysql,并实现建表）

mysql安装配置方法 1、下载mysql2、解压到指定的安装目录3、配置初始化文件my.ini4、配置用户变量和系统变量5、初始化mysql6、安装mysql服务并启动修改密码7、使用idea连接mysql8、使用Navicat可视化工具连接mysql，并实现新建数据库，新建表 1、下载mysq…
阅读更多...
C语言-详解指针

C语言-详解指针

目录 一.内存 1.内存的定义 2.内存的结构图 二.地址 1.什么是地址 2.什么是变量的地址 三.什么是指针 1.指针的定义 四.如何获取数据存储空间的地址 1.&运算符 五.指针变量 1.什么是指针变量（一级指针变量） 2.指针变量的定义 3…
阅读更多...
＜JavaEE＞ 什么是线程安全？产生线程不安全的原因和处理方式

＜JavaEE＞ 什么是线程安全？产生线程不安全的原因和处理方式

目录 一、线程安全的概念 二、线程不安全经典示例 三、线程不安全的原因和处理方式 3.1 线程的随机调度和抢占式执行 3.2 修改共享数据 3.3 关键代码或指令不是“原子”的 3.4 内存可见性和指令重排序 四、Java标准库自带的线程安全类 一、线程安全的概念 线程安全是指…
阅读更多...
Electron+Ts+Vue+Vite桌面应用系列：sqlite增删改查操作篇

Electron+Ts+Vue+Vite桌面应用系列：sqlite增删改查操作篇

文章目录 1️⃣ sqlite应用1.1 sqlite数据结构1.2 初始化数据库1.3 初始化实体类1.4 操作数据类1.5 页面调用 优质资源分享 作者：xcLeigh 文章地址：https://blog.csdn.net/weixin_43151418/article/details/134692751 ElectronTsVueVite桌面应用系列 &am…
阅读更多...
nacos启动报错 java.lang.RuntimeException: [db-load-error]load jdbc.properties error

nacos启动报错 java.lang.RuntimeException: [db-load-error]load jdbc.properties error

以standalone mode sh startup.sh -m standalone 为例子 启动nacos 报错： Caused by: org.springframework.boot.web.server.WebServerException: Unable to start embedded Tomcatat org.springframework.boot.web.embedded.tomcat.TomcatWebServer.initialize(To…
阅读更多...
Linux中shell的运行原理

Linux中shell的运行原理

在Linux中，每次输入命令时，前面都会出现一串字母，我们称之为命令行提示符 实际上，命令行提示符是一种外壳程序 外壳程序的概念： 前面我们提到过，在Linux中，一切皆文件，所谓的命令就…
阅读更多...
C语言 - 字符函数和字符串函数

C语言 - 字符函数和字符串函数

系列文章目录 文章目录 系列文章目录前言1. 字符分类函数islower 是能够判断参数部分的 c 是否是⼩写字⺟的。 通过返回值来说明是否是⼩写字⺟，如果是⼩写字⺟就返回⾮0的整数，如果不是⼩写字⺟，则返回0。 2. 字符转换函数3. strlen的使⽤和…
阅读更多...
批量AI创作文案的工具，批量AI创作文章的软件

批量AI创作文案的工具，批量AI创作文章的软件

人工智能（AI）的应用不断拓展，其中批量AI创作逐渐成为许多文本创作者和企业编辑的热门选择。面对海量的文章需求，批量AI创作工具能够高效、快速地生成大量文本内容，从而减轻创作者的工作负担。本文将专心分享批量AI创作…
阅读更多...
【C语言：自定义类型（结构体、位段、共用体、枚举）】

【C语言：自定义类型（结构体、位段、共用体、枚举）】

文章目录 1.结构体1.1什么是结构体1.2结构体类型声明1.3结构体变量的定义和初始化1.4结构体的访问 2.结构体对齐2.1如何对齐2.2为什么存在内存对齐？ 3.结构体实现位段3.1什么是位段3.2位段的内存分配3.3位段的跨平台问题3.4位段的应用3.5位段使用注意事项 4.联合体4…
阅读更多...
Hadoop学习笔记（HDP）-Part.09 安装OpenLDAP

Hadoop学习笔记（HDP）-Part.09 安装OpenLDAP

目录 Part.01 关于HDP Part.02 核心组件原理 Part.03 资源规划 Part.04 基础环境配置 Part.05 Yum源配置 Part.06 安装OracleJDK Part.07 安装MySQL Part.08 部署Ambari集群 Part.09 安装OpenLDAP Part.10 创建集群 Part.11 安装Kerberos Part.12 安装HDFS Part.13 安装Ranger …
阅读更多...
【ArcGIS Pro】探索性插值无法覆盖所需shp范围

【ArcGIS Pro】探索性插值无法覆盖所需shp范围

做个小记录自用，实际不准。 1 看看就行 pro插值 看看过程就行。有详细过程，类似tutorial https://learn.arcgis.com/zh-cn/projects/interpolate-temperatures-using-the-geostatistical-wizard/ 2 注意用投影坐标系 wgs84转投影坐标系 https://blog…
阅读更多...
Java常见CodeReview及编码规范

Java常见CodeReview及编码规范

鉴于自己的开发经验,以及常见容易产生bug及性能问题的点做个记录. 1.数据库 如果开发人员的经验不足,Java通过ORM(Mybatis)对数据库的操作的性能问题比较隐蔽.因为不压测或者异常case没发生的时候一般发现不了问题.特别是异常case发生的时候. 除配置表以外的sql都要经过expl…
阅读更多...
Mongodb 开启oplog，java监听oplog并写入关系型数据库

Mongodb 开启oplog，java监听oplog并写入关系型数据库

开启Oplog windows mongodb bin目录下找到配置文件/bin/mongod.cfg,配置如下： replication:replSetName: localoplogSizeMB: 1024双击mongo.exe 执行 rs.initiate({_id: "local", members: [{_id: 0, host: "localhost:27017"}]})若出现如…
阅读更多...
Android : 篮球记分器app _简单应用

Android : 篮球记分器app _简单应用

示例图： 1.导包 在build.gradle 中 加入 // 使用androidx版本库implementation androidx.lifecycle:lifecycle-extensions:2.1.0-alpha03 2. 开启dataBinding android{...// 步骤1.开启data bindingdataBinding {enabled true}...} 3.写个类继承 ViewModel pac…
阅读更多...
消息中间件之间的区别

消息中间件之间的区别

一.单机吞吐量 ActiveMQ：万级，吞吐量比RocketMQ和Kafka要低了一个数量级 RabbitMQ：万级，吞吐量比RocketMQ和Kafka要低了一个数量级 RocketMQ：10万级，RocketMQ也是可以支撑高吞吐的一种MQ Kafka&#xff…
阅读更多...
Linux服务器部署XXL-JOB

Linux服务器部署XXL-JOB

参考文档及下载地址：分布式任务调度平台XXL-JOB 1 从git拉取XXL-JOB代码 我们的大部分变动，是发生在xxl-job-admin，最终将这个模块打包成jar包部署在linux服务器上。 2 执行数据库脚本 doc\db\tables_xxl_job.sql 3 修改pom文件&#xff0c…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023