基于ansible部署elk集群

ansible部署

    • ELK部署

ELK常见架构

（1）Elasticsearch+Logstash+Kibana：这种架构是最常见的一种，也是最简单的一种架构，这种架构通过Logstash收集日志，运用Elasticsearch分析日志，最后通过Kibana中展示日志信息。

  • Elasticsearch：是一个开源分布式搜索引擎，它提供存储、分析、搜索功能。有分布式、基于reasful风格、支持海量高并发的准实时搜索场景、稳定、可靠、快速、使用方便等特点。其作用是接收搜集海量结构化日志数据，并提供给Kibana查询分析。
  • Logstash：是一个开源日志搜集、分析、过滤框架，支持多种数据输入输出方式。 它用于收集日志，对日志进行过滤形成结构化数据，并转发到Elasticsearch中。
  • Kibana：是一个开源日志报表系统，对Elasticsearch以及Logstash有良好的Web页面支持。它能对Elasticsearch提供的数据进行分析展示。

（2）Elasticsearch+Logstash+Filebeat+Kibana：在这种架构中增加了一个Filebeat模块。这个模块在上面的内容中没有对它详细介绍，它是一款轻量的日志收集代理，用来部署在客户端中。这个服务较Logstash来说能够节省资源，一般在生产环境中大多采用这种架构，但是这种架构有一个弊端，那就是当Logstash出现故障后，会造成日志的丢失。

（3）Elasticsearch+Logstash+lebeat+Redis（及其他中间件）+Kibana：这种架构等于是上面第二种的完善，通过增加中间件避免数据丢失，当Logstash出现故障后，日志依旧留存在中间件内，当Logstash再次启动，则会读取中间件中积压的日志。在出现“too many open files”报错的时候，大多数情况是由于程序没有正常关闭一些资源引起的，所以出现这种情况时需要检查I/O读写、socket通讯等是否正常关闭等。当然也可以通过修改参数，将系统的文件句柄限制提高，来缓解这一压力。

ELK部署

系统环境：VMware创建的centos7.9虚拟机

节点信息如下：

节点IP
ansible192.168.200.80
node1192.168.200.81
node2192.168.200.82
node3192.168.200.83

环境初始化：

  • 修改当前节点主机名为ansible，并修改ansible节点主机映射，命令如下：
[root@localhost ~]# hostnamectl set-hostname ansible
[root@localhost ~]# bash
[root@ansible ~]# cat /etc/hosts
127.0.0.1  localhost localhost.localdomain localhost4 localhost4.localdomain4
::1     localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.200.80 ansible
192.168.200.81 node1
192.168.200.81 node2
192.168.200.81 node3
  • 配置免密访问，虚拟机root用户密码为000000，命令如下：
[root@ansible ~]# ssh-keygen
[root@ansible ~]# ssh-copy-id node1
[root@ansible ~]# ssh-copy-id node2
[root@ansible ~]# ssh-copy-id node3
  • 将ansible节点的域名解析文件复制给安装Elasticsearch集群服务的三个节点，命令如下：
[root@ansible ~]# scp /etc/hosts node1:/etc/
[root@ansible ~]# scp /etc/hosts node2:/etc/
[root@ansible ~]# scp /etc/hosts node3:/etc/
  • 关闭ansible节点的防火墙和Selinux配置（如已关闭，则不需要操作），命令如下：
 [root@ansible ~]# setenforce 0

软件包下载及uum源配置

  • 修将提供的Elasticsearch、Kibana以及Logstash软件包下载至ansible节点/root目录下，并将相应服务的软件包拷贝至不同节点。
[root@ansible ~]# curl -O http://mirrors.douxuedu.com/competition/Ansible.tar.gz
[root@ansible ~]# tar -zxvf Ansible.tar.gz
  • 将Elasticsearch软件包拷贝至三个节点，将Kibana软件包拷贝至node1节点，将Logstash软件包拷贝至node2节点，命令如下：
[root@ansible ~]# scp elasticsearch-6.0.0.rpm node1:/root/
[root@ansible ~]# scp elasticsearch-6.0.0.rpm node2:/root/
[root@ansible ~]# scp elasticsearch-6.0.0.rpm node3:/root/
[root@ansible ~]# scp kibana-6.0.0-x86_64.rpm node1:/root/
[root@ansible ~]# scp kibana-6.0.0-x86_64.rpm node2:/root/
[root@ansible ~]# scp kibana-6.0.0-x86_64.rpm node3:/root/
[root@ansible ~]# scp logstash-6.0.0.rpm node1:/root/
[root@ansible ~]# scp logstash-6.0.0.rpm node2:/root/
[root@ansible ~]# scp logstash-6.0.0.rpm node3:/root/
  • 将软件包ansible.tar.gz上传至ansible节点配置本地yum源，并安装Ansible：
[root@ansible ~]# tar -zxvf ansible.tar.gz -C /opt/
[root@ansible ~]# mv /etc/yum.repos.d/* /media/
[root@ansible ~]# vi /etc/yum.repos.d/local.repo
[ansible]
name=ansible 
baseurl=file:///opt/ansible
gpgcheck=0
enabled=1
[root@ansible ~]# yum -y install ansible
  • 配置Ansible主机映射
[root@ansible ~]# mkdir example
[root@ansible ~]# cd example
[root@ansible example]# vi /etc/ansible/hosts 
[node1]
192.168.200.81
[node2]
192.168.200.82
[node3]
192.168.200.83

使用CentOS-7-x86_64-DVD-2009.iso镜像文件作为仓库源，将镜像挂载至/opt/centos，编写yum源文件，安装vsftpd服务，用于给远程主机安装Java。命令如下：

[root@ansible example]# curl -O http://mirrors.douxuedu.com/competition/CentOS-7-x86_64-DVD-2009.iso
[root@ansible example]# mkdir /opt/centos
[root@ansible example]# mount CentOS-7-x86_64-DVD-2009.iso /opt/centos/
[root@ansible example]# vi /etc/yum.repos.d/local.repo 
[ansible]
name=ansible
baseurl=file:///opt/ansible
gpgcheck=0
enabled=1
[centos]
name=centos
baseurl=file:///opt/centos
gpgcheck=0
enabled=1
[root@ansible example]# yum install -y vsftpd
[root@ansible example]# vi /etc/vsftpd/vsftpd.conf
anon_root=/opt
[root@ansible example]# systemctl restart vsftpd
[root@ansible example]# vi ftp.repo
[centos]
name=centos
baseurl=ftp://192.168.200.80/centos/
gpgcheck=0
enabled=1

安装Elasticsearch获取配置文件

  • 安装Elasticsearch服务并编写node1节点配置文件，命令如下：
[root@ansible example]# rpm -ivh /root/elasticsearch-6.0.0.rpm
[root@ansible example]# cp -rf /etc/elasticsearch/elasticsearch.yml elk1.yml
[root@ansible example]# cat elk1.yml | grep -Ev "^$|^#"
cluster.name: ELK
node.name: node1
node.master: true
node.data: false
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 192.168.200.81
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node1","node2","node3"]
  • 编写node2节点配置文件，命令如下：
[root@ansible example]# cp elk1.yml elk2.yml
[root@ansible example]# cat elk2.yml | grep -Ev "^$|^#"
cluster.name: ELK
node.name: node2
node.master: false
node.data: true
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 192.168.200.82
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node1","node2","node3"]
  • 编写node3节点配置文件，命令如下：
[root@ansible example]# cp elk1.yml elk3.yml
[root@ansible example]# cat elk3.yml | grep -Ev "^$|^#"
cluster.name: ELK
node.name: node3
node.master: false
node.data: true
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 192.168.200.83
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node1","node2","node3"]

安装Kibana获取配置文件

  • 安装Kibana服务并编写配置文件，命令如下：
[root@ansible example]# rpm -ivh /root/kibana-6.0.0-x86_64.rpm 
[root@ansible example]# cp -rf /etc/kibana/kibana.yml .
[root@ansible example]# cat kibana.yml |grep -v ^#
server.port: 5601
server.host: "192.168.200.81"
elasticsearch.url: "http://192.168.200.81:9200"

安装Logstash获取配置文件

  • 安装Logstash服务并获取配置文件，命令如下：
[root@ansible example]# rpm -ivh /root/logstash-6.0.0.rpm
[root@ansible example]# cp -rf /etc/logstash/logstash.yml .
[root@ansible example]# vi logstash.yml
http.host: "192.168.200.82"
  • 新建日志输出文件，内容如下：
[root@ansible example]# vi syslog.conf
input {file {path => "/var/log/messages" type => "systemlog" start_position => "beginning"stat_interval => "3"}
}
output {if [type] == "systemlog" {elasticsearch {hosts => ["192.168.200.81:9200"]   index => "system-log-%{+YYYY.MM.dd}"}}
}

编写剧本文件

  • 安编写Playbook剧本文件，命令如下：
[root@ansible example]# vi cscc_install.yaml
- hosts: allremote_user: roottasks:- name: rm reposhell: rm -rf /etc/yum.repos.d/*- name: copy repocopy: src=ftp.repo dest=/etc/yum.repos.d/- name: install javashell: yum -y install java-1.8.0-*- name: install elkshell: rpm -ivh elasticsearch-6.0.0.rpm
- hosts: node1remote_user: roottasks:- name: copy configcopy: src=elk1.yml dest=/etc/elasticsearch/elasticsearch.yml- name: daemon-reloadshell: systemctl daemon-reload- name: start elkshell: systemctl start elasticsearch && systemctl enable elasticsearch- name: install kibanashell: rpm -ivh kibana-6.0.0-x86_64.rpm- name: copy configtemplate: src=kibana.yml dest=/etc/kibana/kibana.yml- name: start kibanashell: systemctl start kibana && systemctl enable kibana
- hosts: node2remote_user: roottasks:- name: copy configcopy: src=elk2.yml dest=/etc/elasticsearch/elasticsearch.yml- name: daemon-reloadshell: systemctl daemon-reload- name: start elkshell: systemctl start elasticsearch && systemctl enable elasticsearch- name: install logstashshell: rpm -ivh logstash-6.0.0.rpm- name: copy configcopy: src=logstash.yml dest=/etc/logstash/logstash.yml- name: copy configcopy: src=syslog.conf dest=/etc/logstash/conf.d/syslog.conf
- hosts: node3remote_user: roottasks:- name: copy configcopy: src=elk3.yml dest=/etc/elasticsearch/elasticsearch.yml- name: daemon-reloadshell: systemctl daemon-reload- name: start elkshell: systemctl start elasticsearch && systemctl enable elasticsearch
  • 执行Playbook完成ELK集群的部署，命令如下：
[root@ansible example]# ansible-playbook cscc_install.yaml

浏览器界面访问node1节点5601端口，http://192.168.200.81:5601

3.png

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/13519.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Linux学习笔记16---高精度延时实验

Linux学习笔记16---高精度延时实验

延时函数是很常用的 API 函数，在前面的实验中我们使用循环来实现延时函数，但是使用循环来实现的延时函数不准确，误差会很大。虽然使用到延时函数的地方精度要求都不会很严格( 要求严格的话就使用硬件定时器了 ) ，但是延时函数肯定…
阅读更多...
Linux系统 环境变量

Linux系统 环境变量

环境变量 写在前面概念查看环境变量main函数的参数argc & argvenv bash环境变量 写在前面 对于环境变量，本篇主要介绍基本概念及三四个环境变量 —— PATH、HOME、PWD。其中 PATH 作为 “ 敲门砖 ”，我们会更详细讲解；理解环境变量的全局…
阅读更多...
旋转变压器工作及解调原理

旋转变压器工作及解调原理

旋转变压器 旋转变压器是一种精密的位置、速度检测装置，广泛应用在伺服控制、机器人、机械工具、汽车、电力等领域。但是，旋转变压器在使用时并不能直接提供角度或位置信息，需要特殊的激励信号和解调、计算措施，才能将旋转变压器…
阅读更多...
【漫话机器学习系列】076.合页损失函数（Hinge Loss）

【漫话机器学习系列】076.合页损失函数（Hinge Loss）

Hinge Loss损失函数 Hinge Loss（合页损失），也叫做合页损失函数，广泛用于支持向量机（SVM）等分类模型的训练过程中。它主要用于二分类问题，尤其是支持向量机中的优化目标函数。 定义与公式 对于…
阅读更多...
基于docker搭建Kafka集群，使用KRaft方式搭建，摒弃Zookeeper

基于docker搭建Kafka集群，使用KRaft方式搭建，摒弃Zookeeper

KAFKA基于docker使用KRaft进行集群搭建 环境：已成功搭建kafka服务 可点击链接跳转至安装kafka-3.8.0版本 并启用SASL认证 教程 使用基于Zookeeper方式搭建集群教程 kafka-3.8.0版本 并启用SASL认证 教程 搭建kafka-ui可视化工具 192.168.2.91 192.168.2.92 192…
阅读更多...
Go 语言 | 入门 | 快速入门

Go 语言 | 入门 | 快速入门

快速入门 1.第一份代码 先检查自己是否有正确下载 Go，如果没有直接去 Go 安装 进行安装。 # 检查是否有 Go $ go version go version go1.23.4 linux/amd64然后根据 Go 的入门教程 开始进行学习。 # 初始化 Go 项目 $ mkdir example && cd example # Go…
阅读更多...
凝思60重置密码

凝思60重置密码

凝思系统重置密码 - 赛博狗尾草 - 博客园 问题描述 凝思系统进入单用户模式，在此模式下，用户可以访问修复错误配置的文件。也可以在此模式下安装显卡驱动，解决和已加载驱动的冲突问题。 适用范围 linx-6.0.60 linx-6.0.80 linx-6.0.100…
阅读更多...
HTML 复习

HTML 复习

文章目录 路径问题标题标签段落标签换行标签列表标签<ol> 有序列表<ul> 无序标签标签嵌套 超链接标签多媒体标签<img> 图片标签<audio> 音频标签<video> 视频标签 表格标签<colspan> 跨行<rowspan> 跨列组合使用 表单标签基本表单标…
阅读更多...
hot100（8）

hot100（8）

71.10. 正则表达式匹配 - 力扣&#xff08;LeetCode&#xff09; 动态规划 题解&#xff1a;10. 正则表达式匹配题解 - 力扣&#xff08;LeetCode&#xff09; 72.5. 最长回文子串 - 力扣&#xff08;LeetCode&#xff09; 动态规划 1.dp数组及下标含义 dp[i][j] : 下标i到…
阅读更多...
114，【6】攻防世界 web wzsc_文件上传

114，【6】攻防世界 web wzsc_文件上传

进入靶场 传个桌面有的 直接空白了 我们 访问一下上传的东西 /index 没显示用于解析的.htaccess和.user.ini 文件&#xff0c;还两个都不显示 但上传的时候bp查看状态码是200&#xff0c;意味着上传成功了 别的博主说这是服务器在短时间内就立刻将其删掉了&#xff0c;需…
阅读更多...
禅道社区版项目管理软件部署（记录篇）

禅道社区版项目管理软件部署（记录篇）

系统要求&#xff08;这里推荐使用docker容器化方式&#xff09;安装前的准备Docker快速安装最后通过查看地址验证是否部署成功开始界面化安装配置 禅道&#xff08;ZenTao&#xff09;是一款国产开源的项目管理软件&#xff0c;专注于敏捷开发流程&#xff0c;支持 Scrum 和 K…
阅读更多...
B站自研的第二代视频连麦系统（上）

B站自研的第二代视频连麦系统（上）

导读 本系列文章将从客户端、服务器以及音视频编码优化三个层面&#xff0c;介绍如何基于WebRTC构建视频连麦系统。希望通过这一系列的讲解&#xff0c;帮助开发者更全面地了解 WebRTC 的核心技术与实践应用。 背景 在文章《B站在实时音视频技术领域的探索与实践》中&#xff…
阅读更多...
Selenium记录RPA初阶 - 基本输入元件

Selenium记录RPA初阶 - 基本输入元件

防止自己遗忘&#xff0c;故作此为记录。 爬取网页基本元件并修改后爬取。 包含元件&#xff1a; elements: dict[str, str] {"username": None,"password": None,"email": None,"website": None,"date": None,"ti…
阅读更多...
Ubutun本地部署DeepSeek R1

Ubutun本地部署DeepSeek R1

目录 一、本地部署&终端命令行交互 二、网页端交互 三、参考链接 一、本地部署&终端命令行交互 Ollama 是一个轻量级的大语言模型管理工具&#xff0c;支持 Windows / Mac / Linux。 Ollama官网&#xff1a;Ollama # 下载安装ollama curl -fsSL https://ollama.co…
阅读更多...
NacosRce到docker逃逸实战

NacosRce到docker逃逸实战

NacosRce到docker逃逸实战 1、Nacos Derby Rce打入内存马 这个漏洞的原理大家应该都知道&#xff0c; 2.3.2 < Nacos < 2.4.0版本默认derby接口未授权访问&#xff0c;攻击者可利用未授权访问执行SQL语句加载构造恶意的JAR包导致出现远程代码执行漏洞。 在日常的漏洞挖…
阅读更多...
保姆级教程Docker部署KRaft模式的Kafka官方镜像

保姆级教程Docker部署KRaft模式的Kafka官方镜像

目录 一、安装Docker及可视化工具 二、单节点部署 1、创建挂载目录 2、运行Kafka容器 3、Compose运行Kafka容器 4、查看Kafka运行状态 三、集群部署 四、部署可视化工具 1、创建挂载目录 2、运行Kafka-ui容器 3、Compose运行Kafka-ui容器 4、查看Kafka-ui运行状态 …
阅读更多...
[创业之路-286]：《产品开发管理-方法.流程.工具 》-1- IPD两个跨职能团队的组织

[创业之路-286]：《产品开发管理-方法.流程.工具 》-1- IPD两个跨职能团队的组织

IPD&#xff08;集成产品开发&#xff09;中的两个重要跨职能组织是IPMT&#xff08;集成产品管理团队&#xff09;和PDT&#xff08;产品开发团队&#xff09;。 在IPD&#xff08;集成产品开发&#xff09;体系中&#xff0c;IRB&#xff08;投资评审委员会&#xff09;、IPM…
阅读更多...
【基于SprintBoot+Mybatis+Mysql】电脑商城项目之修改密码和个人资料

【基于SprintBoot+Mybatis+Mysql】电脑商城项目之修改密码和个人资料

&#x1f9f8;安清h&#xff1a;个人主页 &#x1f3a5;个人专栏&#xff1a;【Spring篇】【计算机网络】【Mybatis篇】 &#x1f6a6;作者简介&#xff1a;一个有趣爱睡觉的intp&#xff0c;期待和更多人分享自己所学知识的真诚大学生。 目录 &#x1f383;1.修改密码 -持久…
阅读更多...
网络编程day1

网络编程day1

一、思维导图
阅读更多...
02.06 网络编程_概述

02.06 网络编程_概述

思维导图 总图&#xff1a;
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023