华为云.云日志服务LTS及其基本使用

云计算
云日志服务LTS及其基本使用

- 文章信息 - Author: 李俊才 (jcLee95)
Visit me at CSDN: https://jclee95.blog.csdn.net
My WebSitehttp://thispage.tech/
Email: 291148484@163.com.
Shenzhen China
Address of this article:https://blog.csdn.net/qq_28550263/article/details/140479964
HuaWei:https://bbs.huaweicloud.com/blogs/431260

【介绍】:本文详细介绍了华为云日志服务(LTS)的基本概念和使用方法,包括创建日志组和日志流、安装ICAgent、配置日志采集规则、查看和分析采集到的实时日志等,为读者提供了一个完整的LTS入门指南,帮助读者快速上手使用LTS进行基本日志管理。

在这里插入图片描述


1. 概述

1.1 华为云DRS简介

华为云日志服务(Log Tank Service,简称LTS)是一项一站式日志数据解决方案。它支持日志采集、搜索分析、日志存储、日志加工、可视化仪表盘、日志告警等功能。LTS提供稳定可靠的服务,用户无需关注扩缩容等资源问题,同时降低了日志运维门槛,有助于提高问题定位和指标监控的效率。

LTS的主要特点包括:

  1. 实时日志采集:支持通过ICAgent、云服务、APISDK等多种方式采集日志。

  2. 高效日志查询:采集的日志数据可在云日志控制台以简单有序的方式展示,方便快速查询。

  3. 结构化分析:支持对日志进行结构化处理,提取固定格式或相似度高的内容,便于使用SQL语法进行查询分析。

  4. 可视化报表:提供多样化的可视化展示功能,如表格、折线图、柱状图、饼图等。

  5. 监控告警:支持创建统计规则,对接告警中心,实现日志的实时监控和告警。

  6. 长期存储:支持将日志转储到对象存储服务(OBS)、数据接入服务(DIS)等,实现长期保存。

LTS可广泛应用于日志采集分析、性能优化、安全审计、运营分析等多个场景,是企业进行日志管理和分析的有力工具。

1.2 实验目的

本实验旨在通过实际操作,帮助读者快速上手使用华为云日志服务(LTS)。具体目标如下:

  1. 了解LTS的基本概念,包括日志组、日志流、ICAgent等。

  2. 掌握创建日志组和日志流的方法。

  3. 学习如何在弹性云服务器(ECS)上安装ICAgent

  4. 配置日志采集规则,将ECS的系统日志接入LTS

  5. 在LTS控制台查看和分析采集到的实时日志。

通过完成这些步骤,读者将能够建立起对LTS的基本认识,并具备使用LTS进行日志管理的基本技能。这为后续深入使用LTS进行更复杂的日志分析、监控告警等操作奠定基础。

本实验采用实际操作的方式,让读者亲身体验LTS的功能和使用流程,从而加深对LTS的理解和掌握。实验中使用的是华为云平台,读者需要准备一个华为云账号,并创建一台ECS实例作为日志源。通过这种实践性的学习,读者可以更好地理解LTS在实际应用中的价值和作用。

1.3 关键概念

在使用华为云日志服务(LTS)之前,了解以下关键概念及其关系非常重要:

  1. 日志组(Log Group)

    • 日志组是LTS中日志管理的基本单位。
    • 它用于对日志进行分类管理,通常可以按照业务类型或应用系统来划分。
    • 一个日志组可以包含多个日志流。
  2. 日志流(Log Stream)

    • 日志流是日志数据的载体,用于存储同一类型的日志数据。
    • 每个日志流都从属于一个特定的日志组。
    • 日志流可以对应到具体的日志文件或日志类型,如应用程序日志、系统日志等。
  3. ICAgent

    • ICAgentLTS提供的日志采集代理程序。
    • 它需要安装在需要采集日志的服务器(如ECS)上。
    • ICAgent负责从服务器上收集日志数据,并将其上传到LTS服务。
  4. 日志主题(Log Topic)

    • 日志主题是对日志数据进行分类的一种方式。
    • 它可以用于将同一日志流中的日志按照不同的主题进行归类。
  5. 结构化配置

    • 结构化配置用于定义如何解析原始日志数据。
    • 通过结构化配置,可以将非结构化的日志转换为结构化数据,便于后续的查询和分析。
  6. 索引配置

    • 索引配置定义了如何对日志数据建立索引。
    • 合理的索引配置可以提高日志查询的效率。

其中

  • 一个LTS账户可以创建多个日志组;
  • 每个日志组可以包含多个日志流;
  • ICAgent安装在需要采集日志的服务器上,负责将日志数据采集到指定的日志流中;
  • 日志流中的数据可以通过结构化配置进行解析,并通过索引配置建立索引;
  • 日志主题则可以用于对同一日志流中的日志进行进一步分类。

2. 准备工作

2.1 创建AK/SK

进入华为云·我的凭证页面:https://console.huaweicloud.com/iam/?region=cn-north-4#/mine/accessKey。你想看到如下页面:

在这里插入图片描述
点击左上角的“新增访问密钥”,在模态框弹窗中输入此密钥的描述信息,然后点击确定:

在这里插入图片描述
创建完成后,将弹出“创建成功”弹窗:

在这里插入图片描述
你可以直接点击“立即下载”,这将会下载一个“credentials.csv”文件,你可以使用文本编辑器、Excel等软件打开查看它。
打开后你将看到“User Name”(你的用户名)、“Access Key Id”(AK,访问键ID)、“Secret Access Key”(加密访问密钥)三个字段。你需要妥善保管好他们一面泄露,这可以用于登陆或访问你的华为云的部分资源和相关软件,比如华为云的OBS Browser+ 等。

2.2 创建一个ECS服务器

接下来,我们创建一个ECS服务器用于演示收集其日志。进入华为云·ECS控制台:https://console.huaweicloud.com/ecm/?agencyId=0849469bf980f49c1f6ac0061a1e62ae&region=cn-north-4&locale=zh-cn#/ecs/manager/vmList。点击左上角的“购买弹性云服务器”:
在这里插入图片描述
为了实验成本最低,选择一台最低配置的ECS实例:

在这里插入图片描述
选择一个你熟悉的镜像,然后点击右下角的“下一步:配置网络”:

在这里插入图片描述
选择一个VPC,然后考虑是否需要包月或按照流量计费宽带,配置后进入下一步:

在这里插入图片描述
配置ECS实例名称以及登录密码等信息,然后确认配置:

在这里插入图片描述
最后确认配置并提交:

在这里插入图片描述
然后返回ECS列表即可:

在这里插入图片描述

在列表中可以看到我们刚刚所购买的ECS实例:

在这里插入图片描述

3. ECS接入LTS

3.1 创建日志组、日志流

登录华为云·云日志服务LTS控制台页面:https://console.huaweicloud.com/lts/?agencyId=0849469bf980f49c1f6ac0061a1e62ae&region=cn-north-4&locale=zh-cn#/cts/manager/groups。在“日志管理”子标签页中向下滚动:

在这里插入图片描述
直到你看到“日志组列表”:

在这里插入图片描述

点击“创建日志组”按钮,输入日志组的相关信息后,点击确认:

在这里插入图片描述

创建完成后,可以在日志组列表中看到刚刚新建的日志组:

在这里插入图片描述
旧版的日志组列表中需要点击去对应的日志组才能为该日志组新建日志流。不过如今的版本可以直接在“日志组列表”中对应的日志组下点击“创建日志流”。果断点击“创建日志流”:

在这里插入图片描述

在此右侧面板中,输入相关信息无误后点击确定,可以看到该日志组的展开信息下多了一条刚刚新建的日志流信息:

在这里插入图片描述
完成这一步后,就可以取安装ICAgent了。

3.2 日志采集工具ICAgent安装

在前文我们已经介绍了如何获取AK/SK,(参见2.1 创建AK/SK)。现在我们需要将AK和SK替换到下面的模板中的{input_your_ak}{input_your_sk}部分,以得到安装命令:

set +o history;curl https://icagent-cn-north-4.obs.cn-north-4.myhuaweicloud.com/ICAgent_linux/apm_agent_install.sh > apm_agent_install.sh && REGION=cn-north-4 bash apm_agent_install.sh -ak {input_your_ak} -sk {input_your_sk} -region cn-north-4 -projectid 0c34261a0800f2512f53c006f337ef47 -accessip 100.125.12.150 -obsdomain obs.cn-north-4.myhuaweicloud.com -accessdomain lts-access.cn-north-4.myhuaweicloud.com    ;set -o history;

然后,回到ECS实例页面,选择刚刚创建好用于演示日志采集的服务器,点击“远程登录”:

在这里插入图片描述

滚动到最下侧,点击图示的“立即登录”:

在这里插入图片描述

在新页面的模拟终端中,输入你创建ECS时候设置的root用户密码完成登录:

在这里插入图片描述
将准备好的命令粘贴进去,并运行命令,等待安装完成:
在这里插入图片描述

可以看到这里的信息提示安装成功了。

3.3 接入日志

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
为了演示,这里笔者配置一些华为云Linux系统运行一阵子必有的日志路径作为采集对象:

在这里插入图片描述
根据你的业务需求取配置“全文索引”、“日志分析”等信息:

在这里插入图片描述

完成后提交或者直接跳过并提交,进行ECS日志接入:

在这里插入图片描述
现在我们可以查看日志流,直接进入被接入的日志流详情,可以看到,创建之初还没有日志信息:

在这里插入图片描述
等待一会,你可可以登录ECS人为搞一些事情,以更快得到更多日志。

在这里插入图片描述

在“实时日志”下方,可以看到不断增加的被LTS(其实是ICAgent)监测到的日志内容:

在这里插入图片描述
可见,我们的ECS日志成功接入了。

在实际项目中,需要接入的往往是各种应用的运行日志,比如Nginx的access.log、error.log,JBoss的server.log等等。

4. 总结

至此,我们已经详细介绍了华为云日志服务(LTS)的基本概念和使用方法。我们首先了解了LTS的功能和特点,然后通过实际操作演示了如何创建日志组和日志流、在ECS上安装ICAgent、配置日志采集规则,最后成功将ECS的系统日志接入LTS并在控制台查看实时日志。这一系列步骤涵盖了LTS使用的基本流程,为读者提供了一个完整的LTS入门指南。

通过本文的学习和实践,期望帮助读者掌握使用LTS进行基本日志管理的技能。这为后续深入使用LTS进行更复杂的日志分析、监控告警等操作奠定了基础。在实际应用中,LTS可以帮助用户更好地监控系统状态、定位故障、分析业务数据,从而提高运维效率和业务洞察能力。希望本文能够帮助读者快速上手LTS,并在实际工作中充分发挥LTS的价值。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/382858.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

开机出现grub无法进入系统_电脑开机出现grub解决方法

最近有小伙伴问我电脑开机出现grub无法进入系统怎么回事?电脑开机出grub的情况有很多,电脑上安装了Linux和Win10双系统,但是由于格式化删除了Linux之后,结果win10开机了之后,直接显示grub>,无法…

平面五杆机构运动学仿真matlab simulink

1、内容简介 略 89-可以交流、咨询、答疑 2、内容说明 略 ] 以 MATLAB 程序设计语言为平台 , 以平面可调五杆机构为主要研究对象 , 给定机构的尺寸参数 , 列出所 要分析机构的闭环矢量方程 , 使用 MATLAB 软件中 SIMULINK 仿真工具 , 在 SIMULINK 模型窗口下建立数…

UE4-光照重建

当我们拉入新的光源和模型到我们的场景中后,会产生这样的情况: Preview:预览 表示此时由于光照物体所产生的阴影都是预览级别的并不是真正的效果。 方法一: 或者也可以在世界大纲中选中我们的光源,然后将我们的光源改变为可以…

(MLLMs)多模态大模型论文分享(1)

Multimodal Large Language Models: A Survey 摘要:多模态语言模型的探索集成了多种数据类型,如图像、文本、语言、音频和其他异构性。虽然最新的大型语言模型在基于文本的任务中表现出色,但它们往往难以理解和处理其他数据类型。多模态模型…

“探求新质生产力 推进中国式现代化”学习交流活动在河北廊坊举办

7月21日,一场以“探求新质生产力 推进中国式现代化”为主题的学习交流活动在河北省廊坊市举办,2000余名企业界人士共同探讨企业发展的新路径与新动力。 7月21日,“探求新质生产力 推进中国式现代化”学习交流活动在河北省廊坊市举办。图为活动…

primeflex教学笔记20240720, FastAPI+Vue3+PrimeVue前后端分离开发

练习 先实现基本的页面结构: 代码如下: <template><div class="flex p-3 bg-gray-100 gap-3"><div class="w-20rem h-12rem bg-indigo-200 flex justify-content-center align-items-center text-white text-5xl"><input type=&q…

前端Vue组件化实践:自定义发送短信验证码弹框组件

在前端开发中&#xff0c;随着业务逻辑的日益复杂和交互需求的不断增长&#xff0c;传统的整体式开发方式逐渐暴露出效率低下、维护困难等问题。为了解决这些问题&#xff0c;组件化开发成为了一种流行的解决方案。通过组件化&#xff0c;我们可以将复杂的系统拆分成多个独立的…

JMeter:BeanShell到JSR223迁移中的注意事项

前言 在之前的文章JMeter&#xff1a;BeanShell向JSR223迁移过程遭遇的java标准库不可用问题-如何切换JDK版本中引用了一段使用BeanShell对入参进行加密的脚本&#xff0c;迁移到JSR223&#xff0c;虽然更换JDK后编译通过&#xff0c;看似也可以执行了&#xff0c;但是其实那段…

《0基础》学习Python——第二十讲__网络爬虫/<3>

一、用post请求爬取网页 同样与上一节课的get强求的内容差不多&#xff0c;即将requests.get(url,headershead)代码更换成requests.post(url,headershead),其余的即打印获取的内容&#xff0c;如果content-typejson类型的&#xff0c;打印上述代码的请求&#xff0c;则用一个命…

Linux 13:网络编程1

1. 预备知识 1-1. 理解源IP地址和目的IP地址 在IP数据包头部中&#xff0c;有两个IP地址&#xff0c;分别叫做源IP地址&#xff0c;和目的IP地址。 我们光有IP地址就可以完成通信了嘛&#xff1f;想象一下发qq消息的例子&#xff0c;有了IP地址能够把消息发送到对方的…

[嵌入式Linux]-常见编译框架与软件包组成

嵌入式常见编译框架与软件包组成 1.嵌入式开发准备工作 主芯片资料包括&#xff1a; 主芯片资料 主芯片开发参考手册&#xff1b;主芯片数据手册&#xff1b;主芯片规格书&#xff1b; 硬件参考 主芯片硬件设计参考资料&#xff1b;主芯片配套公板硬件工程&#xff1b; 软件…

Adaboost集成学习 | Matlab实现基于LSTM-Adaboost长短期记忆神经网络结合Adaboost集成学习多输入单输出时间序列预测

目录 效果一览基本介绍模型设计程序设计参考资料效果一览 基本介绍 Adaboost集成学习 | Matlab实现基于LSTM-Adaboost长短期记忆神经网络结合Adaboost集成学习时间序列预测(股票价格预测) 模型设计 步骤1: 数据准备 收集和整理历史数据。确保数据集经过适当的预处理,如归一…

自己开发软件实现网站抓取m3u8链接

几天前一个同学说想下载一个网站的视频找不到连接&#xff0c;问我有没有什么办法,网站抓取m3u8链接 网页抓取m3u8链接。当时一听觉得应该简单&#xff0c;于是说我抽空看看。然后就分析目标网页&#xff0c;试图从网页源码里找出连接&#xff0c;有的源代码直接有,但是有的没有…

【Linux学习 | 第1篇】Linux介绍+安装

文章目录 Linux1. Linux简介1.1 不同操作系统1.2 Linux系统版本 2. Linux安装2.1 安装方式2.2 网卡设置2.3 安装SSH连接工具2.4 Linux和Windows目录结构对比 Linux 1. Linux简介 1.1 不同操作系统 桌面操作系统 Windows (用户数量最多)MacOS ( 操作体验好&#xff0c;办公人…

golang 解压带密码的zip包

目录 Zip文件详解ZIP 文件格式主要特性常用算法Zip格式结构图总览Zip文件结构详解数据区本地文件头文件数据文件描述 中央目录记录区&#xff08;核心目录记录区 &#xff09;中央目录记录尾部区 压缩包解压过程方式1 通过解析中央目录区来解压方式2 通过读取本地文件头来解压两…

mq基础入门

前言 黑马商城导入了mq依赖 但是没有改service发消息 因为下单业务一直有问题 所以先没改 作业时间不够也没处理 1.异步调用 就是所谓的发短信 可以不用立即恢复 比如下单业务 下了单更新信息 就相当于发个消息通知一下 不用立即更改 但是支付就比较重要 不需要因为故障导…

谷粒商城实战笔记-48~49-商品服务-API-三级分类-查询-树形展示三级分类数据-前端优化

文章目录 一&#xff0c;48-商品服务-API-三级分类-查询-树形展示三级分类数据1&#xff0c;创建商品服务命名空间2&#xff0c;商品服务增加配置3&#xff0c;网关增加商品服务的路由配置4&#xff0c;前端树形展示5&#xff0c;测试 二&#xff0c;49-商品服务-API-三级分类-…

Prometheus配置alertmanager告警

1、拉取镜像并运行 1、配置docker镜像源 [rootlocalhost ~]# vim /etc/docker/daemon.json {"registry-mirrors": ["https://dfaad.mirror.aliyuncs.com"] } [rootlocalhost ~]# systemctl daemon-reload [rootlocalhost ~]# systemctl restart docker2、…

VTK源码分析:Type System

作为一款开源跨平台的数据可视化代码库&#xff0c;VTK以其清晰的流水线工作方式、丰富的后处理算法、异种渲染/交互方式&#xff0c;而被众多CAx软件选作后处理实施方案。而异种渲染/交互方式的实现&#xff0c;主要是倚重于VTK的类型系统&#xff0c;因此&#xff0c;有必要对…

从安装Node到TypeScript到VsCode的配置教程

从安装Node到TypeScript到VsCode的配置教程 1.下载Node安装包&#xff0c; 链接 2.双击安装包&#xff0c;选择安装路径&#xff0c;如下&#xff1a; 3.一直点击下一步&#xff0c;直至安装结束即可&#xff1a; 这个时候&#xff0c;node会默认配置好环境变量&#xff0c;并且…