本文先后介绍LPG、LPG的实验、官方的 Getting started入门案例，非常有意思，过程会耗费几个小时，来一起体验吧！

之前一直使用的日志收集方案是ELK，动辄占用几个G的内存，有些配置不好的服务器有点顶不住！最近发现一套轻量级日志收集方案： Loki+Promtail+Grafana（简称LPG）， 几百M内存就够了，而且界面也挺不错的，推荐给大家！

前言：环境是Linux机器，不是mac，也不是windows！

1. LPG简介

LPG日志收集方案内存占用很少，经济且高效！它不像ELK日志系统那样为日志建立索引，而是为每个日志流设置一组标签。下面分别介绍下它的核心组件：

• Promtail：日志收集器，有点像Filebeat，可以收集日志文件中的日志，并把收集到的数据推送到Loki中去。

• Loki：聚合并存储日志数据，可以作为Grafana的数据源，为Grafana提供可视化数据。

• Grafana：从Loki中获取日志信息，进行可视化展示。

对上图的解释：

1、每台服务器需要部署一台Promtail，责任是监控采集这台服务器的日志并推送给Loki存储服务，默认是监控和采集/var/log目录

2、Loki负责日志存储

3、Grafana是数据的可视化，负责读取Loki中的日志

2. 安装

实现这套日志收集方案需要安装Loki、Promtail、Grafana这些服务，直接使用docker-compose来安装非常方便。

我们采用官网的Install with Docker Compose方案，下面简单介绍下官网的方案。

1、首先您需要安装好Docker Compose（请自行安装）

2、下载docker-compose脚本，然后执行

wget https://raw.githubusercontent.com/grafana/loki/v2.8.0/production/docker-compose.yaml -O docker-compose.yaml
docker-compose -f docker-compose.yaml up

因为网站在国外默认是无法访问的的，作者提供了我下载好的脚本docker-compose.yaml可直接使用。读者也可以用参考博客解决 raw.githubusercontent.com 无法访问的问题尝试解决。本文末尾的附录也提供了完整的脚本和说明。

3、运行成功后，可以使用docker ps命令查看到3个服务

[root@server123 ~]# docker ps
CONTAINER ID   IMAGE                    COMMAND                  CREATED             STATUS              PORTS                                       NAMES
a519d567e6a4   grafana/promtail:2.8.0   "/usr/bin/promtail -…"   About an hour ago   Up About a minute                                               plg-promtail-1
c880ad914857   grafana/grafana:latest   "sh -euc 'mkdir -p /…"   About an hour ago   Up About a minute   0.0.0.0:3000->3000/tcp, :::3000->3000/tcp   plg-grafana-1
dcc6c716cd69   grafana/loki:2.8.0       "/usr/bin/loki -conf…"   About an hour ago   Up About a minute   0.0.0.0:3100->3100/tcp, :::3100->3100/tcp   plg-loki-1

3. 测试日志方案的效果

3.1. 测试1：Promtail监控/var/log目录的变化

实验目的：测试Promtail能否监控/var/log目录的变化

实验过程：

1、在/var/log目录下新建一个文件

# 输出'hello lpg'到/var/log/lpg.log 文件
echo 'hello lpg' > /var/log/lpg.log

2、在控制台监控到了/var/log/lpg.log文件

这也就印证了Promtail的作用：监控服务器的特定目录（默认是/var/log）的变化并把日志发送给Loki。

3、继续验证

• 如果在/var/log/test.sql中输入内容，能被监控到吗？
• 如果在/var/log/fire/spring.log中输入内容，能被监控到吗？

3.2. 测试2：Grafana可视化查看日志

实验目的：通过可视化平台Grafana查看Promtail监控的日志

实验过程：

1. 登录Grafana，账号密码为admin:admin，登录成功后需要添加Loki为数据源，访问地址：http://192.168.56.123:3000/

   

2. 运行docker-compose.yml脚本后默认添加了一个Loki数据源

   

3. 查看下默认添加的数据源。之后你也可以设置下你的Loki访问地址，点击Save&test保存并测试，显示绿色提示信息表示设置成功。

   下图中的http://loki:3100是loki是脚本安装的network，可以了解下docker network

   

4. 接下来在Explore选择Loki，并输入查询表达式（Loki query）为{filename="/var/log/lpg.log"}，就可以看到测试1的日志了

   

3.3. 测试3：可以预见部署Spring Boot程序的日志也可以被Grafana查看

实验目的：分布式监控Spring Boot的日志

实验过程：

在实验中，随便新建了一个Spring Boot应用，在Spring Boot的配置文件application.yml中通过logger.path=/var/log指定了日志的输出目录是/var/log，Spring Boot日志文件默认输出名称是spring.log，也就是说/var/log/spring.log文件作为输出的日志文件。该文件符合Promtail配置的规则/var/log/*.log，所以应该会被监控到，最后在可视化平台Grafana查看是否可以查询到日志。

步骤如下：

1、Spring Boot应用的application.yml部分配置内容

# 配置日志文件的输出目的地
logging:path: /var/log

2、准备好的Spring Boot应用的jar包，上传到Promtail服务器

3、启动应用，观察/var/log/spring.log是否有内容

java -jar fire-tiny-loki-1.0-SNAPSHOT.jar
tail -f /var/log/spring.log

4、在可视化平台Grafana搜索日志

登录http://loki:3100，接下来在Explore选择Loki，并输入查询表达式（Loki query）为{filename="/var/log/spring.log"}，就可以看到测试1的日志了

**总结：**每一台服务器都需要部署一个Promtail服务，服务监控特定日志目录，当目录发生变化时把内容发送给Loki进行日志存储，最后在Grafana可视化平台可以看到所有微服务的日志信息。

3.4. 踩坑记录

作者属实是被坑惨了，把踩坑过程记录下来以为后事之师。

在实验1介绍了，Promtail默认是监控/var/log目录的，但是发生了一些奇怪的问题，作者的/var/log/fire/spring.log、/var/log/test.sql等等这些文件都无法通过Grafana可视化平台查到，为啥，o(╯□╰)o

分析过程：

1、能监控到一些文件如前文的/var/log/lpg.log，但是一些文件又监控不到，猜测可能是配置问题

2、进入Promtail容器查看配置文件/etc/promtail/config.yml，部分内容如下：

# ...
# 部分内容
scrape_configs:
- job_name: systemstatic_configs:- targets:- localhostlabels:job: varlogs__path__: /var/log/*.log

3、观察配置文件的__path__: /var/log/*log，按照这个配置只会监控/var/log目录下以.log结尾的文件，那么我们配置的/var/log/fire/spring.log、/var/log/test.sql自然就不会被查询到。既然问题找到那就查询官网，__path__采用glob patterns，那把配置修改为为/var/log/**/*.log试试，这种配置风格也类似ant-style风格，在Spring中也常用，应该问题不大，那就开始修改吧

4、直接修改容器的/etc/promtail/config.yml配置内容，但Promtail容器默认没有安装vi等编辑命令，但是没事，我们用Linux最最最原始的echo命令来覆写/etc/promtail/config.yml文件（主要是偷懒，这种最简单）

# 1、先进入容器
docker exec -it lpg-promtail-1 /bin/bash
# 2、cat查看内容
cat /etc/promtail/config.yml
# 3、把内容复制到编辑器进行编辑
# 只改动一行，把/var/log/*.log改为/var/log/**/*.log
# 4、把编辑后的内容输出了...处开始覆写
echo '...' > /etc/promtail/config.yml
# 5、最后退出promtail容器

重启3个容器

docker-compose down
docker-compose up

5、重启后，创建几个新文件并通过http://192.168.56.123:3100访问

⚠️⚠️⚠️特别注意⚠️⚠️⚠️，下图中filename特指promtail配置中的__path__: /var/log/**/*.log，所以使用诸如/app/logs/fire/spring.log肯定就访问不到。毕竟主机跟可视化工具Grafana有毛线关系，只有Promtail跟Grafana有关系！

6、通过主机与容器挂载的方式修改Promtail配置文件（5、6步骤任选其一即可）

在主机上修改配置文件，通过主机与容器挂载的方式间接修改了Promtail配置文件，具体步骤如下：

• 停止docker-compose，并删除原来创建的3个docker容器

  # 停止容器
  docker-compose down
  # 删除容器
  docker rm lpg-grafana-1;
  docker rm lpg-loki-1;
  docker rm lpg-promtail-1;
  

• 主机上新建配置文件/app/etc/promtail/config.yml文件

  拷贝附录中config.yml文件

  # 创建目录
  mkdir -p /app/etc/promtail
  # 复制附录内容填写到...位置
  echo '...' > /app/etc/promtail/config.yml
  

  对文件进行微调__path__即可

  # ...
  # 部分内容
  scrape_configs:
  - job_name: systemstatic_configs:- targets:- localhostlabels:job: varlogs__path__: /var/log/**/*.log
  

• 修改部分docker-compose.yml脚本内容如下：

  # 创建目录
  mkdir -p /app/logs
  

    # 日志收集器promtail:image: grafana/promtailcontainer_name: lpg-promtailvolumes:# 把主机的/app/logs挂载到容器的/var/log- /app/logs/:/var/log/- /app/etc/promtail:/etc/promtail/# 这里指的是容器内部的/etc/promtail/promtail.yml文件command: -config.file=/etc/promtail/promtail.yml
  

• 一些准备就绪重启docker-compose

  docker-compose up
  

• 重启后，创建几个新文件并通过http://192.168.56.123:3100访问，也是完全没有问题的

4. 官方入门案例介绍

前言：请准备好Linux的Docker compose环境

在本文前面的部分，单纯的是LPG的入门并没有引入其它一些组件，而在官方的入门案例介绍中体系更庞大引入了其它一些组件。下面我们来一起体验下！官方Getting starting地址

本指南帮助读者创建和使用一个简单的Loki集群。该集群旨在进行测试、开发和评估；它将不能满足大多数生产要求。

实验过程介绍：

1、测试环境运行flog应用程序来生成日志行。

2、Promtail是测试环境的代理（或客户端），它捕获日志行并通过网关将它们推送到Loki集群。

在一个典型的环境中，日志生成应用程序和代理程序一起运行，

3、Grafana提供了一种针对存储在Loki中的日志提出查询并可视化查询结果的方法。

架构图：

下面对上图简单说明：

• flog 是一个开发的测试日志生成器，它可以生成一些常见（如Apache、Nginx、RFC3164或Json）格式的日志

• Promtail监控产生的日志，并推送到gateway（即nginx）的接口。

  flog 和 Promtail用虚线框起来，理解为客户端

• gateway 其实就是nginx实现请求转发

  1、转发Promtail推日志的请求

  2、转发Grafana查日志的请求

• Loki write component 负责写gateway推送过来的日志

• Loki read component 负责读取存储在MiniO中的日志

• Grafana 是可视化平台，可用于浏览器访问日志

官方入门案例实验步骤：

4.1. 获得测试环境

1、准备一个单独的目录

mkdir evaluate-loki
cd evaluate-loki

注：启动容器后flog生成的日志是存在在当前文件夹（即evaluate-loki）的隐藏目录.data中。

2、下载 loki-config.yaml, promtail-local-config.yaml, and docker-compose.yaml 3个脚本

wget https://raw.githubusercontent.com/grafana/loki/main/examples/getting-started/loki-config.yaml -O loki-config.yaml
wget https://raw.githubusercontent.com/grafana/loki/main/examples/getting-started/promtail-local-config.yaml -O promtail-local-config.yaml
wget https://raw.githubusercontent.com/grafana/loki/main/examples/getting-started/docker-compose.yaml -O docker-compose.yaml

因为网站在国外默认是无法访问的的，作者提供了我下载好的脚本一个3个脚本可直接使用。读者也可以用参考博客解决 raw.githubusercontent.com 无法访问的问题尝试解决。本文末尾的附录也提供了完整的脚本和说明。

4.2. 部署环境

进入evaluate-loki当前目录，使用下面的命令后台启动

docker-compose up

启动后在控制台可以看到间隔有日志输出，这是flog在起作用输出日志。每一条json日志都被Promtail通过gateway推送到了接口/loki/api/v1/push。

访问下http://192.168.56.123:3101/ready看看loki read有没有准备好

访问下http://192.168.56.123:3102/ready看看loki write有没有准备好

查看下docker-compose.yaml脚本中定义的docker容器有没有都启动，都启动应该就没有大问题了。可以看到一共启动了7个服务。

4.3. 使用Grafana测试

登录http://192.168.56.123:3000，默认已经配置好了一个datasource，接下来点击Explore选择Loki，并输入查询表达式（Loki query）为{container="evaluate-loki-flog-1"}，点击查询。

反复点击查询可以查看最新的flog生成的日志，日志每秒一条跟flog的配置完全符合。官网还提供了其他很多查询表达式可自行尝试。

{container="evaluate-loki-flog-1"} |= "GET"
{container="evaluate-loki-flog-1"} |= "POST"
{container="evaluate-loki-flog-1"} | json | status="401"
{container="evaluate-loki-flog-1"} != "401"

4. 附录

4.1. docker-compose脚本文件

脚本文件中定义了3个服务，分别是loki、promtail、grafana，了解下脚本文件还是有必要的！

原始docker-compose文件内容如下（添加了备注）：

version: "3"# 创建docker容器的网络，方便互通
networks:loki:services:loki:image: grafana/loki:2.8.0ports:- "3100:3100"# loki执行的命令是容器中的/etc/loki/local-config.yaml来启动lokicommand: -config.file=/etc/loki/local-config.yamlnetworks:- lokipromtail:image: grafana/promtail:2.8.0# 执行主机与docker容器的文件挂载关系volumes:- /var/log:/var/log# promtail执行的命令是容器中的/etc/promtail/config.yml来启动promtailcommand: -config.file=/etc/promtail/config.ymlnetworks:- lokigrafana:environment:- GF_PATHS_PROVISIONING=/etc/grafana/provisioning- GF_AUTH_ANONYMOUS_ENABLED=true- GF_AUTH_ANONYMOUS_ORG_ROLE=Admin# grafana启动所执行的脚本entrypoint:- sh- -euc- |mkdir -p /etc/grafana/provisioning/datasourcescat <<EOF > /etc/grafana/provisioning/datasources/ds.yamlapiVersion: 1datasources:- name: Lokitype: lokiaccess: proxy orgId: 1url: http://loki:3100basicAuth: falseisDefault: trueversion: 1editable: falseEOF/run.shimage: grafana/grafana:latestports:- "3000:3000"networks:- loki

4.2. local-config.yaml文件

使用docker容器中的/etc/loki/local-config.yaml来启动loki。从loki容器中拿出来的原始文件内容如下（添加了备注）：

auth_enabled: falseserver:http_listen_port: 3100common:path_prefix: /lokistorage:filesystem:chunks_directory: /loki/chunksrules_directory: /loki/rulesreplication_factor: 1ring:kvstore:store: inmemoryschema_config:configs:- from: 2020-10-24store: boltdb-shipperobject_store: filesystemschema: v11index:prefix: index_period: 24hruler:alertmanager_url: http://localhost:9093# By default, Loki will send anonymous, but uniquely-identifiable usage and configuration
# analytics to Grafana Labs. These statistics are sent to https://stats.grafana.org/
#
# Statistics help us better understand how Loki is used, and they show us performance
# levels for most users. This helps us prioritize features and documentation.
# For more information on what's sent, look at
# https://github.com/grafana/loki/blob/main/pkg/usagestats/stats.go
# Refer to the buildReport method to see what goes into a report.
#
# If you would like to disable reporting, uncomment the following lines:
#analytics:
#  reporting_enabled: false

4.3. config.yml文件

使用docker容器中的/etc/promtail/config.yml来启动promtail。从promtail容器中拿出来的原始文件内容如下（添加了备注）：

server:http_listen_port: 9080grpc_listen_port: 0positions:filename: /tmp/positions.yamlclients:- url: http://loki:3100/loki/api/v1/pushscrape_configs:
- job_name: systemstatic_configs:- targets:- localhostlabels:job: varlogs__path__: /var/log/*.log

• erver 属性配置了 Promtail 作为 HTTP 服务器的行为。
• positions 属性配置了 Promtail 保存文件的位置，表示它已经读到了文件什么程度。当 Promtail 重新启动时需要它，以允许它从中断的地方继续读取日志。
• scrape_configs 属性配置了 Promtail 如何使用指定的发现方法从一系列目标中抓取日志。
  • static_configs 抓取日志静态目标配置，静态配置允许指定一个目标列表和标签集
  • label 定义一个要抓取的日志文件和一组可选的附加标签，以应用于由__path__定义的文件日志流。

详细的配置参考：

• Promtail 配置文件说明：https://cloud.tencent.com/developer/article/1824988

• Promtail官方文档：https://grafana.com/docs/loki/latest/clients/promtail/configuration/

4.4. 官方入门案例脚本

4.4.1. docker-compose.yaml

这个脚本是docker-compose的构建脚本，简单介绍下：

1、定义了架构图中的几个服务（如：flog、nginx、promtail、loki read、loki write、minio、grafana）

2、各个服务的启动基本上是通过command或sh脚本方式启动的

• flog、loki read、loki write、promtail就是通过command方式
• nginx、minio、grafana就是通过sh脚本方式

3、服务之间是有依赖关系的

• 如loki read、loki write都依赖于minio，minio才是最后提供存储服务的

4、通过volumes挂载服务就使用到了下载的loki-config.yaml、promtail-local-config.yaml配置文件

---
version: "3"networks:loki:services:read:image: grafana/loki:2.8.3command: "-config.file=/etc/loki/config.yaml -target=read"ports:- 3101:3100- 7946- 9095volumes:- ./loki-config.yaml:/etc/loki/config.yamldepends_on:- miniohealthcheck:test: [ "CMD-SHELL", "wget --no-verbose --tries=1 --spider http://localhost:3100/ready || exit 1" ]interval: 10stimeout: 5sretries: 5networks: &loki-dnsloki:aliases:- lokiwrite:image: grafana/loki:2.8.3command: "-config.file=/etc/loki/config.yaml -target=write"ports:- 3102:3100- 7946- 9095volumes:- ./loki-config.yaml:/etc/loki/config.yamlhealthcheck:test: [ "CMD-SHELL", "wget --no-verbose --tries=1 --spider http://localhost:3100/ready || exit 1" ]interval: 10stimeout: 5sretries: 5depends_on:- minionetworks:<<: *loki-dnspromtail:image: grafana/promtail:2.8.3volumes:- ./promtail-local-config.yaml:/etc/promtail/config.yaml:ro- /var/run/docker.sock:/var/run/docker.sockcommand: -config.file=/etc/promtail/config.yamldepends_on:- gatewaynetworks:- lokiminio:image: minio/minioentrypoint:- sh- -euc- |mkdir -p /data/loki-data && \mkdir -p /data/loki-ruler && \minio server /dataenvironment:- MINIO_ROOT_USER=loki- MINIO_ROOT_PASSWORD=supersecret- MINIO_PROMETHEUS_AUTH_TYPE=public- MINIO_UPDATE=offports:- 9000volumes:- ./.data/minio:/datahealthcheck:test: [ "CMD", "curl", "-f", "http://localhost:9000/minio/health/live" ]interval: 15stimeout: 20sretries: 5networks:- lokigrafana:image: grafana/grafana:latestenvironment:- GF_PATHS_PROVISIONING=/etc/grafana/provisioning- GF_AUTH_ANONYMOUS_ENABLED=true- GF_AUTH_ANONYMOUS_ORG_ROLE=Admindepends_on:- gatewayentrypoint:- sh- -euc- |mkdir -p /etc/grafana/provisioning/datasourcescat <<EOF > /etc/grafana/provisioning/datasources/ds.yamlapiVersion: 1datasources:- name: Lokitype: lokiaccess: proxyurl: http://gateway:3100jsonData:httpHeaderName1: "X-Scope-OrgID"secureJsonData:httpHeaderValue1: "tenant1"EOF/run.shports:- "3000:3000"healthcheck:test: [ "CMD-SHELL", "wget --no-verbose --tries=1 --spider http://localhost:3000/api/health || exit 1" ]interval: 10stimeout: 5sretries: 5networks:- lokigateway:image: nginx:latestdepends_on:- read- writeentrypoint:- sh- -euc- |cat <<EOF > /etc/nginx/nginx.confuser  nginx;worker_processes  5;  ## Default: 1events {worker_connections   1000;}http {resolver 127.0.0.11;server {listen             3100;location = / {return 200 'OK';auth_basic off;}location = /api/prom/push {proxy_pass       http://write:3100\$$request_uri;}location = /api/prom/tail {proxy_pass       http://read:3100\$$request_uri;proxy_set_header Upgrade \$$http_upgrade;proxy_set_header Connection "upgrade";}location ~ /api/prom/.* {proxy_pass       http://read:3100\$$request_uri;}location = /loki/api/v1/push {proxy_pass       http://write:3100\$$request_uri;}location = /loki/api/v1/tail {proxy_pass       http://read:3100\$$request_uri;proxy_set_header Upgrade \$$http_upgrade;proxy_set_header Connection "upgrade";}location ~ /loki/api/.* {proxy_pass       http://read:3100\$$request_uri;}}}EOF/docker-entrypoint.sh nginx -g "daemon off;"ports:- "3100:3100"healthcheck:test: ["CMD", "service", "nginx", "status"]interval: 10stimeout: 5sretries: 5networks:- lokiflog:image: mingrammer/flogcommand: -f json -n 1000 -lnetworks:- loki

4.4.2. loki-config.yaml

---
server:http_listen_port: 3100
memberlist:join_members:- loki:7946
schema_config:configs:- from: 2021-08-01store: boltdb-shipperobject_store: s3schema: v11index:prefix: index_period: 24h
common:path_prefix: /lokireplication_factor: 1storage:s3:endpoint: minio:9000insecure: truebucketnames: loki-dataaccess_key_id: lokisecret_access_key: supersecrets3forcepathstyle: truering:kvstore:store: memberlist
ruler:storage:s3:bucketnames: loki-ruler

4.4.3. promtail-local-config.yaml

---
server:http_listen_port: 9080grpc_listen_port: 0positions:filename: /tmp/positions.yamlclients:- url: http://gateway:3100/loki/api/v1/pushtenant_id: tenant1scrape_configs:- job_name: flog_scrape docker_sd_configs:- host: unix:///var/run/docker.sockrefresh_interval: 5srelabel_configs:- source_labels: ['__meta_docker_container_name']regex: '/(.*)'target_label: 'container'