一、logstash学习
安装的时候最好不要有中文的安装路径
- 使用相对路径
在 Windows PowerShell 中，如果 logstash 可执行文件位于当前目录下，你需要使用相对路径来运行它。尝试输入以下命令：
.\logstash -e ‘input { stdin { } } output { stdout {} }’
正确启动后效果
2. 配置好自己的文件，把config 里面的 logstash-sample.conf 复制到bin里面 修改成 config.conf
3. 使用maven的 要去该路径下找 mysql-connector-java
使用 Maven 下载 MySQL Connector/J 驱动
- 在
pom.xml文件中添加 MySQL 依赖项：
<dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>8.0.33</version> <!-- 可以根据需要选择合适的版本 -->
</dependency>
-
构建项目：
- 运行
mvn install，Maven 会自动下载mysql-connector-java依赖，并将其添加到项目的target或lib目录下，具体取决于你的项目结构。
- 运行
-
找到 JAR 文件：
- 下载后，MySQL Connector/J 的 JAR 文件通常会位于你的本地 Maven 仓库路径中，路径格式为：
~/.m2/repository/mysql/mysql-connector-java/8.0.33/mysql-connector-java-8.0.33.jar。
- 下载后，MySQL Connector/J 的 JAR 文件通常会位于你的本地 Maven 仓库路径中，路径格式为：
-
配置 Logstash：
- 在 Logstash 的
conf文件中，jdbc_driver_library可以指向本地 Maven 仓库中生成的 JAR 文件。例如：jdbc_driver_library => "~/.m2/repository/mysql/mysql-connector-java/8.0.33/mysql-connector-java-8.0.33.jar"
- 在 Logstash 的
最后执行配置，就可以成功启动！！！
接着要将 Kibana 与 Elasticsearch 和 Logstash 配合使用，以查看 MySQL 数据的同步结果，可以按照以下步骤进行配置和访问：
环境准备
确保你已经安装了以下软件：
- Kibana：用于可视化 Elasticsearch 中的数据。
步骤一：启动 Kibana
- 进入 Kibana 安装目录的
bin目录。 - 运行
kibana.bat（Windows）或./kibana（Linux/Mac）来启动 Kibana。 - 打开浏览器，访问
http://localhost:5601，确保 Kibana 正常运行。
步骤二：配置 Kibana
-
连接 Elasticsearch：
- 在 Kibana 中，默认情况下，它会连接到
http://localhost:9200。确保你的 Elasticsearch 实例在这个地址上运行。
- 在 Kibana 中，默认情况下，它会连接到
-
创建索引模式：
- 在 Kibana 页面左侧菜单中，点击 “Management”（管理）。
- 在 “Index Patterns”（索引模式）下，点击 “Create index pattern”（创建索引模式）。
- 输入你在 Logstash 配置中定义的索引名称，例如
mysql-data-*，然后点击 “Next step”（下一步）。 - 选择时间字段（如果你使用了时间戳，通常是
@timestamp），然后点击 “Create index pattern”（创建索引模式）。
步骤三：查看数据
-
使用 Discover 功能：
- 在左侧菜单中，点击 “Discover”（发现）。
- 在搜索框中，你可以输入查询条件，以过滤和查看数据。
- 可以选择时间范围，以查看特定时间段内的数据。
-
可视化数据：
- 在左侧菜单中，点击 “Visualize”（可视化）。
- 点击 “Create visualization”（创建可视化），选择所需的图表类型（如条形图、饼图、折线图等）。
- 选择刚刚创建的索引模式，设置图表的字段和聚合方式。
-
创建仪表板：
- 在左侧菜单中，点击 “Dashboard”（仪表板）。
- 点击 “Create new dashboard”（创建新仪表板），然后将之前创建的可视化添加到仪表板中，以便于整体查看数据。
