目录
下载安装Logstash
配置Logstash配置文件
运行配置文件
查看导入结果
使用Logstash将sql数据导入Elasticsearch
下载安装Logstash
官网地址
选择Windows系统,需下载与安装的Elasticsearch相同版本的,下载完成后解压安装包。
配置Logstash配置文件
在config文件夹下新建一个名为 sql.conf 的文件,内容如下
input {stdin {
}jdbc {# 配置数据库信息jdbc_connection_string => "jdbc:mysql://localhost:3306/test?useUnicode=true&characterEncoding=UTF-8&serverTimezone=Asia/Shanghai"jdbc_driver_class => "com.mysql.cj.jdbc.Driver"jdbc_user => "root"jdbc_password => "root"jdbc_paging_enabled => "true"#jdbc_validate_connection => truejdbc_page_size => "50000"jdbc_default_timezone => "Asia/Shanghai"# mysql驱动所在位置jdbc_driver_library => "C:/mysql/mysql-connector-java/8.0.29/mysql-connector-java-8.0.29.jar"驱动地址也可不填,但是需要将驱动放进 logstash-core\lib\jars 文件夹下#sql执行语句statement => "SELECT * FROM test"}
}
output {elasticsearch {hosts => ["localhost:9200"]index => "test_index"document_id => "%{id}"}stdout {codec => json_lines}
}
文件分为input 和output两部分。input 部分从mysql读取数据,output部分向ES插入数据。
运行配置文件
bin\logstash -f config\sql.conf
命令行显示数据插入则表示成功。
查看导入结果
利用Kibana查看Elasticsearch中是否成功创建索引,以及索引中的文档数。