ES的使用（Elasticsearch）

ES的使用（Elasticsearch）

es是什么？
es是非关系型数据库，是分布式文档数据库，本质上是一个JSON 文本
为什么要用es?
搜索速度快，近乎是实时的存储、检索数据
怎么使用es?
1.下载es的包（环境要是jdk1.8及以上）（我的资源中有）
2.下载es的可视化界面包（我的资源中有）
3.java编写es的工具类
es与关系型数据库对比
在这里插入图片描述

1.下载es的包，解压，运行bat文件（windows）

下载地址：es官网下载地址
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
elasticsearch.yml配置允许跨域

http.cors.enabled: true
http.cors.allow-origin: "*"

在这里插入图片描述

2.下载es的可视化界面包，解压，使用命令npm run start

下载地址：elasticsearch-head-master es可视化工具
在这里插入图片描述
打开http:localhost:9100
在这里插入图片描述

3.java编写es的工具类

引入es的依赖包

		<dependency><groupId>org.elasticsearch.client</groupId><artifactId>elasticsearch-rest-high-level-client</artifactId><version>6.2.4</version></dependency><dependency><groupId>org.elasticsearch.client</groupId><artifactId>elasticsearch-rest-client</artifactId><version>6.2.4</version></dependency><dependency><groupId>org.elasticsearch</groupId><artifactId>elasticsearch</artifactId><version>6.2.4</version></dependency>

package com.next.service;import lombok.extern.slf4j.Slf4j;
import org.apache.http.HttpHost;
import org.apache.http.client.config.RequestConfig;
import org.apache.http.message.BasicHeader;
import org.elasticsearch.action.bulk.BulkRequest;
import org.elasticsearch.action.bulk.BulkResponse;
import org.elasticsearch.action.get.GetRequest;
import org.elasticsearch.action.get.GetResponse;
import org.elasticsearch.action.get.MultiGetRequest;
import org.elasticsearch.action.get.MultiGetResponse;
import org.elasticsearch.action.index.IndexRequest;
import org.elasticsearch.action.index.IndexResponse;
import org.elasticsearch.action.update.UpdateRequest;
import org.elasticsearch.action.update.UpdateResponse;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestClientBuilder;
import org.elasticsearch.client.RestHighLevelClient;
import org.springframework.context.ApplicationListener;
import org.springframework.context.event.ContextRefreshedEvent;
import org.springframework.stereotype.Service;@Service
@Slf4j
public class ESClient implements ApplicationListener<ContextRefreshedEvent> {private final static int CONNECT_TIMEOUT = 100;private final static int SOCKET_TIMEOUT = 60 * 1000;private final static int REQUEST_TIMEOUT = SOCKET_TIMEOUT;private RestHighLevelClient restHighLevelClient; //JDK8及以上private BasicHeader[] basicHeaders;@Overridepublic void onApplicationEvent(ContextRefreshedEvent contextRefreshedEvent) {try {initClient();} catch (Exception e) {log.error("es client init exception", e);try {Thread.sleep(1000);} catch (Exception e1) {}initClient();}}private void initClient() {log.info("es client init start");//请求头时允许的格式basicHeaders = new BasicHeader[]{new BasicHeader("Accept", "application/json;charset=UTF-8")};//es客户端连接设置初始化RestClientBuilder builder = RestClient.builder(new HttpHost("127.0.0.1", 9200, "http"));builder.setDefaultHeaders(basicHeaders)//设置相关超时间配置.setRequestConfigCallback((RequestConfig.Builder configBuilder) -> {configBuilder.setConnectTimeout(CONNECT_TIMEOUT);configBuilder.setSocketTimeout(SOCKET_TIMEOUT);configBuilder.setConnectionRequestTimeout(REQUEST_TIMEOUT);return configBuilder;});restHighLevelClient = new RestHighLevelClient(builder);log.info("es client init end");}//es新增操作public IndexResponse index(IndexRequest indexRequest) throws Exception {try {return restHighLevelClient.index(indexRequest);} catch (Exception e) {log.error("es.index exception,indexRequest:{}", indexRequest, e);throw e;}}//更新操作public UpdateResponse update(UpdateRequest updateRequest) throws Exception {try {return restHighLevelClient.update(updateRequest, basicHeaders);} catch (Exception e) {log.error("es.update exception,updateRequest:{}", updateRequest, e);throw e;}}//查询public GetResponse get(GetRequest getRequest) throws Exception {try {return restHighLevelClient.get(getRequest, basicHeaders);} catch (Exception e) {log.error("es.get exception,updateRequest:{}", getRequest, e);throw e;}}//多个查询请求放在一起查public MultiGetResponse multiGet(MultiGetRequest multiGetRequest) throws Exception {try {return restHighLevelClient.multiGet(multiGetRequest);} catch (Exception e) {log.error("es.multiGet exception,getRequest:{}", multiGetRequest, e);throw e;}}/*** @desc 批量更新*/public BulkResponse bulk(BulkRequest bulkRequest) throws Exception {try {return restHighLevelClient.bulk(bulkRequest,basicHeaders);} catch (Exception e) {log.error("es.multiGet exception,bulkRequest:{}", bulkRequest, e);throw e;}}
}

es启动
在这里插入图片描述

4.使用例子：

将车次信息存到es中，方便用户查询(从此地到目的地有哪些车可以乘坐)

package com.next.service;import com.alibaba.google.common.base.Splitter;
import com.alibaba.otter.canal.protocol.CanalEntry;
import com.google.common.collect.Lists;
import com.google.common.collect.Maps;
import com.next.common.TrainEsConstant;
import com.next.dao.TrainNumberDetailMapper;
import com.next.dao.TrainNumberMapper;
import com.next.model.TrainNumber;
import com.next.model.TrainNumberDetail;
import com.next.util.JsonMapper;
import lombok.extern.slf4j.Slf4j;
import org.elasticsearch.action.bulk.BulkRequest;
import org.elasticsearch.action.bulk.BulkResponse;
import org.elasticsearch.action.get.*;
import org.elasticsearch.action.index.IndexRequest;
import org.elasticsearch.action.update.UpdateRequest;
import org.elasticsearch.common.util.set.Sets;
import org.springframework.stereotype.Service;
import org.springframework.util.CollectionUtils;import javax.annotation.Resource;
import java.util.List;
import java.util.Map;
import java.util.Set;@Service
@Slf4j
public class TrainNumberService {@Resourceprivate TrainNumberMapper trainNumberMapper;@Resourceprivate TrainCacheService trainCacheService;@Resourceprivate TrainNumberDetailMapper trainNumberDetailMapper;@Resourceprivate ESClient esClient;public void handle(List<CanalEntry.Column> columns, CanalEntry.EventType eventType) throws Exception{if (eventType != CanalEntry.EventType.UPDATE) {log.info("not update,no need care");return;}int trainNumberId = 0;//获取数据库的trainNumberIdfor (CanalEntry.Column column : columns) {if (column.getName().equals("id")) {trainNumberId = Integer.parseInt(column.getValue());break;}}TrainNumber trainNumber = trainNumberMapper.selectByPrimaryKey(trainNumberId);//校验是否有车次if (null == trainNumber) {log.error("not found trainNumber,trainNumberId:{}", trainNumberId);return;}List<TrainNumberDetail> detailList = trainNumberDetailMapper.getByTrainNumberId(trainNumberId);//校验是否有车次详情if (CollectionUtils.isEmpty(detailList)) {log.warn("no detail,no need care,trainNumberId:{}", trainNumber.getName());return;}//将数据写入缓存中trainCacheService.set("TN_" + trainNumber.getName(), JsonMapper.obj2String(detailList));log.info("trainNumber:{} detailList update redis", trainNumber.getName());//将数据存入es中saveES(detailList,trainNumber);log.info("trainNumber:{} detailList update es", trainNumber.getName());}//数据保存到es(客户需要查询的数据放到es--->从此地到目的地有哪些车可以乘坐)private void saveES(List<TrainNumberDetail> detailList, TrainNumber trainNumber) throws Exception{/*** A-B fromStationId- toStationId* 例：北京到大连有多少趟车?* 根据车站的开始结束站，去找车次，即根据fromStationId- toStationId获取到 trainNumberId1,trainNumberId2。。。。* trainNumber: A->B->C* D386:北京->锦州->大连* D387:北京->鞍山->大连** 拆分如下* D386: 北京-锦州 锦州-大连 北京-大连* D387: 北京-鞍山 鞍山-大连 北京-大连*/List<String> list = Lists.newArrayList();int fromStationId = trainNumber.getFromStationId();if (detailList.size() == 1) {//单段int toStationId = trainNumber.getToStationId();list.add(fromStationId + "_" + toStationId);} else {//多段,枚举所有的车次,要保证多段有序for (int i = 0; i < detailList.size(); i++) {//获取开始车站idint tempFromStationId = detailList.get(i).getFromStationId();for (int j = i; j < detailList.size(); j++) {//获取到达车站idint tempToStationId = detailList.get(j).getToStationId();list.add(tempFromStationId+"_"+tempToStationId);}}}//检查数据是否已经存在，存在则不新增，不存在则新增//★如果是for循环里面的话，要封装成批量操作IOMultiGetRequest multiGetRequest = new MultiGetRequest();BulkRequest bulkRequest = new BulkRequest();for(String item:list){multiGetRequest.add(new MultiGetRequest.Item(TrainEsConstant.INDEX,TrainEsConstant.TYPE,item));}//获取处理后的结果MultiGetResponse multiGetItemResponses = esClient.multiGet(multiGetRequest);for(MultiGetItemResponse itemResponse:multiGetItemResponses.getResponses()){if(itemResponse.isFailed()){log.error("multiGet item failed,itemResponse:{}",itemResponse);continue;}GetResponse getResponse = itemResponse.getResponse();if(getResponse == null){log.error("multiGet item is null,itemResponse:{}",itemResponse);continue;}//存储更新es的数据，新增用source传入数据  更新用doc传入数据Map<String,Object> dataMap = Maps.newHashMap();Map<String,Object> map = getResponse.getSourceAsMap();if(!getResponse.isExists() || map == null){//add indexdataMap.put(TrainEsConstant.COLUMN_TRAIN_NUMBER,trainNumber.getName());IndexRequest indexRequest = new IndexRequest(TrainEsConstant.INDEX,TrainEsConstant.TYPE,getResponse.getId()).source(dataMap);bulkRequest.add(indexRequest);continue;}//里面是车次信息 trainNumberId1,trainNumberId2。。。。，需要拆分String origin = (String) map.get(TrainEsConstant.COLUMN_TRAIN_NUMBER);Set<String> set = Sets.newHashSet(Splitter.on(",").trimResults().omitEmptyStrings().split(origin));if(!set.contains(trainNumber.getName())){//update indexdataMap.put(TrainEsConstant.COLUMN_TRAIN_NUMBER,origin+","+trainNumber.getName());UpdateRequest updateRequest = new UpdateRequest(TrainEsConstant.INDEX,TrainEsConstant.TYPE,getResponse.getId()).doc(dataMap);bulkRequest.add(updateRequest);}}//批量更新es的数据(bulkResponse是批量对象转成string打印日志)BulkResponse bulkResponse = esClient.bulk(bulkRequest);log.info("es bulk response:{}",JsonMapper.obj2String(bulkResponse));if(bulkResponse.hasFailures()){throw new RuntimeException("es bulk failure");}}}

车次表
在这里插入图片描述车次明细表
在这里插入图片描述
修改数据库中车次表的信息会将数据处理后（出发站-到达站 车次号）存入es
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/227333.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

三巨头对决：深入了解pnpm、yarn与npm

三巨头对决：深入了解pnpm、yarn与npm

欢迎来到我的博客&#xff0c;代码的世界里&#xff0c;每一行都是一个故事 三巨头对决&#xff1a;深入了解pnpm、yarn与npm 前言包管理器简介npm&#xff08;Node Package Manager&#xff09;&#xff1a;Yarn&#xff1a;pnpm&#xff08;Performant Npm&#xff09;&#…
阅读更多...
python爬虫进阶-每日一学（GIF验证码识别）

python爬虫进阶-每日一学（GIF验证码识别）

目的 学习更多的python反爬虫策略 测试网址 http://credit.customs.gov.cn/ccppserver/verifyCode/creator分析 01 下载gif图片 02 使用ddddocr逐帧识别 03 如指定字符串出现次数大于等于3&#xff0c;则认定为正确的识别结果 经验证&#xff0c;识别成功率95%源码 #!/usr…
阅读更多...
07-C++ 异常

07-C++ 异常

异常 1. 概念 异常事件&#xff08;如&#xff1a;除 0 溢出&#xff0c;数组下标越界&#xff0c;所要读取的文件不存在,空指针&#xff0c;内存不足等等&#xff09; 在C 语言对错误的处理是两种方法&#xff1a; 一是使用整型的 返回值标识错误&#xff1a;二是使用 errno…
阅读更多...
swing快速入门（三十二）消息对话框

swing快速入门（三十二）消息对话框

注释很详细&#xff0c;直接上代码 上一篇 新增内容 1.自定义对话框前列图标 2.消息对话框的若干种形式 package swing21_30;import javax.swing.*; import java.awt.*; import java.awt.event.ActionEvent;public class swing_test_30 {// 定义一个JFrameJFrame jFrame n…
阅读更多...
Redis内存使用率高，内存不足问题排查和解决

Redis内存使用率高，内存不足问题排查和解决

问题现象 表面现象是系统登录突然失效&#xff0c;排查原因发现&#xff0c;使用redis查询用户信息异常&#xff0c;从而定位到redis问题 if (PassWord.equals(dbPassWord)) {map.put("rtn", 1);map.put("value", validUser);session.setAttribute("…
阅读更多...
初识智慧城市

初识智慧城市

文章目录 智慧家居 智慧社区 智慧交通 智慧医疗 智慧教育 智慧旅游 智慧农业 智慧安防 智慧家居 利用智能语音、智能交互等技术,实现用户对家居系统各设备的远程操控和能控制如开关窗帘(窗户)、操控家用电器和照明系统、打扫卫生等操作。利用计算机视觉等技术,对被照看…
阅读更多...
java爬虫（jsoup）如何设置HTTP代理ip爬数据

java爬虫（jsoup）如何设置HTTP代理ip爬数据

目录 前言 什么是HTTP代理IP 使用Jsoup设置HTTP代理IP的步骤 1. 导入Jsoup依赖 2. 创建HttpProxy类 3. 设置代理服务器 4. 使用Jsoup进行爬取 结论 前言 在Java中使用Jsoup进行网络爬虫操作时&#xff0c;有时需要使用HTTP代理IP来爬取数据。本文将介绍如何使用Jsoup设…
阅读更多...
智能监控平台/视频共享融合系统EasyCVR海康设备国标GB28181接入流程

智能监控平台/视频共享融合系统EasyCVR海康设备国标GB28181接入流程

TSINGSEE青犀视频监控汇聚平台EasyCVR可拓展性强、视频能力灵活、部署轻快&#xff0c;可支持的主流标准协议有国标GB28181、RTSP/Onvif、RTMP等&#xff0c;以及支持厂家私有协议与SDK接入&#xff0c;包括海康Ehome、海大宇等设备的SDK等。平台既具备传统安防视频监控的能力&…
阅读更多...
sqlilabs第三十二三十三关

sqlilabs第三十二三十三关

Less-32&#xff08;GET - Bypass custom filter adding slashes to dangerous chars) 手工注入 由 宽字符注入可知payload 成功触发报错 http://192.168.21.149/Less-32/ ?id1%df 要写字符串的话直接吧字符串变成ascii码 注意16进制的表示方式 自动注入 sqlmap -u http:…
阅读更多...
饥荒Mod 开发(二二)：显示物品信息

饥荒Mod 开发(二二)：显示物品信息

饥荒Mod 开发(二一)&#xff1a;超大便携背包&#xff0c;超大物品栏&#xff0c;永久保鲜 饥荒Mod 开发(二三)&#xff1a;显示物品栏详细信息 饥荒中的物品没有详细信息&#xff0c;基本上只有一个名字&#xff0c;所以很多物品的功能都不知道&#xff0c;比如浆果吃了也不知…
阅读更多...
鸿蒙4.0实战教学—基础ArkTS（简易视频播放器）

鸿蒙4.0实战教学—基础ArkTS（简易视频播放器）

构建主界面 主界面由视频轮播模块和多个视频列表模块组成&#xff0c;效果图如图&#xff1a; VideoData.ets中定义的视频轮播图数组SWIPER_VIDEOS和视频列表图片数组HORIZONTAL_VIDEOS。 // VideoData.ets import { HorizontalVideoItem } from ./HorizontalVideoItem; impo…
阅读更多...
35.搜索插入位置

35.搜索插入位置

给定一个排序数组和一个目标值&#xff0c;在数组中找到目标值&#xff0c;并返回其索引。如果目标值不存在于数组中&#xff0c;返回它将会被按顺序插入的位置。 请必须使用时间复杂度为 O(log n) 的算法。 示例 1: 输入: nums [1,3,5,6], target 5 输出: 2示例 2: 输入:…
阅读更多...
大开眼界，速看！Solid Edge各版本安装指南

大开眼界，速看！Solid Edge各版本安装指南

下载链接 https://pan.baidu.com/s/1g3QEGoLsjD7JaudZUOW96Q?pwd0531 1.鼠标右击【Solid Edge2024(64bit)】压缩包&#xff08;win11及以上系统需先点击“显示更多选项”&#xff09;【解压到 Solid Edge2024(64bit)】。 2.打开解压后的文件夹&#xff0c;双击打开【Setup】文…
阅读更多...
【前端技术】LocalForage数据存储

【前端技术】LocalForage数据存储

✨专栏介绍 在当今数字化时代&#xff0c;Web应用程序已经成为了人们生活和工作中不可或缺的一部分。而要构建出令人印象深刻且功能强大的Web应用程序&#xff0c;就需要掌握一系列前端技术。前端技术涵盖了HTML、CSS和JavaScript等核心技术&#xff0c;以及各种框架、库和工具…
阅读更多...
算法训练营Day26

算法训练营Day26

#Java #全排列 #回溯 开源学习资料 Feeling and experiences&#xff1a; 递增子序列&#xff1a;力扣题目链接 给你一个整数数组 nums &#xff0c;找出并返回所有该数组中不同的递增子序列&#xff0c;递增子序列中 至少有两个元素 。你可以按 任意顺序 返回答案。 数组…
阅读更多...
《PCI Express体系结构导读》随记 —— 第I篇 第1章 PCI总线的基本知识（18）

《PCI Express体系结构导读》随记 —— 第I篇 第1章 PCI总线的基本知识（18）

接前一篇文章&#xff1a;《PCI Express体系结构导读》随记 —— 第I篇 第1章 PCI总线的基本知识&#xff08;17&#xff09; 1.4 PCI总线的中断机制 1.4.2 中断信号与PCI总线的连接关系 在PCI总线中&#xff0c;INTx信号属于边带信号。所谓边带信号是指这些信号在PCI总线环境…
阅读更多...
深入了解云原生：定义与特征解析

深入了解云原生：定义与特征解析

文章目录 一、云原生概述1.1 什么是云原生1.2 云原生组成要素1.3 补充资料 二、云原生的目标2.1 云原生关键目标2.2 云原生特性 三、云原生应用 VS 传统单体应用参考资料 一、云原生概述 1.1 什么是云原生 (1)云原生定义 云原生(Cloud Native) 是一种软件架构和开发方法论&a…
阅读更多...
二叉树顺序结构与堆的概念及性质（c语言实现堆）

二叉树顺序结构与堆的概念及性质（c语言实现堆）

上次介绍了树&#xff0c;二叉树的基本概念结构及性质&#xff1a;二叉树数据结构&#xff1a;深入了解二叉树的概念、特性与结构 今天带来的是&#xff1a;二叉树顺序结构与堆的概念及性质&#xff0c;还会用c语言来实现堆 文章目录 1. 二叉树的顺序结构2.堆的概念和结构3.堆…
阅读更多...
Vue : 监视属性

Vue : 监视属性

目录 一个案例 监听属性 handler immediate vm.$watch(xxx) 深度监视 监视的简写 computed和watch之间的区别 一个案例 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport"…
阅读更多...
使用TLS/SSL Pinning保护安卓应用程序

使用TLS/SSL Pinning保护安卓应用程序

使用TLS/SSL Pinning保护安卓应用程序 在现代术语中&#xff0c;“SSL”&#xff08;安全套接层&#xff09;通常指的是“TLS”&#xff08;传输层安全&#xff09;。虽然 SSL 和 TLS 不是同一个东西&#xff0c;但 TLS 是 SSL 的改进和更安全的版本&#xff0c;并且在实践中已…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023