SpringBoot+ElasticSearch实现文档内容抽取、高亮分词、全文检索

需求
产品希望我们这边能够实现用户上传PDF、WORD、TXT之内得文本内容,然后用户可以根据附件名称或文件内容模糊查询文件信息,并可以在线查看文件内容。

一、环境
项目开发环境:

后台管理系统springboot+mybatis_plus+mysql+es
搜索引擎:elasticsearch7.9.3 +kibana图形化界面

二、功能实现
1.搭建环境
es+kibana的搭建这里就不介绍了,网上多的是

后台程序搭建也不介绍,这里有一点很重要,Java使用的连接es的包的版本一定要和es的版本对应上,不然你会有各种问题

2.文件内容识别
第一步: 要用es实现文本附件内容的识别,需要先给es安装一个插件:Ingest Attachment Processor Plugin

这知识一个内容识别的插件,还有其它的例如OCR之类的其它插件,有兴趣的可以去搜一下了解一下

Ingest Attachment Processor Plugin是一个文本抽取插件,本质上是利用了Elasticsearch的ingest node功能,提供了关键的预处理器attachment。在安装目录下运行以下命令即可安装。

到es的安装文件bin目录下执行

elasticsearch-plugin install ingest-attachment

因为我们这里es是使用docker安装的,所以需要进入到es的docker镜像里面的bin目录下安装插件

[root@iZuf63d0pqnjrga4pi18udZ plugins]# docker exec -it es bash
[root@elasticsearch elasticsearch]# ls
LICENSE.txt  NOTICE.txt  README.asciidoc  bin  config  data  jdk  lib  logs  modules  plugins
[root@elasticsearch elasticsearch]# cd bin/
[root@elasticsearch bin]# ls
elasticsearch          elasticsearch-certutil  elasticsearch-croneval  elasticsearch-env-from-file  elasticsearch-migrate  elasticsearch-plugin         elasticsearch-setup-passwords  elasticsearch-sql-cli            elasticsearch-syskeygen  x-pack-env           x-pack-watcher-env
elasticsearch-certgen  elasticsearch-cli       elasticsearch-env       elasticsearch-keystore       elasticsearch-node     elasticsearch-saml-metadata  elasticsearch-shard            elasticsearch-sql-cli-7.9.3.jar  elasticsearch-users      x-pack-security-env
[root@elasticsearch bin]# elasticsearch-plugin install ingest-attachment
-> Installing ingest-attachment
-> Downloading ingest-attachment from elastic
[=================================================] 100%?? 
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@     WARNING: plugin requires additional permissions     @
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
* java.lang.RuntimePermission accessClassInPackage.sun.java2d.cmm.kcms
* java.lang.RuntimePermission accessDeclaredMembers
* java.lang.RuntimePermission getClassLoader
* java.lang.reflect.ReflectPermission suppressAccessChecks
* java.security.SecurityPermission createAccessControlContext
* java.security.SecurityPermission insertProvider
* java.security.SecurityPermission putProviderProperty.BC
See http://docs.oracle.com/javase/8/docs/technotes/guides/security/permissions.html
for descriptions of what these permissions allow and the associated risks.Continue with installation? [y/N]y
-> Installed ingest-attachment

显示installed 就表示安装完成了,然后重启es,不然第二步要报错

第二步:创建一个文本抽取的管道

主要是用于将上传的附件转换成文本内容,支持(word,PDF,txt,excel没试,应该也支持)
在这里插入图片描述

{"description": "Extract attachment information","processors": [{"attachment": {"field": "content","ignore_missing": true}},{"remove": {"field": "content"}}]
}

第三步:定义我们内容存储的索引
在这里插入图片描述

{"mappings": {"properties": {"id":{"type": "keyword"},"fileName":{"type": "text","analyzer": "my_ana"},"contentType":{"type": "text","analyzer": "my_ana"},"fileUrl":{"type": "text"},"attachment": {"properties": {"content":{"type": "text","analyzer": "my_ana"}}}}},"settings": {"analysis": {"filter": {"jieba_stop": {"type":        "stop","stopwords_path": "stopword/stopwords.txt"},"jieba_synonym": {"type":        "synonym","synonyms_path": "synonym/synonyms.txt"}},"analyzer": {"my_ana": {"tokenizer": "jieba_index","filter": ["lowercase","jieba_stop","jieba_synonym"]}}}}
}

mapping:定义的是存储的字段格式
setting:索引的配置信息,这边定义了一个分词(使用的是jieba的分词)

注意:内容检索的是attachment.content字段,一定要使用分词,不使用分词的话,检索会检索不出来内容

第四步:测试

在这里插入图片描述

{"id":"1","name":"进口红酒","filetype":"pdf","contenttype":"文章","content":"文章内容"
}

测试内容需要将附件转换成base64格式

在线转换文件的地址:https://www.zhangxinxu.com/sp/base64.html

查询刚刚上传的文件:
在这里插入图片描述

{"took": 861,"timed_out": false,"_shards": {"total": 1,"successful": 1,"skipped": 0,"failed": 0},"hits": {"total": {"value": 5,"relation": "eq"},"max_score": 1.0,"hits": [{"_index": "fileinfo","_type": "_doc","_id": "lkPEgYIBz3NlBKQzXYX9","_score": 1.0,"_source": {"fileName": "测试_20220809164145A002.docx","updateTime": 1660034506000,"attachment": {"date": "2022-08-09T01:38:00Z","content_type": "application/vnd.openxmlformats-officedocument.wordprocessingml.document","author": "DELL","language": "lt","content": "内容","content_length": 2572},"createTime": 1660034506000,"fileUrl": "http://localhost:8092/fileInfo/profile/upload/fileInfo/2022/08/09/测试_20220809164145A002.docx","id": 1306333192,"contentType": "文章","fileType": "docx"}},{"_index": "fileinfo","_type": "_doc","_id": "mUPHgYIBz3NlBKQzwIVW","_score": 1.0,"_source": {"fileName": "测试_20220809164527A001.docx","updateTime": 1660034728000,"attachment": {"date": "2022-08-09T01:38:00Z","content_type": "application/vnd.openxmlformats-officedocument.wordprocessingml.document","author": "DELL","language": "lt","content": "内容","content_length": 2572},"createTime": 1660034728000,"fileUrl": "http://localhost:8092/fileInfo/profile/upload/fileInfo/2022/08/09/测试_20220809164527A001.docx","id": 1306333193,"contentType": "文章","fileType": "docx"}},{"_index": "fileinfo","_type": "_doc","_id": "JDqshoIBbkTNu1UgkzFK","_score": 1.0,"_source": {"fileName": "txt测试_20220810153351A001.txt","updateTime": 1660116831000,"attachment": {"content_type": "text/plain; charset=UTF-8","language": "lt","content": "内容","content_length": 804},"createTime": 1660116831000,"fileUrl": "http://localhost:8092/fileInfo/profile/upload/fileInfo/2022/08/10/txt测试_20220810153351A001.txt","id": 1306333194,"contentType": "告示","fileType": "txt"}}]}
}

我们调用上传的接口,可以看到文本内容已经抽取到es里面了,后面就可以直接分词检索内容,高亮显示了

三.代码
介绍下代码实现逻辑:文件上传,数据库存储附件信息和附件上传地址;调用es实现文本内容抽取,将抽取的内容放到对应索引下;提供小程序全文检索的api实现根据文件名称关键词联想,文件名称内容全文检索模糊匹配,并高亮显示分词匹配字段;直接贴代码

yml配置文件:

# 数据源配置
spring:# 服务模块devtools:restart:# 热部署开关enabled: true# 搜索引擎elasticsearch:rest:url: 127.0.0.1uris: 127.0.0.1:9200connection-timeout: 1000read-timeout: 3000username: elasticpassword: 123456

elsticsearchConfig(连接配置)

package com.yj.rselasticsearch.domain.config;import org.apache.http.HttpHost;
import org.apache.http.auth.AuthScope;
import org.apache.http.auth.UsernamePasswordCredentials;
import org.apache.http.impl.client.BasicCredentialsProvider;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestHighLevelClient;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;import java.time.Duration;@Configuration
public class ElasticsearchConfig {@Value("${spring.elasticsearch.rest.url}")private String edUrl;@Value("${spring.elasticsearch.rest.username}")private String userName;@Value("${spring.elasticsearch.rest.password}")private String password;@Beanpublic RestHighLevelClient restHighLevelClient() {//设置连接的用户名密码final BasicCredentialsProvider credentialsProvider = new BasicCredentialsProvider();credentialsProvider.setCredentials(AuthScope.ANY, new UsernamePasswordCredentials(userName, password));RestHighLevelClient client =  new RestHighLevelClient(RestClient.builder(new HttpHost(edUrl, 9200,"http")).setHttpClientConfigCallback(httpClientBuilder -> {httpClientBuilder.disableAuthCaching();//保持连接池处于链接状态,该bug曾导致es一段时间没使用,第一次连接访问超时httpClientBuilder.setKeepAliveStrategy(((response, context) -> Duration.ofMinutes(5).toMillis()));return httpClientBuilder.setDefaultCredentialsProvider(credentialsProvider);}));return client;}
}

文件上传保存文件信息并抽取内容到es

实体对象FileInfo

package com.yj.common.core.domain.entity;import com.baomidou.mybatisplus.annotation.TableField;
import com.yj.common.core.domain.BaseEntity;
import lombok.Data;
import lombok.EqualsAndHashCode;
import lombok.Getter;
import lombok.Setter;
import org.springframework.data.elasticsearch.annotations.Document;
import org.springframework.data.elasticsearch.annotations.Field;
import org.springframework.data.elasticsearch.annotations.FieldType;import java.util.Date;@Setter
@Getter
@Document(indexName = "fileinfo",createIndex = false)
public class FileInfo {/*** 主键*/@Field(name = "id", type = FieldType.Integer)private Integer id;/*** 文件名称*/@Field(name = "fileName", type = FieldType.Text,analyzer = "jieba_index",searchAnalyzer = "jieba_index")private String fileName;/*** 文件类型*/@Field(name = "fileType",  type = FieldType.Keyword)private String fileType;/*** 内容类型*/@Field(name = "contentType", type = FieldType.Text)private String contentType;/*** 附件内容*/@Field(name = "attachment.content", type = FieldType.Text,analyzer = "jieba_index",searchAnalyzer = "jieba_index")@TableField(exist = false)private String content;/*** 文件地址*/@Field(name = "fileUrl", type = FieldType.Text)private String fileUrl;/*** 创建时间*/private Date createTime;/*** 更新时间*/private Date updateTime;
}

controller类

package com.yj.rselasticsearch.controller;import com.yj.common.core.controller.BaseController;
import com.yj.common.core.domain.AjaxResult;
import com.yj.common.core.domain.entity.FileInfo;
import com.yj.rselasticsearch.service.FileInfoService;
import org.springframework.web.bind.annotation.*;
import org.springframework.web.multipart.MultipartFile;import javax.annotation.Resource;/*** (file_info)表控制层** @author xxxxx*/
@RestController
@RequestMapping("/fileInfo")
public class FileInfoController extends BaseController {/*** 服务对象*/@Resourceprivate FileInfoService fileInfoService;@PutMapping("uploadFile")public AjaxResult uploadFile(String contentType, MultipartFile file) {return fileInfoService.uploadFileInfo(contentType,file);}
}

serviceImpl实现类

package com.yj.rselasticsearch.service.impl;import com.alibaba.fastjson.JSON;
import com.baomidou.mybatisplus.core.conditions.query.LambdaQueryWrapper;
import com.yj.common.config.RuoYiConfig;
import com.yj.common.core.domain.AjaxResult;
import com.yj.common.utils.FastUtils;
import com.yj.common.utils.StringUtils;
import com.yj.common.utils.file.FileUploadUtils;
import com.yj.common.utils.file.FileUtils;
import com.yj.framework.config.ServerConfig;
import lombok.extern.slf4j.Slf4j;
import org.elasticsearch.action.index.IndexRequest;
import org.elasticsearch.action.index.IndexResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.common.xcontent.XContentType;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.data.elasticsearch.core.ElasticsearchRestTemplate;
import org.springframework.stereotype.Service;
import javax.annotation.Resource;
import com.yj.common.core.domain.entity.FileInfo;
import com.yj.rselasticsearch.mapper.FileInfoMapper;
import com.yj.rselasticsearch.service.FileInfoService;
import org.springframework.web.multipart.MultipartFile;import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.util.Base64;@Service
@Slf4j
public class FileInfoServiceImpl implements FileInfoService{@Resourceprivate ServerConfig serverConfig;@Autowired@Qualifier("restHighLevelClient")private RestHighLevelClient client;@Resourceprivate FileInfoMapper fileInfoMapper;/*** 上传文件并进行文件内容识别上传到es* @param contentType* @param file* @return*/@Overridepublic AjaxResult uploadFileInfo(String contentType, MultipartFile file) {if (FastUtils.checkNullOrEmpty(contentType,file)){return AjaxResult.error("请求参数不能为空");}try {// 上传文件路径String filePath = RuoYiConfig.getUploadPath() + "/fileInfo";FileInfo fileInfo = new FileInfo();// 上传并返回新文件名称String fileName = FileUploadUtils.upload(filePath, file);String prefix = fileName.substring(fileName.lastIndexOf(".")+1);File files = File.createTempFile(fileName, prefix);file.transferTo(files);String url = serverConfig.getUrl() + "/fileInfo" + fileName;fileInfo.setFileName(FileUtils.getName(fileName));fileInfo.setFileType(prefix);fileInfo.setFileUrl(url);fileInfo.setContentType(contentType);int result = fileInfoMapper.insertSelective(fileInfo);if (result > 0) {fileInfo = fileInfoMapper.selectOne(new LambdaQueryWrapper<FileInfo>().eq(FileInfo::getFileUrl,fileInfo.getFileUrl()));byte[] bytes = getContent(files);String base64 = Base64.getEncoder().encodeToString(bytes);fileInfo.setContent(base64);IndexRequest indexRequest = new IndexRequest("fileinfo");//上传同时,使用attachment pipline进行提取文件indexRequest.source(JSON.toJSONString(fileInfo), XContentType.JSON);indexRequest.setPipeline("attachment");IndexResponse indexResponse = client.index(indexRequest, RequestOptions.DEFAULT);log.info("indexResponse:" + indexResponse);}AjaxResult ajax = AjaxResult.success(fileInfo);return ajax;} catch (Exception e) {return AjaxResult.error(e.getMessage());}}/*** 文件转base64** @param file* @return* @throws IOException*/private byte[] getContent(File file) throws IOException {long fileSize = file.length();if (fileSize > Integer.MAX_VALUE) {log.info("file too big...");return null;}FileInputStream fi = new FileInputStream(file);byte[] buffer = new byte[(int) fileSize];int offset = 0;int numRead = 0;while (offset < buffer.length&& (numRead = fi.read(buffer, offset, buffer.length - offset)) >= 0) {offset += numRead;}// 确保所有数据均被读取if (offset != buffer.length) {throw new ServiceException("Could not completely read file "+ file.getName());}fi.close();return buffer;}
}

高亮分词检索

参数请求WarningInfoDto

package com.yj.rselasticsearch.domain.dto;import com.yj.common.core.domain.entity.WarningInfo;
import io.swagger.annotations.ApiModel;
import io.swagger.annotations.ApiModelProperty;
import lombok.Data;import java.util.List;/*** 前端请求数据传输* WarningInfo* @author luoY*/
@Data
@ApiModel(value ="WarningInfoDto",description = "告警信息")
public class WarningInfoDto{/*** 页数*/@ApiModelProperty("页数")private Integer pageIndex;/*** 每页数量*/@ApiModelProperty("每页数量")private Integer pageSize;/*** 查询关键词*/@ApiModelProperty("查询关键词")private String keyword;/*** 内容类型*/private List<String> contentType;/*** 用户手机号*/private String phone;
}

controller类

package com.yj.rselasticsearch.controller;import com.baomidou.mybatisplus.core.metadata.IPage;
import com.yj.common.core.controller.BaseController;
import com.yj.common.core.domain.AjaxResult;
import com.yj.common.core.domain.entity.FileInfo;
import com.yj.common.core.domain.entity.WarningInfo;
import com.yj.rselasticsearch.service.ElasticsearchService;
import com.yj.rselasticsearch.service.WarningInfoService;
import io.swagger.annotations.Api;
import io.swagger.annotations.ApiImplicitParam;
import io.swagger.annotations.ApiImplicitParams;
import io.swagger.annotations.ApiOperation;
import org.springframework.web.bind.annotation.*;
import com.yj.rselasticsearch.domain.dto.WarningInfoDto;import javax.annotation.Resource;
import javax.servlet.http.HttpServletRequest;
import java.util.List;/*** es搜索引擎** @author luoy*/
@Api("搜索引擎")
@RestController
@RequestMapping("es")
public class ElasticsearchController extends BaseController {@Resourceprivate ElasticsearchService elasticsearchService;/*** 告警信息关键词联想** @param warningInfoDto* @return*/@ApiOperation("关键词联想")@ApiImplicitParams({@ApiImplicitParam(name = "contenttype", value = "文档类型", required = true, dataType = "String", dataTypeClass = String.class),@ApiImplicitParam(name = "keyword", value = "关键词", required = true, dataType = "String", dataTypeClass = String.class)})@PostMapping("getAssociationalWordDoc")public AjaxResult getAssociationalWordDoc(@RequestBody WarningInfoDto warningInfoDto, HttpServletRequest request) {List<String> words = elasticsearchService.getAssociationalWordOther(warningInfoDto,request);return AjaxResult.success(words);}/*** 告警信息高亮分词分页查询** @param warningInfoDto* @return*/@ApiOperation("高亮分词分页查询")@ApiImplicitParams({@ApiImplicitParam(name = "keyword", value = "关键词", required = true, dataType = "String", dataTypeClass = String.class),@ApiImplicitParam(name = "pageIndex", value = "页码", required = true, dataType = "Integer", dataTypeClass = Integer.class),@ApiImplicitParam(name = "pageSize", value = "页数", required = true, dataType = "Integer", dataTypeClass = Integer.class),@ApiImplicitParam(name = "contenttype", value = "文档类型", required = true, dataType = "String", dataTypeClass = String.class)})@PostMapping("queryHighLightWordDoc")public AjaxResult queryHighLightWordDoc(@RequestBody WarningInfoDto warningInfoDto,HttpServletRequest request) {IPage<FileInfo> warningInfoListPage = elasticsearchService.queryHighLightWordOther(warningInfoDto,request);return AjaxResult.success(warningInfoListPage);}
}

serviceImpl实现类

package com.yj.rselasticsearch.service.impl;import com.alibaba.fastjson.JSON;
import com.baomidou.mybatisplus.core.conditions.query.LambdaQueryWrapper;
import com.baomidou.mybatisplus.core.metadata.IPage;
import com.baomidou.mybatisplus.extension.plugins.pagination.Page;
import com.yj.common.constant.DataConstants;
import com.yj.common.constant.HttpStatus;
import com.yj.common.core.domain.entity.FileInfo;
import com.yj.common.core.domain.entity.WarningInfo;
import com.yj.common.core.domain.entity.WhiteList;
import com.yj.common.core.redis.RedisCache;
import com.yj.common.exception.ServiceException;
import com.yj.common.utils.FastUtils;
import com.yj.rselasticsearch.domain.dto.RetrievalRecordDto;
import com.yj.rselasticsearch.domain.dto.WarningInfoDto;
import com.yj.rselasticsearch.domain.vo.MemberVo;
import com.yj.rselasticsearch.service.*;
import lombok.extern.slf4j.Slf4j;
import org.elasticsearch.action.bulk.BulkRequest;
import org.elasticsearch.action.bulk.BulkResponse;
import org.elasticsearch.action.index.IndexRequest;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.common.xcontent.XContentType;
import org.elasticsearch.index.query.BoolQueryBuilder;
import org.elasticsearch.index.query.Operator;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.fetch.subphase.highlight.HighlightBuilder;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.data.domain.PageRequest;
import org.springframework.data.domain.Pageable;
import org.springframework.data.elasticsearch.core.ElasticsearchRestTemplate;
import org.springframework.data.elasticsearch.core.SearchHits;
import org.springframework.data.elasticsearch.core.query.*;
import org.springframework.stereotype.Service;import javax.annotation.Resource;
import javax.servlet.http.HttpServletRequest;
import java.util.*;
import java.util.stream.Collectors;@Service
@Slf4j
public class ElasticsearchServiceImpl implements ElasticsearchService {@Resourceprivate WhiteListService whiteListService;@Autowired@Qualifier("restHighLevelClient")private RestHighLevelClient client;@Autowiredprivate RedisCache redisCache;@Resourceprivate TokenService tokenService;/*** 文档信息关键词联想(根据输入框的词语联想文件名称)** @param warningInfoDto* @return*/@Overridepublic List<String> getAssociationalWordOther(WarningInfoDto warningInfoDto, HttpServletRequest request) {//需要查询的字段BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery().should(QueryBuilders.matchBoolPrefixQuery("fileName", warningInfoDto.getKeyword()));//contentType标签内容过滤boolQueryBuilder.must(QueryBuilders.termsQuery("contentType", warningInfoDto.getContentType()));//构建高亮查询NativeSearchQuery searchQuery = new NativeSearchQueryBuilder().withQuery(boolQueryBuilder).withHighlightFields(new HighlightBuilder.Field("fileName")).withHighlightBuilder(new HighlightBuilder().preTags("<span style='color:red'>").postTags("</span>")).build();//查询SearchHits<FileInfo> search = null;try {search = elasticsearchRestTemplate.search(searchQuery, FileInfo.class);} catch (Exception ex) {ex.printStackTrace();throw new ServiceException(String.format("操作错误,请联系管理员!%s", ex.getMessage()));}//设置一个最后需要返回的实体类集合List<String> resultList = new LinkedList<>();//遍历返回的内容进行处理for (org.springframework.data.elasticsearch.core.SearchHit<FileInfo> searchHit : search.getSearchHits()) {//高亮的内容Map<String, List<String>> highlightFields = searchHit.getHighlightFields();//将高亮的内容填充到content中searchHit.getContent().setFileName(highlightFields.get("fileName") == null ? searchHit.getContent().getFileName() : highlightFields.get("fileName").get(0));if (highlightFields.get("fileName") != null) {resultList.add(searchHit.getContent().getFileName());}}//list去重List<String> newResult = null;if (!FastUtils.checkNullOrEmpty(resultList)) {if (resultList.size() > 9) {newResult = resultList.stream().distinct().collect(Collectors.toList()).subList(0, 9);} else {newResult = resultList.stream().distinct().collect(Collectors.toList());}}return newResult;}/*** 高亮分词搜索其它类型文档** @param warningInfoDto* @param request* @return*/@Overridepublic IPage<FileInfo> queryHighLightWordOther(WarningInfoDto warningInfoDto, HttpServletRequest request) {//分页Pageable pageable = PageRequest.of(warningInfoDto.getPageIndex() - 1, warningInfoDto.getPageSize());//需要查询的字段,根据输入的内容分词全文检索fileName和content字段BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery().should(QueryBuilders.matchBoolPrefixQuery("fileName", warningInfoDto.getKeyword())).should(QueryBuilders.matchBoolPrefixQuery("attachment.content", warningInfoDto.getKeyword()));//contentType标签内容过滤boolQueryBuilder.must(QueryBuilders.termsQuery("contentType", warningInfoDto.getContentType()));//构建高亮查询NativeSearchQuery searchQuery = new NativeSearchQueryBuilder().withQuery(boolQueryBuilder).withHighlightFields(new HighlightBuilder.Field("fileName"), new HighlightBuilder.Field("attachment.content")).withHighlightBuilder(new HighlightBuilder().preTags("<span style='color:red'>").postTags("</span>")).build();//查询SearchHits<FileInfo> search = null;try {search = elasticsearchRestTemplate.search(searchQuery, FileInfo.class);} catch (Exception ex) {ex.printStackTrace();throw new ServiceException(String.format("操作错误,请联系管理员!%s", ex.getMessage()));}//设置一个最后需要返回的实体类集合List<FileInfo> resultList = new LinkedList<>();//遍历返回的内容进行处理for (org.springframework.data.elasticsearch.core.SearchHit<FileInfo> searchHit : search.getSearchHits()) {//高亮的内容Map<String, List<String>> highlightFields = searchHit.getHighlightFields();//将高亮的内容填充到content中searchHit.getContent().setFileName(highlightFields.get("fileName") == null ? searchHit.getContent().getFileName() : highlightFields.get("fileName").get(0));searchHit.getContent().setContent(highlightFields.get("content") == null ? searchHit.getContent().getContent() : highlightFields.get("content").get(0));resultList.add(searchHit.getContent());}//手动分页返回信息IPage<FileInfo> warningInfoIPage = new Page<>();warningInfoIPage.setTotal(search.getTotalHits());warningInfoIPage.setRecords(resultList);warningInfoIPage.setCurrent(warningInfoDto.getPageIndex());warningInfoIPage.setSize(warningInfoDto.getPageSize());warningInfoIPage.setPages(warningInfoIPage.getTotal() % warningInfoDto.getPageSize());return warningInfoIPage;}
}

代码测试:
在这里插入图片描述

--请求jason
{"keyword":"全库备份","contentType":["告示"],"pageIndex":1,"pageSize":10
}--响应
{"msg": "操作成功","code": 200,"data": {"records": [{"id": 1306333194,"fileName": "txt测试_20220810153351A001.txt","fileType": "txt","contentType": "告示","content": "•\t秒级快速<span style='color:red'>备份</span>\r\n不论多大的数据量,<span style='color:red'>全库</span><span style='color:red'>备份</span>只需30秒,而且<span style='color:red'>备份过程</span>不会对数据库加锁,对应用程序几乎无影响,全天24小时均可进行<span style='color:red'>备份</span>。","fileUrl": "http://localhost:8092/fileInfo/profile/upload/fileInfo/2022/08/10/txt测试_20220810153351A001.txt","createTime": "2022-08-10T15:33:51.000+08:00","updateTime": "2022-08-10T15:33:51.000+08:00"}],"total": 1,"size": 10,"current": 1,"orders": [],"optimizeCountSql": true,"searchCount": true,"countId": null,"maxLimit": null,"pages": 1}
}

返回的内容将分词检索到匹配的内容,并将匹配的词高亮显示。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/288133.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

PTA L2-037 包装机

一种自动包装机的结构如图 1 所示。首先机器中有 N 条轨道&#xff0c;放置了一些物品。轨道下面有一个筐。当某条轨道的按钮被按下时&#xff0c;活塞向左推动&#xff0c;将轨道尽头的一件物品推落筐中。当 0 号按钮被按下时&#xff0c;机械手将抓取筐顶部的一件物品&#x…

JVM第八讲:GC - Java 垃圾回收基础知识

GC - Java 垃圾回收基础知识 本文是JVM第八讲&#xff0c; Java 垃圾回收基础知识。垃圾收集主要是针对堆和方法区进行&#xff1b;程序计数器、虚拟机栈和本地方法栈这三个区域属于线程私有的&#xff0c;只存在于线程的生命周期内&#xff0c;线程结束之后也会消失&#xff0…

最“原始”的收音机长啥样?

同学们大家好&#xff0c;今天我们继续学习杨欣的《电子设计从零开始》&#xff0c;这本书从基本原理出发&#xff0c;知识点遍及无线电通讯、仪器设计、三极管电路、集成电路、传感器、数字电路基础、单片机及应用实例&#xff0c;可以说是全面系统地介绍了电子设计所需的知识…

hadoop基本概念

一、概念 Hadoop 是一个开源的分布式计算和存储框架。 Hadoop 使用 Java 开发&#xff0c;所以可以在多种不同硬件平台的计算机上部署和使用。其核心部件包括分布式文件系统 (Hadoop DFS&#xff0c;HDFS) 和 MapReduce。 二、HDFS 命名节点 (NameNode) 命名节点 (NameNod…

k8s入门到实战(十四)—— Helm详细介绍及使用

Helm 使用 Helm 是一个 k8s 应用的包管理工具&#xff0c;类似于 Ubuntu 的 APT 和 CentOS 中的 YUM。 Helm 使用 chart 来封装 k8s 应用的 yaml 文件&#xff0c;我们只需要设置自己的参数&#xff0c;就可以实现自动化的快速部署应用。 Helm 通过打包的方式&#xff0c;支…

Nacos 配置管理-应用于分布式系统

** Nacos 配置管理-应用于分布式系统 ** 目录&#xff1a; 一、Nacos 配置管理-应用于分布式系统-微服务创建 1.1 发布配置 ( nacos-1.1.3 ) 1.2 打开 idea 创建一个父 Maven 工程 nacos_config 工程&#xff0c;和两个子模块&#xff08;service1, service2 &#xff09;…

MySQL进阶——锁

锁 概述 全局锁 表级锁 行级锁 概述 同Java中的锁。目的是为了保证数据一致性、完整性&#xff0c;提高并发安全、控制访问顺序。 分类 在MySQL中&#xff0c;根据锁的粒度分&#xff0c;分为以下3种&#xff1a; 全局锁&#xff1a;锁定数据库种的所有表 表级锁&#…

React中 类组件 与 函数组件 的区别

类组件 与 函数组件 的区别 1. 类组件2. 函数组件HookuseStateuseEffectuseCallbackuseMemouseContextuseRef 3. 函数组件与类组件的区别3.1 表面差异3.2 最大不同原因 1. 类组件 在React中&#xff0c;类组件就是基于ES6语法&#xff0c;通过继承 React.component 得到的组件…

后端常问面经之Java集合

HashMap底层原理 HashMap的数据结构&#xff1a; 底层使用hash表数据结构&#xff0c;即数组和链表或红黑树 当我们往HashMap中put元素时&#xff0c;利用key的hashCode重新hash计算出当前对象的元素在数组中的下标 存储时&#xff0c;如果出现hash值相同的key&#xff0c;此…

关于四篇GNN论文的阅读笔记PPT:包括GATNE,AM-GCN,HGSL和coGSL

关于四篇GNN论文的阅读笔记PPT&#xff1a;包括GATNE&#xff0c;AM-GCN&#xff0c;HGSL和coGSL 前言GATNEAM-GCNHGSLcoGSL 前言 这里的PPT主要是在跟Graph Transformer一起的&#xff1a; 【图-注意力笔记&#xff0c;篇章1】Graph Transformer&#xff1a;包括Graph Trans…

2024第六届环境科学与可再生能源国际会议能源 (ESRE 2024) 即将召开!

2024第六届环境科学与可再生能源国际会议 能源 &#xff08;ESRE 2024&#xff09; 即将举行 2024 年 6 月 28 日至 30 日在德国法兰克福举行。ESRE 2024 年 旨在为研究人员、从业人员和专业人士提供一个论坛 从工业界、学术界和政府到研究和 发展&#xff0c;环境科学领域的专…

网站首屏优化 | 提升首屏的几个简单手段

前言 在用户反馈中&#xff0c;诸如「白屏」、「加载慢」、「打不开」等关键词频繁出现&#xff0c;这些词汇直观地揭示了应用程序在实际操作中遭遇的技术挑战。 根据 Statista 的报告&#xff0c;应用加载速度的延迟超过 3 秒&#xff0c;用户流失率可增加 53% 。此外&#…

Linux :环境基础开发工具

目录: 1. Linux 软件包管理器 yum 1. 什么是软件包 2. 查看软件包 3. 如何安装软件 4. 如何卸载软件 2. Linux开发工具 1. Linux编辑器-vim的基本概念 2. vim使用 3. vim的基本操作 4. vim正常模式命令集 5. vim末行模式命令集 6. 简单vim配置 3. Linux编译器-gcc/…

【Java程序设计】【C00379】基于(JavaWeb)Springboot的旅游服务平台(有论文)

【C00379】基于&#xff08;JavaWeb&#xff09;Springboot的旅游服务平台&#xff08;有论文&#xff09; 项目简介项目获取开发环境项目技术运行截图 博主介绍&#xff1a;java高级开发&#xff0c;从事互联网行业六年&#xff0c;已经做了六年的毕业设计程序开发&#xff0c…

深度学习知识【CSPNet网络详解】

CSPNet的贡献 1.增强了CNN的学习能力&#xff0c;能够在轻量化的同时保持准确性。 2.降低计算瓶颈。 3.降低内存成本。 CSPNet介绍 在神经网络推理过程中计算量过高的问题是由于网络优化中的梯度信息重复导致的。CSPNet通过将梯度的变化从头到尾地集成到特征图中&#xff0c…

大型网络游戏设计与AI赋能-4

接上文---- 第一个要去搭建的就是这个运行平台层。在此之上&#xff0c;我们会引入一些第三方SDK包。 为什么要引入第三方的SDK包&#xff1f;大家要知道一点&#xff0c;任何研发一款软件从来都不会从头造轮子。就是我们在开发一款软件的时候&#xff0c;从来都不会从头造轮子…

Python中lambda函数使用方法

在Python中&#xff0c;lambda 关键字用于创建匿名函数&#xff08;无名函数&#xff09;&#xff0c;这些函数的特点是简洁、一次性使用&#xff0c;并且通常用于只需要一行表达式的简单场景。下面是lambda函数的基本结构和使用方法&#xff1a; 基本语法&#xff1a; lambd…

腾讯云2核2G服务器CVM S5和轻量应用服务器优惠价格

腾讯云2核2G服务器多少钱一年&#xff1f;轻量服务器61元一年&#xff0c;CVM 2核2G S5服务器313.2元15个月&#xff0c;腾讯云2核2G服务器优惠活动 txyfwq.com/go/txy 链接打开如下图&#xff1a; 腾讯云2核2G服务器价格 轻量61元一年&#xff1a;轻量2核2G3M、3M带宽、200GB月…

二叉树|235.二叉搜索树的最近公共祖先

力扣题目链接 class Solution { private:TreeNode* traversal(TreeNode* cur, TreeNode* p, TreeNode* q) {if (cur NULL) return cur;// 中if (cur->val > p->val && cur->val > q->val) { // 左TreeNode* left traversal(cur->left, p, q)…

基于springboot+vue的乌鲁木齐南山冰雪旅游服务网

作者主页&#xff1a;Java码库 主营内容&#xff1a;SpringBoot、Vue、SSM、HLMT、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、小程序、安卓app等设计与开发。 收藏点赞不迷路 关注作者有好处 文末获取源码 技术选型 【后端】&#xff1a;Java 【框架】&#xff1a;spring…