ES优化实战- forceMerge搜索提升测试报告

测试结论

通过测试数据能够得出以下结论。

对于历史不变的数据,段合并的效果是非常好的。它对普通查询(query_string)有着较大的提升,提升在10%~90%不等的效果,其中搜索条件命中的结果集越多,提升就越明显。

段合并对聚合分析的提升也是较大的,提升在10%~80%,这是一个非常大的提升,例如聚合从16s到了3s。

测试环境

单个节点

堆内存31G

对比索引:索引数据近600G。每个索引30个分片,不带副本。

测试前准备

reindex一个相同的索引,然后选其中一个做forceMerge,合并成一个段。执行命令如下。

POST all_data_unstore/_forcemerge?max_num_segments=1&flush=true

forceMerge前后的对比

其中 all_data 是未合并的索引

all_data_unstore 和all_data数据完全一样,手动执行了段合并。

这里有一个问题,虽然说默认是会在merge完,执行一下flush。但是我在看任务结束以后,磁盘空间占用依旧没有释放,后边有执行了一次refresh以后,磁盘才释放掉了!

测试注意事项:一定要排除缓存的影响!

在测试查询(query_string),和聚合分析的时候,清理掉缓存的影响(因为清理掉缓存,是最符合线上环境的。我们线上的数据很多,多数情况下不能命中缓存)。

缓存包括:os的缓存,在es对应的服务器上执行。(测试环境,线上环境不要随意操作)

在服务器上执行:

echo 3 > /proc/sys/vm/drop_caches

清理了es的各类缓存!在kibana上执行。这会清理的es的缓存,包括queryCache,fieldDataCache,requireCache等。

POST _cache/clear

search-对比测试

 测试场景是:query_string,我对几个字段进行检索。

[2022-08-29 12:55:09.185] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 中国,查询时间对比 10852 vs 3713, 查询性能提升 65.78511% ,查询结果对比 7739986 vs 7739986
[2022-08-29 12:55:12.025] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 美国,查询时间对比 593 vs 525, 查询性能提升 11.467116% ,查询结果对比 1194138 vs 1194138
[2022-08-29 12:55:13.225] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 拜登,查询时间对比 301 vs 213, 查询性能提升 29.235882% ,查询结果对比 74876 vs 74876
[2022-08-29 12:55:15.142] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 疫情,查询时间对比 695 vs 660, 查询性能提升 5.035971% ,查询结果对比 2753904 vs 2753904
[2022-08-29 12:55:16.510] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 苹果,查询时间对比 482 vs 393, 查询性能提升 18.464731% ,查询结果对比 390478 vs 390478
[2022-08-29 12:55:18.092] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 华为,查询时间对比 780 vs 297, 查询性能提升 61.923073% ,查询结果对比 227394 vs 227394
[2022-08-29 12:55:19.376] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 特朗普,查询时间对比 675 vs 228, 查询性能提升 66.22222% ,查询结果对比 83841 vs 83841
[2022-08-29 12:55:20.246] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 利好,查询时间对比 284 vs 169, 查询性能提升 40.492958% ,查询结果对比 117106 vs 117106
[2022-08-29 12:55:22.057] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 浪漫,查询时间对比 827 vs 760, 查询性能提升 8.101572% ,查询结果对比 2136333 vs 2136333
[2022-08-29 12:55:22.814] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 马斯特,查询时间对比 326 vs 77, 查询性能提升 76.38036% ,查询结果对比 2914 vs 2914
[2022-08-29 12:55:23.495] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 特斯拉,查询时间对比 305 vs 201, 查询性能提升 34.09836% ,查询结果对比 81347 vs 81347
[2022-08-29 12:55:24.622] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 台湾,查询时间对比 545 vs 404, 查询性能提升 25.87156% ,查询结果对比 473082 vs 473082
[2022-08-29 12:55:25.711] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 香港,查询时间对比 433 vs 326, 查询性能提升 24.711317% ,查询结果对比 443114 vs 443114
[2022-08-29 12:55:27.322] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 美食,查询时间对比 707 vs 627, 查询性能提升 11.315417% ,查询结果对比 2169446 vs 2169446
[2022-08-29 12:55:28.702] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 微信,查询时间对比 570 vs 512, 查询性能提升 10.175438% ,查询结果对比 1130015 vs 1130015
[2022-08-29 12:55:29.899] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 晴天,查询时间对比 562 vs 490, 查询性能提升 12.811388% ,查询结果对比 844638 vs 844638
[2022-08-29 12:55:31.851] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 北京,查询时间对比 951 vs 874, 查询性能提升 8.096741% ,查询结果对比 5495236 vs 5495236
[2022-08-29 12:55:32.704] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 救援,查询时间对比 404 vs 320, 查询性能提升 20.79208% ,查询结果对比 317766 vs 317766
[2022-08-29 12:55:34.150] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 失败,查询时间对比 480 vs 366, 查询性能提升 23.75% ,查询结果对比 427332 vs 427332
[2022-08-29 12:55:35.209] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 报警,查询时间对比 404 vs 323, 查询性能提升 20.049505% ,查询结果对比 290247 vs 290247
[2022-08-29 12:55:36.778] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 媒体,查询时间对比 856 vs 463, 查询性能提升 45.911213% ,查询结果对比 1512941 vs 1512941
[2022-08-29 12:55:37.876] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 新疆,查询时间对比 496 vs 414, 查询性能提升 16.532259% ,查询结果对比 497432 vs 497432
[2022-08-29 12:55:39.299] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 京东,查询时间对比 599 vs 543, 查询性能提升 9.348915% ,查询结果对比 969983 vs 969983
[2022-08-29 12:55:40.489] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 深圳,查询时间对比 607 vs 463, 查询性能提升 23.723228% ,查询结果对比 737625 vs 737625
[2022-08-29 12:55:41.590] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 爆炸,查询时间对比 525 vs 451, 查询性能提升 14.095238% ,查询结果对比 454712 vs 454712
[2022-08-29 12:55:42.583] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 事故,查询时间对比 414 vs 329, 查询性能提升 20.5314% ,查询结果对比 543637 vs 543637
[2022-08-29 12:55:43.459] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 征地,查询时间对比 211 vs 127, 查询性能提升 39.81043% ,查询结果对比 56751 vs 56751
[2022-08-29 12:55:44.022] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 抗议,查询时间对比 244 vs 164, 查询性能提升 32.786884% ,查询结果对比 53012 vs 53012
[2022-08-29 12:55:44.571] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 聚众,查询时间对比 233 vs 110, 查询性能提升 52.7897% ,查询结果对比 30299 vs 30299
[2022-08-29 12:55:45.237] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 黑社会,查询时间对比 253 vs 170, 查询性能提升 32.806324% ,查询结果对比 34191 vs 34191
[2022-08-29 12:55:46.482] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 堵路,查询时间对比 538 vs 397, 查询性能提升 26.208178% ,查询结果对比 7628 vs 7628
[2022-08-29 12:55:47.005] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 打砸,查询时间对比 226 vs 102, 查询性能提升 54.867256% ,查询结果对比 8075 vs 8075
[2022-08-29 12:55:47.582] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 罢工,查询时间对比 258 vs 111, 查询性能提升 56.97674% ,查询结果对比 14992 vs 14992
[2022-08-29 12:55:48.230] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 跳楼,查询时间对比 297 vs 155, 查询性能提升 47.811447% ,查询结果对比 37770 vs 37770
[2022-08-29 12:55:49.026] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 招募,查询时间对比 371 vs 210, 查询性能提升 43.396225% ,查询结果对比 116182 vs 116182
[2022-08-29 12:55:49.928] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 黑旅馆,查询时间对比 324 vs 158, 查询性能提升 51.234566% ,查询结果对比 34 vs 34
[2022-08-29 12:55:50.808] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 争议,查询时间对比 367 vs 277, 查询性能提升 24.52316% ,查询结果对比 314550 vs 314550
[2022-08-29 12:55:51.836] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 盗窃,查询时间对比 238 vs 140, 查询性能提升 41.17647% ,查询结果对比 55572 vs 55572
[2022-08-29 12:55:52.709] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 碰车,查询时间对比 198 vs 409, 查询性能提升 -106.56565% ,查询结果对比 5855 vs 5855
[2022-08-29 12:55:53.478] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 示威,查询时间对比 169 vs 100, 查询性能提升 40.828403% ,查询结果对比 20286 vs 20286
[2022-08-29 12:55:54.740] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 不满,查询时间对比 423 vs 604, 查询性能提升 -42.7896% ,查询结果对比 280738 vs 280738
[2022-08-29 12:55:55.212] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 黑中介,查询时间对比 190 vs 88, 查询性能提升 53.68421% ,查询结果对比 3128 vs 3128
[2022-08-29 12:55:55.766] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 失火,查询时间对比 239 vs 126, 查询性能提升 47.280334% ,查询结果对比 10475 vs 10475
[2022-08-29 12:55:56.795] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 举报,查询时间对比 434 vs 356, 查询性能提升 17.972351% ,查询结果对比 520193 vs 520193
[2022-08-29 12:55:57.494] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 公道,查询时间对比 292 vs 177, 查询性能提升 39.38356% ,查询结果对比 73000 vs 73000
[2022-08-29 12:55:58.050] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 经济学家,查询时间对比 258 vs 140, 查询性能提升 45.736435% ,查询结果对比 52632 vs 52632
[2022-08-29 12:55:59.546] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 中国新闻周刊,查询时间对比 1189 vs 152, 查询性能提升 87.21615% ,查询结果对比 12777 vs 12777
[2022-08-29 12:56:00.026] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 永定河,查询时间对比 211 vs 66, 查询性能提升 68.720375% ,查询结果对比 3312 vs 3312
[2022-08-29 12:56:00.663] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 中国大地财产保险股份有限公司,查询时间对比 209 vs 66, 查询性能提升 68.42105% ,查询结果对比 490 vs 490
[2022-08-29 12:56:01.414] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 冬奧,查询时间对比 360 vs 104, 查询性能提升 71.111115% ,查询结果对比 1594 vs 1594
[2022-08-29 12:56:02.425] [http-nio-8889-exec-10] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 天津大事件,查询时间对比 755 vs 62, 查询性能提升 91.78808% ,查询结果对比 1 vs 1

聚合分析测试结果对比

  我自己写的对比测试程序。场景是在query_string的基础上,进行聚合分析。

[2022-08-29 12:00:07.725] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 中国,查询时间对比 50419 vs 10969, 查询性能提升 78.24431%
[2022-08-29 12:00:23.448] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 美国,查询时间对比 10690 vs 4879, 查询性能提升 54.359215%
[2022-08-29 12:00:37.612] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 拜登,查询时间对比 7957 vs 5988, 查询性能提升 24.745508%
[2022-08-29 12:00:50.677] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 疫情,查询时间对比 8022 vs 4639, 查询性能提升 42.171528%
[2022-08-29 12:01:02.563] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 苹果,查询时间对比 7711 vs 3992, 查询性能提升 48.2298%
[2022-08-29 12:01:14.837] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 华为,查询时间对比 7552 vs 4618, 查询性能提升 38.850636%
[2022-08-29 12:01:24.281] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 特朗普,查询时间对比 5819 vs 3378, 查询性能提升 41.948788%
[2022-08-29 12:01:33.643] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 利好,查询时间对比 5167 vs 3892, 查询性能提升 24.675827%
[2022-08-29 12:01:46.254] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 浪漫,查询时间对比 8798 vs 3334, 查询性能提升 62.105022%
[2022-08-29 12:01:50.839] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 马斯特,查询时间对比 3478 vs 926, 查询性能提升 73.3755%
[2022-08-29 12:01:55.114] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 特斯拉,查询时间对比 1240 vs 2896, 查询性能提升 -133.54839%
[2022-08-29 12:02:06.418] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 台湾,查询时间对比 7465 vs 3603, 查询性能提升 51.734764%
[2022-08-29 12:02:14.113] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 香港,查询时间对比 4427 vs 2910, 查询性能提升 34.267%
[2022-08-29 12:02:23.708] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 美食,查询时间对比 6270 vs 3243, 查询性能提升 48.27751%
[2022-08-29 12:02:32.382] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 微信,查询时间对比 5951 vs 2647, 查询性能提升 55.52008%
[2022-08-29 12:02:40.784] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 晴天,查询时间对比 6415 vs 1853, 查询性能提升 71.11458%
[2022-08-29 12:02:52.635] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 北京,查询时间对比 7746 vs 3681, 查询性能提升 52.478703%
[2022-08-29 12:03:01.557] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 救援,查询时间对比 5520 vs 3202, 查询性能提升 41.992752%
[2022-08-29 12:03:09.658] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 失败,查询时间对比 5786 vs 2222, 查询性能提升 61.59696%
[2022-08-29 12:03:16.720] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 报警,查询时间对比 4920 vs 2040, 查询性能提升 58.536583%
[2022-08-29 12:03:25.968] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 媒体,查询时间对比 6356 vs 2806, 查询性能提升 55.852734%
[2022-08-29 12:03:33.970] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 新疆,查询时间对比 5009 vs 2628, 查询性能提升 47.53444%
[2022-08-29 12:03:44.194] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 京东,查询时间对比 7541 vs 2443, 查询性能提升 67.60377%
[2022-08-29 12:03:51.510] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 深圳,查询时间对比 5040 vs 2068, 查询性能提升 58.96825%
[2022-08-29 12:03:57.731] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 爆炸,查询时间对比 4442 vs 1430, 查询性能提升 67.8073%
[2022-08-29 12:04:05.092] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 事故,查询时间对比 5217 vs 2045, 查询性能提升 60.801228%
[2022-08-29 12:04:08.953] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 征地,查询时间对比 2302 vs 1505, 查询性能提升 34.622066%
[2022-08-29 12:04:14.228] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 抗议,查询时间对比 2731 vs 2468, 查询性能提升 9.630172%
[2022-08-29 12:04:19.849] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 聚众,查询时间对比 2927 vs 2630, 查询性能提升 10.146909%
[2022-08-29 12:04:26.050] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 黑社会,查询时间对比 4111 vs 1937, 查询性能提升 52.88251%
[2022-08-29 12:04:45.369] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 堵路,查询时间对比 16772 vs 2418, 查询性能提升 85.583115%
[2022-08-29 12:04:49.853] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 打砸,查询时间对比 2461 vs 1926, 查询性能提升 21.73913%
[2022-08-29 12:04:54.674] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 罢工,查询时间对比 2341 vs 2395, 查询性能提升 -2.3067064%
[2022-08-29 12:04:57.879] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 跳楼,查询时间对比 2003 vs 1126, 查询性能提升 43.784325%
[2022-08-29 12:05:01.439] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 招募,查询时间对比 2415 vs 1080, 查询性能提升 55.279507%
[2022-08-29 12:05:12.659] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 黑旅馆,查询时间对比 9584 vs 1548, 查询性能提升 83.84808%
[2022-08-29 12:05:17.543] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 争议,查询时间对比 3654 vs 1169, 查询性能提升 68.00766%
[2022-08-29 12:05:22.961] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 盗窃,查询时间对比 3495 vs 1827, 查询性能提升 47.725323%
[2022-08-29 12:05:27.618] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 碰车,查询时间对比 2811 vs 1779, 查询性能提升 36.712914%
[2022-08-29 12:05:31.178] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 示威,查询时间对比 2335 vs 1093, 查询性能提升 53.19058%
[2022-08-29 12:05:37.787] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 不满,查询时间对比 5269 vs 1112, 查询性能提升 78.895424%
[2022-08-29 12:05:39.928] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 黑中介,查询时间对比 931 vs 801, 查询性能提升 13.96348%
[2022-08-29 12:05:42.563] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 失火,查询时间对比 1135 vs 1208, 查询性能提升 -6.4317183%
[2022-08-29 12:05:49.693] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 举报,查询时间对比 5426 vs 1465, 查询性能提升 73.000374%
[2022-08-29 12:05:54.003] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 公道,查询时间对比 3136 vs 1051, 查询性能提升 66.48597%
[2022-08-29 12:05:58.167] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 经济学家,查询时间对比 2519 vs 1533, 查询性能提升 39.142517%
[2022-08-29 12:06:06.754] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 中国新闻周刊,查询时间对比 6446 vs 2079, 查询性能提升 67.74744%
[2022-08-29 12:06:10.109] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 永定河,查询时间对比 2492 vs 710, 查询性能提升 71.50883%
[2022-08-29 12:06:11.908] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 中国大地财产保险股份有限公司,查询时间对比 1018 vs 692, 查询性能提升 32.023575%
[2022-08-29 12:06:20.043] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 冬奧,查询时间对比 6661 vs 1311, 查询性能提升 80.318275%
[2022-08-29 12:06:25.302] [http-nio-8889-exec-8] INFO  c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 天津大事件,查询时间对比 3942 vs 973, 查询性能提升 75.31709%

段合并适用场景

段合并只适用于不变的索引(read only index)。不再写入,并且不再产生数据更新操作。如果不满足这样场景,还有去做段合并,可能会有负向的效果。

针对这个点,需要从数据入库流程上去做设计,来满足这个比较苛刻的条件。

段合并需要注意的事项

段合并是一个花费资源较多的“大动作”。它会占用较多的IO以及CPU,所以通常来说,可以针对索引来限制IO的速度,以及能够占用的线程数。在集群资源充沛的前提下,去执行这个操作,以免影响到线上正常的操作。控制集群中能够同时并发的索引数。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/43633.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

unity对接T.Flight Hotas 4操控杆

unity对接T.Flight Hotas 4操控杆: 注: 提示: 本篇主要说明,如何使用unity获取 T.Flight Hotas 4 传回来的各种值 获取驱动: 提示:首先要下载安装官方的驱动,用他的软件先检测一边是否能够正常运行 地址: 固件地址:https://support.thrustmaster.com/zh/product…

ES优化实战 - 小操作节省百分之三十以上的磁盘空间

通过关闭索引的 _source来节省磁盘 un_source 是去掉存储的数据。在查询的时候,不反回数据。数据只做索引和倒排这些。 这样做的意思是,只让es做检索,不做存储。es检索完,只返回一个id。然后选用Hbase这样的数据库联动。Hbase擅长…

ES 搜索优化测试 - indexSort 对检索性能提升50%

indexSort 是在写入数据的时候,根据某个字段做排序。我们可以理解为数据的预排序。 在检索的时候,假如搜索正好是根据排好序的字段做排序的,那么将会有 50%的 检索性能提升效果。 注意,不要在请求中返回 count数据总量。这样配合i…

unity中的摇杆按钮设置

摇杆设备的所有按钮都有顺序编号,下图按钮框内的1到16分别对应摇杆设备的各个按钮。 若要使用摇杆的某个按钮需按 joystick button 按钮编号 的格式设置。unity的按钮从0开始计算在设置的时候需要减去一个数。 下图红线框住的选项其设置表示:摇杆7号按钮…

【转】浅谈协方差

【转】浅谈协方差 觉得有用的话,欢迎一起讨论相互学习~ 转载自:http://pinkyjie.com/2010/08/31/covariance/ 作者:进击的马斯特 协方差矩阵 Matlab协方差矩阵

IT 常用词汇(一)

1, amend [əmend] vt. 修改;改善,改进 vi. 改正,改善;改过自新 n. (Amend)人名;(德、英)阿门德 2, bearer [bɛrɚ] n. 持票人;[建] 承木;[机] 托架;送信人;搬运工人 …

浅谈协方差矩阵(马斯特的斯马特生活)

统计学的基本概念 学过概率统计的孩子都知道,统计里最基本的概念就是样本的均值,方差,或者再加个标准差。首先我们给你一个含有n个样本的集合,依次给出这些概念的公式描述,这些高中学过数学的孩子都应该知道吧&#x…

Thrustmaster(图马思特) HOTAS Warthog 疣猪杆 读取按钮数据

我所使用的摇杆是THRUSTMASTER(右下图所示),用于在目标追踪页面进行框选物体(实际应用场景不涉及鼠标键盘,只能使用操作杆进行操作) 1、首先,安装摇杆所需环境,winR输入cmd后&#x…

速魔与图马思特优缺点对比

速魔和图马思特优缺点对比速魔图马思特传动系统直驱双皮带最大力反馈10Nm10Nm工作电压110-240V220-240V功率360W240W快拆50mm/70mm 盘面通用特制优点1.直驱,没有传动装置 2.力反馈更加直接 3.回盘速度更快,输出力度更大,操控好 4.秒换方向盘 …

微软获GPT-3独家授权,OpenAI创始人马斯克:与初衷相悖

萧箫 发自 凹非寺 量子位 报道 | 公众号 QbitAI 微软获OpenAI GPT-3独家授权,马斯克不高兴了。 就在微软官宣GPT-3后一天,马斯克在社交媒体上吐槽此事:“这看起来像是与‘开放’相悖。OpenAI本质上已经被微软‘控制’了。” 这件事情的起因&…

张俊林:GPT-4 模型会开创哪些新的研究方向?

作者|张俊林知乎 整理|蘑菇先生学习记 分享一篇张俊林老师关于GPT-4模型会开创哪些新的研究方向的回答。 引言 在这个历史性的时刻,回答个问题,留下自己作为历史见证人的足迹。先遵循这个问题的主旨,写两句GPT-4开创了…

OpenAI 发布 GPT-4,有哪些技术上的优化或突破?

作者:张俊林 在这个历史性的时刻,回答个问题,留下自己作为历史见证人的足迹。GPT4的技术报告里很明确地指出了三个新的方向: 第一,LLM最前沿研究的封闭化或小圈子化。 技术报告里说了,出于竞争以及安全等方…

海康威视人证对比设备SDK-C#

SDk下载地址:https://www.hikvision.com/cn/download_more_570.html 本文应用场景:第一次进行人脸身份证的验证方式,之后刷脸即可得到这个用户的信息 调用的SDK为布防门禁事件,以下为流程图和说明 报警回调事件 实际使用&#x…

java调用海康威视人脸识别抓拍

**1.**首先下载官网的sdk开发包,引入HCNetSDK.java,里面定义了很多调用的能力集。 **2.**通过报警回调函数中的黑名单报警这个接口去实现人脸抓拍的。 3.简单来说就是写个类去实现HCNetSDK.FMSGCallBack 然后根据条件函数 case HCNetSDK.COMM_SNAP_MATCH…

对接海康威视平台拿取视频流

创建工具类 public class ArtemisUtil {private static final Logger logger LoggerFactory.getLogger(ArtemisUtil.class);static {ArtemisConfig artemisConfig new ArtemisConfig();artemisConfig.setAppKey("123");artemisConfig.setAppSecret("123"…

读取海康威视摄像头实时显示视频流

提示:文章用于学习记录 文章目录 前言一、设置同一网段二、密码重置三、VLC 读取视频流四、opencv 读取视频流总结 前言 摄像头一般有网线和电源线两个接口,如下图所示, 用网线将摄像头与电脑连接在一起,电源接口连接适配器。 …

海康威视摄像头web端开发

主要方法 1.海康威视Web开发包 这个是海康威视自己开发的web开发包,里面含有一些demo,整体版,分屏版等等。你可以在他的demo基础上进行二次开发,即使是离线只要你的摄像头和电脑都是在同一路由下,都是可以调用的。麻…

海康威视的工业相机的使用经历

单位(和海康是属于一个集团的)某一部门 选择用 NVIDIA JETSON™ TX2 海康威视工业相机 的组合来完成 某检测识别任务,在相机选型前用邮件咨询 海康威视工业相机对 TX2 是否支持,得到海康相关人员的肯定答复。 于是采购了海康威…

海康威视SDK使用总结

海康威视SDK使用总结 公司的项目里使用到海康威视的摄像监控设备,然后项目要求在我们的B/S系统中集成摄像头的播放画面。因此通过和海康威视工作人员的沟通,和网上一些人的文章,实现了在自己的网页里进行预览和回放。 一、海康威视的SDK 海…

海康威视监控摄像头连接电脑教程

文章目录 一.海康威视监控摄像头连接电脑教程 一.海康威视监控摄像头连接电脑教程 官网下载SADP软件:https://www.wolai.com/wM6rWeBrRtrfmMH2BTVUXZ 双击下载的软件进行安装 打开软件,将设备连接到摄像头,便可在软件中搜索到摄像头 选择摄…