测试结论
通过测试数据能够得出以下结论。
对于历史不变的数据,段合并的效果是非常好的。它对普通查询(query_string)有着较大的提升,提升在10%~90%不等的效果,其中搜索条件命中的结果集越多,提升就越明显。
段合并对聚合分析的提升也是较大的,提升在10%~80%,这是一个非常大的提升,例如聚合从16s到了3s。
测试环境
单个节点
堆内存31G
对比索引:索引数据近600G。每个索引30个分片,不带副本。
测试前准备
reindex一个相同的索引,然后选其中一个做forceMerge,合并成一个段。执行命令如下。
POST all_data_unstore/_forcemerge?max_num_segments=1&flush=true
forceMerge前后的对比
其中 all_data 是未合并的索引
all_data_unstore 和all_data数据完全一样,手动执行了段合并。
这里有一个问题,虽然说默认是会在merge完,执行一下flush。但是我在看任务结束以后,磁盘空间占用依旧没有释放,后边有执行了一次refresh以后,磁盘才释放掉了!
测试注意事项:一定要排除缓存的影响!
在测试查询(query_string),和聚合分析的时候,清理掉缓存的影响(因为清理掉缓存,是最符合线上环境的。我们线上的数据很多,多数情况下不能命中缓存)。
缓存包括:os的缓存,在es对应的服务器上执行。(测试环境,线上环境不要随意操作)
在服务器上执行:
echo 3 > /proc/sys/vm/drop_caches
清理了es的各类缓存!在kibana上执行。这会清理的es的缓存,包括queryCache,fieldDataCache,requireCache等。
POST _cache/clear
search-对比测试
测试场景是:query_string,我对几个字段进行检索。
[2022-08-29 12:55:09.185] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 中国,查询时间对比 10852 vs 3713, 查询性能提升 65.78511% ,查询结果对比 7739986 vs 7739986
[2022-08-29 12:55:12.025] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 美国,查询时间对比 593 vs 525, 查询性能提升 11.467116% ,查询结果对比 1194138 vs 1194138
[2022-08-29 12:55:13.225] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 拜登,查询时间对比 301 vs 213, 查询性能提升 29.235882% ,查询结果对比 74876 vs 74876
[2022-08-29 12:55:15.142] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 疫情,查询时间对比 695 vs 660, 查询性能提升 5.035971% ,查询结果对比 2753904 vs 2753904
[2022-08-29 12:55:16.510] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 苹果,查询时间对比 482 vs 393, 查询性能提升 18.464731% ,查询结果对比 390478 vs 390478
[2022-08-29 12:55:18.092] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 华为,查询时间对比 780 vs 297, 查询性能提升 61.923073% ,查询结果对比 227394 vs 227394
[2022-08-29 12:55:19.376] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 特朗普,查询时间对比 675 vs 228, 查询性能提升 66.22222% ,查询结果对比 83841 vs 83841
[2022-08-29 12:55:20.246] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 利好,查询时间对比 284 vs 169, 查询性能提升 40.492958% ,查询结果对比 117106 vs 117106
[2022-08-29 12:55:22.057] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 浪漫,查询时间对比 827 vs 760, 查询性能提升 8.101572% ,查询结果对比 2136333 vs 2136333
[2022-08-29 12:55:22.814] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 马斯特,查询时间对比 326 vs 77, 查询性能提升 76.38036% ,查询结果对比 2914 vs 2914
[2022-08-29 12:55:23.495] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 特斯拉,查询时间对比 305 vs 201, 查询性能提升 34.09836% ,查询结果对比 81347 vs 81347
[2022-08-29 12:55:24.622] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 台湾,查询时间对比 545 vs 404, 查询性能提升 25.87156% ,查询结果对比 473082 vs 473082
[2022-08-29 12:55:25.711] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 香港,查询时间对比 433 vs 326, 查询性能提升 24.711317% ,查询结果对比 443114 vs 443114
[2022-08-29 12:55:27.322] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 美食,查询时间对比 707 vs 627, 查询性能提升 11.315417% ,查询结果对比 2169446 vs 2169446
[2022-08-29 12:55:28.702] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 微信,查询时间对比 570 vs 512, 查询性能提升 10.175438% ,查询结果对比 1130015 vs 1130015
[2022-08-29 12:55:29.899] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 晴天,查询时间对比 562 vs 490, 查询性能提升 12.811388% ,查询结果对比 844638 vs 844638
[2022-08-29 12:55:31.851] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 北京,查询时间对比 951 vs 874, 查询性能提升 8.096741% ,查询结果对比 5495236 vs 5495236
[2022-08-29 12:55:32.704] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 救援,查询时间对比 404 vs 320, 查询性能提升 20.79208% ,查询结果对比 317766 vs 317766
[2022-08-29 12:55:34.150] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 失败,查询时间对比 480 vs 366, 查询性能提升 23.75% ,查询结果对比 427332 vs 427332
[2022-08-29 12:55:35.209] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 报警,查询时间对比 404 vs 323, 查询性能提升 20.049505% ,查询结果对比 290247 vs 290247
[2022-08-29 12:55:36.778] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 媒体,查询时间对比 856 vs 463, 查询性能提升 45.911213% ,查询结果对比 1512941 vs 1512941
[2022-08-29 12:55:37.876] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 新疆,查询时间对比 496 vs 414, 查询性能提升 16.532259% ,查询结果对比 497432 vs 497432
[2022-08-29 12:55:39.299] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 京东,查询时间对比 599 vs 543, 查询性能提升 9.348915% ,查询结果对比 969983 vs 969983
[2022-08-29 12:55:40.489] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 深圳,查询时间对比 607 vs 463, 查询性能提升 23.723228% ,查询结果对比 737625 vs 737625
[2022-08-29 12:55:41.590] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 爆炸,查询时间对比 525 vs 451, 查询性能提升 14.095238% ,查询结果对比 454712 vs 454712
[2022-08-29 12:55:42.583] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 事故,查询时间对比 414 vs 329, 查询性能提升 20.5314% ,查询结果对比 543637 vs 543637
[2022-08-29 12:55:43.459] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 征地,查询时间对比 211 vs 127, 查询性能提升 39.81043% ,查询结果对比 56751 vs 56751
[2022-08-29 12:55:44.022] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 抗议,查询时间对比 244 vs 164, 查询性能提升 32.786884% ,查询结果对比 53012 vs 53012
[2022-08-29 12:55:44.571] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 聚众,查询时间对比 233 vs 110, 查询性能提升 52.7897% ,查询结果对比 30299 vs 30299
[2022-08-29 12:55:45.237] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 黑社会,查询时间对比 253 vs 170, 查询性能提升 32.806324% ,查询结果对比 34191 vs 34191
[2022-08-29 12:55:46.482] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 堵路,查询时间对比 538 vs 397, 查询性能提升 26.208178% ,查询结果对比 7628 vs 7628
[2022-08-29 12:55:47.005] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 打砸,查询时间对比 226 vs 102, 查询性能提升 54.867256% ,查询结果对比 8075 vs 8075
[2022-08-29 12:55:47.582] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 罢工,查询时间对比 258 vs 111, 查询性能提升 56.97674% ,查询结果对比 14992 vs 14992
[2022-08-29 12:55:48.230] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 跳楼,查询时间对比 297 vs 155, 查询性能提升 47.811447% ,查询结果对比 37770 vs 37770
[2022-08-29 12:55:49.026] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 招募,查询时间对比 371 vs 210, 查询性能提升 43.396225% ,查询结果对比 116182 vs 116182
[2022-08-29 12:55:49.928] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 黑旅馆,查询时间对比 324 vs 158, 查询性能提升 51.234566% ,查询结果对比 34 vs 34
[2022-08-29 12:55:50.808] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 争议,查询时间对比 367 vs 277, 查询性能提升 24.52316% ,查询结果对比 314550 vs 314550
[2022-08-29 12:55:51.836] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 盗窃,查询时间对比 238 vs 140, 查询性能提升 41.17647% ,查询结果对比 55572 vs 55572
[2022-08-29 12:55:52.709] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 碰车,查询时间对比 198 vs 409, 查询性能提升 -106.56565% ,查询结果对比 5855 vs 5855
[2022-08-29 12:55:53.478] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 示威,查询时间对比 169 vs 100, 查询性能提升 40.828403% ,查询结果对比 20286 vs 20286
[2022-08-29 12:55:54.740] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 不满,查询时间对比 423 vs 604, 查询性能提升 -42.7896% ,查询结果对比 280738 vs 280738
[2022-08-29 12:55:55.212] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 黑中介,查询时间对比 190 vs 88, 查询性能提升 53.68421% ,查询结果对比 3128 vs 3128
[2022-08-29 12:55:55.766] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 失火,查询时间对比 239 vs 126, 查询性能提升 47.280334% ,查询结果对比 10475 vs 10475
[2022-08-29 12:55:56.795] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 举报,查询时间对比 434 vs 356, 查询性能提升 17.972351% ,查询结果对比 520193 vs 520193
[2022-08-29 12:55:57.494] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 公道,查询时间对比 292 vs 177, 查询性能提升 39.38356% ,查询结果对比 73000 vs 73000
[2022-08-29 12:55:58.050] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 经济学家,查询时间对比 258 vs 140, 查询性能提升 45.736435% ,查询结果对比 52632 vs 52632
[2022-08-29 12:55:59.546] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 中国新闻周刊,查询时间对比 1189 vs 152, 查询性能提升 87.21615% ,查询结果对比 12777 vs 12777
[2022-08-29 12:56:00.026] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 永定河,查询时间对比 211 vs 66, 查询性能提升 68.720375% ,查询结果对比 3312 vs 3312
[2022-08-29 12:56:00.663] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 中国大地财产保险股份有限公司,查询时间对比 209 vs 66, 查询性能提升 68.42105% ,查询结果对比 490 vs 490
[2022-08-29 12:56:01.414] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 冬奧,查询时间对比 360 vs 104, 查询性能提升 71.111115% ,查询结果对比 1594 vs 1594
[2022-08-29 12:56:02.425] [http-nio-8889-exec-10] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比, 搜索词 天津大事件,查询时间对比 755 vs 62, 查询性能提升 91.78808% ,查询结果对比 1 vs 1
聚合分析测试结果对比
我自己写的对比测试程序。场景是在query_string的基础上,进行聚合分析。
[2022-08-29 12:00:07.725] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 中国,查询时间对比 50419 vs 10969, 查询性能提升 78.24431%
[2022-08-29 12:00:23.448] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 美国,查询时间对比 10690 vs 4879, 查询性能提升 54.359215%
[2022-08-29 12:00:37.612] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 拜登,查询时间对比 7957 vs 5988, 查询性能提升 24.745508%
[2022-08-29 12:00:50.677] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 疫情,查询时间对比 8022 vs 4639, 查询性能提升 42.171528%
[2022-08-29 12:01:02.563] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 苹果,查询时间对比 7711 vs 3992, 查询性能提升 48.2298%
[2022-08-29 12:01:14.837] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 华为,查询时间对比 7552 vs 4618, 查询性能提升 38.850636%
[2022-08-29 12:01:24.281] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 特朗普,查询时间对比 5819 vs 3378, 查询性能提升 41.948788%
[2022-08-29 12:01:33.643] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 利好,查询时间对比 5167 vs 3892, 查询性能提升 24.675827%
[2022-08-29 12:01:46.254] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 浪漫,查询时间对比 8798 vs 3334, 查询性能提升 62.105022%
[2022-08-29 12:01:50.839] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 马斯特,查询时间对比 3478 vs 926, 查询性能提升 73.3755%
[2022-08-29 12:01:55.114] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 特斯拉,查询时间对比 1240 vs 2896, 查询性能提升 -133.54839%
[2022-08-29 12:02:06.418] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 台湾,查询时间对比 7465 vs 3603, 查询性能提升 51.734764%
[2022-08-29 12:02:14.113] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 香港,查询时间对比 4427 vs 2910, 查询性能提升 34.267%
[2022-08-29 12:02:23.708] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 美食,查询时间对比 6270 vs 3243, 查询性能提升 48.27751%
[2022-08-29 12:02:32.382] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 微信,查询时间对比 5951 vs 2647, 查询性能提升 55.52008%
[2022-08-29 12:02:40.784] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 晴天,查询时间对比 6415 vs 1853, 查询性能提升 71.11458%
[2022-08-29 12:02:52.635] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 北京,查询时间对比 7746 vs 3681, 查询性能提升 52.478703%
[2022-08-29 12:03:01.557] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 救援,查询时间对比 5520 vs 3202, 查询性能提升 41.992752%
[2022-08-29 12:03:09.658] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 失败,查询时间对比 5786 vs 2222, 查询性能提升 61.59696%
[2022-08-29 12:03:16.720] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 报警,查询时间对比 4920 vs 2040, 查询性能提升 58.536583%
[2022-08-29 12:03:25.968] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 媒体,查询时间对比 6356 vs 2806, 查询性能提升 55.852734%
[2022-08-29 12:03:33.970] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 新疆,查询时间对比 5009 vs 2628, 查询性能提升 47.53444%
[2022-08-29 12:03:44.194] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 京东,查询时间对比 7541 vs 2443, 查询性能提升 67.60377%
[2022-08-29 12:03:51.510] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 深圳,查询时间对比 5040 vs 2068, 查询性能提升 58.96825%
[2022-08-29 12:03:57.731] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 爆炸,查询时间对比 4442 vs 1430, 查询性能提升 67.8073%
[2022-08-29 12:04:05.092] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 事故,查询时间对比 5217 vs 2045, 查询性能提升 60.801228%
[2022-08-29 12:04:08.953] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 征地,查询时间对比 2302 vs 1505, 查询性能提升 34.622066%
[2022-08-29 12:04:14.228] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 抗议,查询时间对比 2731 vs 2468, 查询性能提升 9.630172%
[2022-08-29 12:04:19.849] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 聚众,查询时间对比 2927 vs 2630, 查询性能提升 10.146909%
[2022-08-29 12:04:26.050] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 黑社会,查询时间对比 4111 vs 1937, 查询性能提升 52.88251%
[2022-08-29 12:04:45.369] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 堵路,查询时间对比 16772 vs 2418, 查询性能提升 85.583115%
[2022-08-29 12:04:49.853] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 打砸,查询时间对比 2461 vs 1926, 查询性能提升 21.73913%
[2022-08-29 12:04:54.674] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 罢工,查询时间对比 2341 vs 2395, 查询性能提升 -2.3067064%
[2022-08-29 12:04:57.879] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 跳楼,查询时间对比 2003 vs 1126, 查询性能提升 43.784325%
[2022-08-29 12:05:01.439] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 招募,查询时间对比 2415 vs 1080, 查询性能提升 55.279507%
[2022-08-29 12:05:12.659] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 黑旅馆,查询时间对比 9584 vs 1548, 查询性能提升 83.84808%
[2022-08-29 12:05:17.543] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 争议,查询时间对比 3654 vs 1169, 查询性能提升 68.00766%
[2022-08-29 12:05:22.961] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 盗窃,查询时间对比 3495 vs 1827, 查询性能提升 47.725323%
[2022-08-29 12:05:27.618] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 碰车,查询时间对比 2811 vs 1779, 查询性能提升 36.712914%
[2022-08-29 12:05:31.178] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 示威,查询时间对比 2335 vs 1093, 查询性能提升 53.19058%
[2022-08-29 12:05:37.787] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 不满,查询时间对比 5269 vs 1112, 查询性能提升 78.895424%
[2022-08-29 12:05:39.928] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 黑中介,查询时间对比 931 vs 801, 查询性能提升 13.96348%
[2022-08-29 12:05:42.563] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 失火,查询时间对比 1135 vs 1208, 查询性能提升 -6.4317183%
[2022-08-29 12:05:49.693] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 举报,查询时间对比 5426 vs 1465, 查询性能提升 73.000374%
[2022-08-29 12:05:54.003] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 公道,查询时间对比 3136 vs 1051, 查询性能提升 66.48597%
[2022-08-29 12:05:58.167] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 经济学家,查询时间对比 2519 vs 1533, 查询性能提升 39.142517%
[2022-08-29 12:06:06.754] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 中国新闻周刊,查询时间对比 6446 vs 2079, 查询性能提升 67.74744%
[2022-08-29 12:06:10.109] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 永定河,查询时间对比 2492 vs 710, 查询性能提升 71.50883%
[2022-08-29 12:06:11.908] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 中国大地财产保险股份有限公司,查询时间对比 1018 vs 692, 查询性能提升 32.023575%
[2022-08-29 12:06:20.043] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 冬奧,查询时间对比 6661 vs 1311, 查询性能提升 80.318275%
[2022-08-29 12:06:25.302] [http-nio-8889-exec-8] INFO c.a.e.service.impl.TimeComparisonImpl - forceMerge 前后测试对比-agg, 搜索词 天津大事件,查询时间对比 3942 vs 973, 查询性能提升 75.31709%
段合并适用场景
段合并只适用于不变的索引(read only index)。不再写入,并且不再产生数据更新操作。如果不满足这样场景,还有去做段合并,可能会有负向的效果。
针对这个点,需要从数据入库流程上去做设计,来满足这个比较苛刻的条件。
段合并需要注意的事项
段合并是一个花费资源较多的“大动作”。它会占用较多的IO以及CPU,所以通常来说,可以针对索引来限制IO的速度,以及能够占用的线程数。在集群资源充沛的前提下,去执行这个操作,以免影响到线上正常的操作。控制集群中能够同时并发的索引数。