ES优化实战 - 小操作节省百分之三十以上的磁盘空间

通过关闭索引的 _source来节省磁盘

un_source 是去掉存储的数据。在查询的时候，不反回数据。数据只做索引和倒排这些。 
这样做的意思是，只让es做检索，不做存储。es检索完，只返回一个id。然后选用Hbase这样的数据库联动。Hbase擅长的是根据key来取值，花费的是磁盘。不占太多其它资源。

关闭source前后对比

关闭source之前，正常是可以返回结果的：

关掉source以后，只返回数据的id。

看到磁盘空间有节省出来

磁盘大约节省了40%。这个具体要看文档质量，单条文档的大小。具体值根据自己的业务测试来看具体能节省多少。

测试性能提升 - search（query_string）

测之前清除os cache 和 es的 cache

能提升 10%~30%

[2022-08-31 10:19:13.301] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 中国,查询时间对比 26787 vs 23747, 查询性能提升 11.348788% ,查询结果对比 7739986 vs 7739986
[2022-08-31 10:19:31.388] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 美国,查询时间对比 9475 vs 8351, 查询性能提升 11.862797% ,查询结果对比 1194138 vs 1194138
[2022-08-31 10:19:45.544] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 拜登,查询时间对比 7454 vs 6555, 查询性能提升 12.060638% ,查询结果对比 74876 vs 74876
[2022-08-31 10:19:59.343] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 疫情,查询时间对比 7065 vs 6666, 查询性能提升 5.647558% ,查询结果对比 2753904 vs 2753904
[2022-08-31 10:20:13.062] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 苹果,查询时间对比 7525 vs 6122, 查询性能提升 18.644518% ,查询结果对比 390478 vs 390478
[2022-08-31 10:20:26.827] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 华为,查询时间对比 7288 vs 6321, 查询性能提升 13.268386% ,查询结果对比 227394 vs 227394
[2022-08-31 10:20:36.613] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 特朗普,查询时间对比 5319 vs 4342, 查询性能提升 18.368114% ,查询结果对比 83841 vs 83841
[2022-08-31 10:20:45.626] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 利好,查询时间对比 4869 vs 4027, 查询性能提升 17.29308% ,查询结果对比 117106 vs 117106
[2022-08-31 10:21:00.498] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 浪漫,查询时间对比 7739 vs 6886, 查询性能提升 11.022096% ,查询结果对比 2136333 vs 2136333
[2022-08-31 10:21:06.696] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 马斯特,查询时间对比 3270 vs 2802, 查询性能提升 14.311926% ,查询结果对比 2914 vs 2914
[2022-08-31 10:21:08.457] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 特斯拉,查询时间对比 832 vs 813, 查询性能提升 2.2836537% ,查询结果对比 81347 vs 81347
[2022-08-31 10:21:21.713] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 台湾,查询时间对比 7226 vs 5891, 查询性能提升 18.47495% ,查询结果对比 473082 vs 473082
[2022-08-31 10:21:29.348] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 香港,查询时间对比 4101 vs 3440, 查询性能提升 16.11802% ,查询结果对比 443114 vs 443114
[2022-08-31 10:21:39.927] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 美食,查询时间对比 5578 vs 4816, 查询性能提升 13.66081% ,查询结果对比 2169446 vs 2169446
[2022-08-31 10:21:50.942] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 微信,查询时间对比 5767 vs 5106, 查询性能提升 11.461765% ,查询结果对比 1130015 vs 1130015
[2022-08-31 10:22:01.960] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 晴天,查询时间对比 5840 vs 5052, 查询性能提升 13.493151% ,查询结果对比 844638 vs 844638
[2022-08-31 10:22:14.815] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 北京,查询时间对比 7217 vs 5551, 查询性能提升 23.084385% ,查询结果对比 5495236 vs 5495236
[2022-08-31 10:22:24.133] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 救援,查询时间对比 5059 vs 4133, 查询性能提升 18.304012% ,查询结果对比 317766 vs 317766
[2022-08-31 10:22:33.815] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 失败,查询时间对比 5194 vs 4405, 查询性能提升 15.190604% ,查询结果对比 427332 vs 427332
[2022-08-31 10:22:42.620] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 报警,查询时间对比 4758 vs 3899, 查询性能提升 18.053804% ,查询结果对比 290247 vs 290247
[2022-08-31 10:22:53.284] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 媒体,查询时间对比 5566 vs 4963, 查询性能提升 10.833633% ,查询结果对比 1512941 vs 1512941
[2022-08-31 10:23:02.071] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 新疆,查询时间对比 4742 vs 3976, 查询性能提升 16.153522% ,查询结果对比 497432 vs 497432
[2022-08-31 10:23:14.902] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 京东,查询时间对比 6804 vs 5845, 查询性能提升 14.09465% ,查询结果对比 969983 vs 969983
[2022-08-31 10:23:23.450] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 深圳,查询时间对比 4676 vs 3777, 查询性能提升 19.225834% ,查询结果对比 737625 vs 737625
[2022-08-31 10:23:30.923] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 爆炸,查询时间对比 3949 vs 3384, 查询性能提升 14.30742% ,查询结果对比 454712 vs 454712
[2022-08-31 10:23:39.850] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 事故,查询时间对比 4863 vs 3991, 查询性能提升 17.931318% ,查询结果对比 543637 vs 543637
[2022-08-31 10:23:43.648] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 征地,查询时间对比 1878 vs 1595, 查询性能提升 15.069222% ,查询结果对比 56751 vs 56751
[2022-08-31 10:23:47.472] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 抗议,查询时间对比 2066 vs 1603, 查询性能提升 22.410456% ,查询结果对比 53012 vs 53012
[2022-08-31 10:23:52.036] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 聚众,查询时间对比 2534 vs 1968, 查询性能提升 22.336227% ,查询结果对比 30299 vs 30299
[2022-08-31 10:23:58.467] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 黑社会,查询时间对比 3519 vs 2760, 查询性能提升 21.568628% ,查询结果对比 34191 vs 34191
[2022-08-31 10:24:29.077] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 堵路,查询时间对比 16568 vs 13932, 查询性能提升 15.910189% ,查询结果对比 7628 vs 7628
[2022-08-31 10:24:33.089] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 打砸,查询时间对比 2293 vs 1602, 查询性能提升 30.135193% ,查询结果对比 8075 vs 8075
[2022-08-31 10:24:36.196] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 罢工,查询时间对比 1759 vs 1289, 查询性能提升 26.719728% ,查询结果对比 14992 vs 14992
[2022-08-31 10:24:39.417] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 跳楼,查询时间对比 1545 vs 1587, 查询性能提升 -2.7184465% ,查询结果对比 37770 vs 37770
[2022-08-31 10:24:43.120] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 招募,查询时间对比 1947 vs 1581, 查询性能提升 18.798151% ,查询结果对比 116182 vs 116182
[2022-08-31 10:24:59.741] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 黑旅馆,查询时间对比 9417 vs 6971, 查询性能提升 25.9743% ,查询结果对比 34 vs 34
[2022-08-31 10:25:05.770] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 争议,查询时间对比 3299 vs 2575, 查询性能提升 21.946045% ,查询结果对比 314550 vs 314550
[2022-08-31 10:25:11.453] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 盗窃,查询时间对比 2963 vs 2464, 查询性能提升 16.84104% ,查询结果对比 55572 vs 55572
[2022-08-31 10:25:15.486] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 碰车,查询时间对比 2356 vs 1603, 查询性能提升 31.960949% ,查询结果对比 5855 vs 5855
[2022-08-31 10:25:18.807] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 示威,查询时间对比 1776 vs 1420, 查询性能提升 20.045046% ,查询结果对比 20286 vs 20286
[2022-08-31 10:25:28.069] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 不满,查询时间对比 5051 vs 4163, 查询性能提升 17.580677% ,查询结果对比 280738 vs 280738
[2022-08-31 10:25:29.176] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 黑中介,查询时间对比 494 vs 493, 查询性能提升 0.20242916% ,查询结果对比 3128 vs 3128
[2022-08-31 10:25:30.732] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 失火,查询时间对比 758 vs 688, 查询性能提升 9.234829% ,查询结果对比 10475 vs 10475
[2022-08-31 10:25:40.054] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 举报,查询时间对比 5027 vs 4186, 查询性能提升 16.72966% ,查询结果对比 520193 vs 520193
[2022-08-31 10:25:45.345] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 公道,查询时间对比 2892 vs 2331, 查询性能提升 19.39834% ,查询结果对比 73000 vs 73000
[2022-08-31 10:25:49.550] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 经济学家,查询时间对比 2237 vs 1811, 查询性能提升 19.043362% ,查询结果对比 52632 vs 52632
[2022-08-31 10:26:00.592] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 中国新闻周刊,查询时间对比 6230 vs 4711, 查询性能提升 24.382023% ,查询结果对比 12777 vs 12777
[2022-08-31 10:26:04.270] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 永定河,查询时间对比 2022 vs 1549, 查询性能提升 23.392681% ,查询结果对比 3312 vs 3312
[2022-08-31 10:26:05.598] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 中国大地财产保险股份有限公司,查询时间对比 525 vs 607, 查询性能提升 -15.619047% ,查询结果对比 490 vs 490
[2022-08-31 10:26:18.104] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 冬奧,查询时间对比 6470 vs 5912, 查询性能提升 8.62442% ,查询结果对比 1594 vs 1594
[2022-08-31 10:26:26.211] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 天津大事件,查询时间对比 4444 vs 3580, 查询性能提升 19.441944% ,查询结果对比 1 vs 1

测试性能提升 - agg (terms)

测之前清除os cache 和 es的 cache

也能提升 10%~30%

[2022-08-31 10:03:38.893] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 中国,查询时间对比 48562 vs 43997, 查询性能提升 9.400354%
[2022-08-31 10:03:58.011] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 美国,查询时间对比 10201 vs 8803, 查询性能提升 13.704538%
[2022-08-31 10:04:13.072] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 拜登,查询时间对比 7630 vs 7332, 查询性能提升 3.9056356%
[2022-08-31 10:04:28.474] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 疫情,查询时间对比 8280 vs 6982, 查询性能提升 15.676329%
[2022-08-31 10:04:42.641] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 苹果,查询时间对比 7665 vs 6351, 查询性能提升 17.142859%
[2022-08-31 10:04:56.931] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 华为,查询时间对比 7593 vs 6505, 查询性能提升 14.328988%
[2022-08-31 10:05:07.415] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 特朗普,查询时间对比 5381 vs 4639, 查询性能提升 13.789259%
[2022-08-31 10:05:16.769] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 利好,查询时间对比 4900 vs 4152, 查询性能提升 15.265306%
[2022-08-31 10:05:33.180] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 浪漫,查询时间对比 8621 vs 7468, 查询性能提升 13.374318%
[2022-08-31 10:05:40.405] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 马斯特,查询时间对比 3604 vs 3306, 查询性能提升 8.26859%
[2022-08-31 10:05:43.571] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 特斯拉,查询时间对比 1229 vs 1220, 查询性能提升 0.73230267%
[2022-08-31 10:05:57.687] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 台湾,查询时间对比 7371 vs 6297, 查询性能提升 14.570615%
[2022-08-31 10:06:06.328] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 香港,查询时间对比 4465 vs 3925, 查询性能提升 12.094065%
[2022-08-31 10:06:17.864] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 美食,查询时间对比 6064 vs 5209, 查询性能提升 14.099604%
[2022-08-31 10:06:29.510] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 微信,查询时间对比 6151 vs 5213, 查询性能提升 15.249554%
[2022-08-31 10:06:41.220] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 晴天,查询时间对比 6195 vs 5273, 查询性能提升 14.88297%
[2022-08-31 10:06:55.470] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 北京,查询时间对比 7772 vs 6176, 查询性能提升 20.535255%
[2022-08-31 10:07:05.681] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 救援,查询时间对比 5122 vs 4810, 查询性能提升 6.0913706%
[2022-08-31 10:07:16.715] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 失败,查询时间对比 6303 vs 4452, 查询性能提升 29.366966%
[2022-08-31 10:07:26.313] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 报警,查询时间对比 5110 vs 4151, 查询性能提升 18.767122%
[2022-08-31 10:07:37.675] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 媒体,查询时间对比 6048 vs 5024, 查询性能提升 16.931217%
[2022-08-31 10:07:46.893] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 新疆,查询时间对比 4959 vs 4025, 查询性能提升 18.834442%
[2022-08-31 10:08:00.810] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 京东,查询时间对比 7399 vs 6227, 查询性能提升 15.839979%
[2022-08-31 10:08:10.285] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 深圳,查询时间对比 4966 vs 4185, 查询性能提升 15.726943%
[2022-08-31 10:08:18.712] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 爆炸,查询时间对比 4295 vs 3829, 查询性能提升 10.849825%
[2022-08-31 10:08:28.446] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 事故,查询时间对比 5247 vs 4170, 查询性能提升 20.526014%
[2022-08-31 10:08:32.957] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 征地,查询时间对比 2345 vs 1874, 查询性能提升 20.085289%
[2022-08-31 10:08:37.815] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 抗议,查询时间对比 2520 vs 2050, 查询性能提升 18.650795%
[2022-08-31 10:08:43.195] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 聚众,查询时间对比 2835 vs 2224, 查询性能提升 21.552029%
[2022-08-31 10:08:51.463] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 黑社会,查询时间对比 3890 vs 3212, 查询性能提升 17.429306%
[2022-08-31 10:09:22.035] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 堵路,查询时间对比 16467 vs 13607, 查询性能提升 17.368069%
[2022-08-31 10:09:26.985] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 打砸,查询时间对比 2595 vs 2071, 查询性能提升 20.192678%
[2022-08-31 10:09:31.328] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 罢工,查询时间对比 2276 vs 1726, 查询性能提升 24.165203%
[2022-08-31 10:09:35.791] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 跳楼,查询时间对比 2264 vs 1915, 查询性能提升 15.4151945%
[2022-08-31 10:09:40.341] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 招募,查询时间对比 2363 vs 1916, 查询性能提升 18.91663%
[2022-08-31 10:09:57.904] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 黑旅馆,查询时间对比 9761 vs 7458, 查询性能提升 23.593893%
[2022-08-31 10:10:04.561] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 争议,查询时间对比 3360 vs 3019, 查询性能提升 10.148809%
[2022-08-31 10:10:11.193] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 盗窃,查询时间对比 3540 vs 2794, 查询性能提升 21.073446%
[2022-08-31 10:10:16.222] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 碰车,查询时间对比 2739 vs 2008, 查询性能提升 26.688572%
[2022-08-31 10:10:20.312] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 示威,查询时间对比 2074 vs 1733, 查询性能提升 16.441658%
[2022-08-31 10:10:30.524] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 不满,查询时间对比 5583 vs 4348, 查询性能提升 22.120724%
[2022-08-31 10:10:32.786] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 黑中介,查询时间对比 984 vs 962, 查询性能提升 2.2357724%
[2022-08-31 10:10:35.407] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 失火,查询时间对比 1205 vs 1066, 查询性能提升 11.53527%
[2022-08-31 10:10:45.525] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 举报,查询时间对比 5351 vs 4437, 查询性能提升 17.08092%
[2022-08-31 10:10:51.602] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 公道,查询时间对比 3141 vs 2709, 查询性能提升 13.753581%
[2022-08-31 10:10:56.776] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 经济学家,查询时间对比 2693 vs 2138, 查询性能提升 20.608988%
[2022-08-31 10:11:07.934] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 中国新闻周刊,查询时间对比 6197 vs 4653, 查询性能提升 24.915281%
[2022-08-31 10:11:12.611] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 永定河,查询时间对比 2621 vs 1949, 查询性能提升 25.639069%
[2022-08-31 10:11:14.728] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 中国大地财产保险股份有限公司,查询时间对比 1011 vs 963, 查询性能提升 4.7477746%
[2022-08-31 10:11:27.476] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 冬奧,查询时间对比 6743 vs 5895, 查询性能提升 12.576005%
[2022-08-31 10:11:35.544] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 天津大事件,查询时间对比 4195 vs 3523, 查询性能提升 16.01907%

但是我还发现一个问题，假如数据已经在os cache的时候，聚合没有提升。这个现象这样触发：先清掉缓存（os cache），然后执行search，然后不清缓存，再执行agg聚合。会发现

关闭source的影响

  • 文档不能使用update或者update_by_query更新

  • 不能使用reindex

  • 不能做文档高亮

发现的问题 —— os cache对es的影响

假如数据不在系统缓存中，数据第一次加载总会很浪费时间。这可能是因为第一次聚合，它需要构建全局序数，需要花费时间。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/43630.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

ES 搜索优化测试 - indexSort 对检索性能提升50%

ES 搜索优化测试 - indexSort 对检索性能提升50%

indexSort 是在写入数据的时候，根据某个字段做排序。我们可以理解为数据的预排序。 在检索的时候，假如搜索正好是根据排好序的字段做排序的，那么将会有 50%的 检索性能提升效果。 注意，不要在请求中返回 count数据总量。这样配合i…
阅读更多...
unity中的摇杆按钮设置

unity中的摇杆按钮设置

摇杆设备的所有按钮都有顺序编号，下图按钮框内的1到16分别对应摇杆设备的各个按钮。 若要使用摇杆的某个按钮需按 joystick button 按钮编号 的格式设置。unity的按钮从0开始计算在设置的时候需要减去一个数。 下图红线框住的选项其设置表示：摇杆7号按钮…
阅读更多...
【转】浅谈协方差

【转】浅谈协方差

【转】浅谈协方差 觉得有用的话,欢迎一起讨论相互学习~ 转载自：http://pinkyjie.com/2010/08/31/covariance/ 作者：进击的马斯特 协方差矩阵 Matlab协方差矩阵
阅读更多...
IT 常用词汇（一）

IT 常用词汇（一）

1, amend [əmend] vt. 修改；改善，改进 vi. 改正，改善；改过自新 n. (Amend)人名；(德、英)阿门德 2, bearer [bɛrɚ] n. 持票人；[建] 承木；[机] 托架；送信人；搬运工人 …
阅读更多...
浅谈协方差矩阵(马斯特的斯马特生活)

浅谈协方差矩阵(马斯特的斯马特生活)

统计学的基本概念 学过概率统计的孩子都知道，统计里最基本的概念就是样本的均值，方差，或者再加个标准差。首先我们给你一个含有n个样本的集合，依次给出这些概念的公式描述，这些高中学过数学的孩子都应该知道吧&#x…
阅读更多...
Thrustmaster(图马思特) HOTAS Warthog 疣猪杆 读取按钮数据

Thrustmaster(图马思特) HOTAS Warthog 疣猪杆 读取按钮数据

我所使用的摇杆是THRUSTMASTER（右下图所示），用于在目标追踪页面进行框选物体（实际应用场景不涉及鼠标键盘，只能使用操作杆进行操作） 1、首先，安装摇杆所需环境，winR输入cmd后&#x…
阅读更多...
速魔与图马思特优缺点对比

速魔与图马思特优缺点对比

速魔和图马思特优缺点对比速魔图马思特传动系统直驱双皮带最大力反馈10Nm10Nm工作电压110-240V220-240V功率360W240W快拆50mm/70mm 盘面通用特制优点1.直驱，没有传动装置 2.力反馈更加直接 3.回盘速度更快，输出力度更大，操控好 4.秒换方向盘 …
阅读更多...
微软获GPT-3独家授权，OpenAI创始人马斯克：与初衷相悖

微软获GPT-3独家授权，OpenAI创始人马斯克：与初衷相悖

萧箫 发自 凹非寺 量子位 报道 | 公众号 QbitAI 微软获OpenAI GPT-3独家授权，马斯克不高兴了。 就在微软官宣GPT-3后一天，马斯克在社交媒体上吐槽此事：“这看起来像是与‘开放’相悖。OpenAI本质上已经被微软‘控制’了。” 这件事情的起因&…
阅读更多...
张俊林：GPT-4 模型会开创哪些新的研究方向？

张俊林：GPT-4 模型会开创哪些新的研究方向？

作者｜张俊林知乎 整理｜蘑菇先生学习记 分享一篇张俊林老师关于GPT-4模型会开创哪些新的研究方向的回答。 引言 在这个历史性的时刻，回答个问题，留下自己作为历史见证人的足迹。先遵循这个问题的主旨，写两句GPT-4开创了…
阅读更多...
OpenAI 发布 GPT-4，有哪些技术上的优化或突破？

OpenAI 发布 GPT-4，有哪些技术上的优化或突破？

作者：张俊林 在这个历史性的时刻，回答个问题，留下自己作为历史见证人的足迹。GPT4的技术报告里很明确地指出了三个新的方向： 第一，LLM最前沿研究的封闭化或小圈子化。 技术报告里说了，出于竞争以及安全等方…
阅读更多...
海康威视人证对比设备SDK-C#

海康威视人证对比设备SDK-C#

SDk下载地址：https://www.hikvision.com/cn/download_more_570.html 本文应用场景：第一次进行人脸身份证的验证方式，之后刷脸即可得到这个用户的信息 调用的SDK为布防门禁事件，以下为流程图和说明 报警回调事件 实际使用&#x…
阅读更多...
java调用海康威视人脸识别抓拍

java调用海康威视人脸识别抓拍

**1.**首先下载官网的sdk开发包，引入HCNetSDK.java，里面定义了很多调用的能力集。 **2.**通过报警回调函数中的黑名单报警这个接口去实现人脸抓拍的。 3.简单来说就是写个类去实现HCNetSDK.FMSGCallBack 然后根据条件函数 case HCNetSDK.COMM_SNAP_MATCH…
阅读更多...
对接海康威视平台拿取视频流

对接海康威视平台拿取视频流

创建工具类 public class ArtemisUtil {private static final Logger logger LoggerFactory.getLogger(ArtemisUtil.class);static {ArtemisConfig artemisConfig new ArtemisConfig();artemisConfig.setAppKey("123");artemisConfig.setAppSecret("123"…
阅读更多...
读取海康威视摄像头实时显示视频流

读取海康威视摄像头实时显示视频流

提示：文章用于学习记录 文章目录 前言一、设置同一网段二、密码重置三、VLC 读取视频流四、opencv 读取视频流总结 前言 摄像头一般有网线和电源线两个接口，如下图所示， 用网线将摄像头与电脑连接在一起，电源接口连接适配器。 …
阅读更多...
海康威视摄像头web端开发

海康威视摄像头web端开发

主要方法 1.海康威视Web开发包 这个是海康威视自己开发的web开发包，里面含有一些demo，整体版，分屏版等等。你可以在他的demo基础上进行二次开发，即使是离线只要你的摄像头和电脑都是在同一路由下，都是可以调用的。麻…
阅读更多...
海康威视的工业相机的使用经历

海康威视的工业相机的使用经历

单位（和海康是属于一个集团的）某一部门 选择用 NVIDIA JETSON™ TX2 海康威视工业相机 的组合来完成 某检测识别任务，在相机选型前用邮件咨询 海康威视工业相机对 TX2 是否支持，得到海康相关人员的肯定答复。 于是采购了海康威…
阅读更多...
海康威视SDK使用总结

海康威视SDK使用总结

海康威视SDK使用总结 公司的项目里使用到海康威视的摄像监控设备，然后项目要求在我们的B/S系统中集成摄像头的播放画面。因此通过和海康威视工作人员的沟通，和网上一些人的文章，实现了在自己的网页里进行预览和回放。 一、海康威视的SDK 海…
阅读更多...
海康威视监控摄像头连接电脑教程

海康威视监控摄像头连接电脑教程

文章目录 一.海康威视监控摄像头连接电脑教程 一.海康威视监控摄像头连接电脑教程 官网下载SADP软件：https://www.wolai.com/wM6rWeBrRtrfmMH2BTVUXZ 双击下载的软件进行安装 打开软件，将设备连接到摄像头，便可在软件中搜索到摄像头 选择摄…
阅读更多...
公网Web系统集成局域网内海康威视IPC网络摄像机

公网Web系统集成局域网内海康威视IPC网络摄像机

当摄像头与Web应用系统不在一个网络内时，需要将摄像头接入web系统，这时的接入就是一个比较费钱的事情了，除了需要购买流量费之外还需要购买链路服务费，如果足够有钱，并且对安全要求很高的，可以接入一些现成的第三方平台，价格比如这样： 如果没钱并且有一定的开发能…
阅读更多...
远程实时读取海康威视4G网络摄像头视频

远程实时读取海康威视4G网络摄像头视频

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 远程实时读取海康威视4G网络摄像头视频 有用的废话背景 重点步骤总结 有用的废话 购买海康威视4G网络摄像头时，目的是基于RTSP 协议来实时读取视频，并…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发