ClickHouse AST is too big 报错问题处理记录
- 问题描述
- 问题分析
- 解决方案
- 1、修改系统配置
- 2、修改业务逻辑
问题描述
项目中统计报表的查询出现 AST is too big 问题，报错信息如下：
问题分析
报错信息显示 AST is too big。
AST 表示查询语法树中的最大元素数。 如果超出，则抛出异常。 默认情况下是10,000，项目上配置了 50000，但还是不够用。
解决方案
1、修改系统配置
在 user.xml 配置文件中，添加如下配置
<max_ast_elements>10000000</max_ast_elements>
<max_expanded_ast_elements>10000000</max_expanded_ast_elements>
2、修改业务逻辑
查询过长的话，查询性能也会很差。相比于修改系统配置，修改业务代码更优。
因为查询SQL中拼接的条件太多，导致查询SQL过长，所以通过将查询条件拆分成多段，分段查询，减少查询条件的同时也可以缩短查询SQL，既可以防止查询SQL过长，也可以提升查询性能。最后如果觉得分段后遍历查询响应时间较长的话，可以通过线程池使用多线程来减少响应耗时。
