背景:
由于 canal 切换为 tx dbbridge后,发现dbbridge对于canal的兼容性存在较大问题,从而引发 该文档的实践。
就目前发现 dbbrige 的字段 大小写 和 数据类型格式 从binlog 写入kafka 同canal 都会存在差异。
canal之前导出都是小写,但是dbbrige接出来后部分字段名大写,部分字段名小写。
如果下游代码 对于 大小写敏感的消费者 那么 就需要谨慎。特别是flink sql kafka connector的代码。
另外就是 数据格式 毕竟是 java 侧的所以 容易出现一些 科学计数法转换问题。
但是如果 大boss 的意思 硬要换,那 咋 还有啥说的。
本次实践通过 debug 慢慢深入 挖掘。
根据 debug 代码跟踪 。
这边发现 如果 走到 p.getDoubleValue 这个结果就不是原文了。所以不能让它走 到DoubleValue的处理. 但是由于 JsonParser 还不清楚如何自定义 , 另外 第二个条件可以通过配置参数 来 过判断 很容易实现。 这个可以通过 网络上一些 double 科学计数法 观测到。P.getDecimalVAlue() 也比较符合我们想要的结果 debug 模式下可查看中间表达式。然后 就到了 numberNode的方法里面.这个地方 图里面有些 误解,这个地方还是处于 readtree的部分 仅仅是用于 把string 转化为 jacksonnode. 关于 这个地方 _cfgBigDecimalExact 可以通过 objectmapper.setNodeFactory来初始化为 true的对象。就能够影响这边的行为。
然后因为笔者这边为中间转发 所以 需要做一层数据去 科学计数法 。
至此结束 数据为我们需要的 样式