petal接口响应结果
响应结果为空的数据,而我们需要的是正确的响应结果。
排查问题
- 确认接口是否正确
以下是爬虫的配置文件内容,我查看了PETAL_URL的接口,并询问接口开发人员,得知接口地址并未改变
- 确认接口请求体是否正确
我使用postman请求接口,将完整的一整条消息传入接口,得到完整的结果。我再次查看代码,确认爬虫发出请求的位置如下:
发现我只取了消息的部分数据用于请求发出,其中原代码的请求体缺少"_id"字段。
我当时还没发现,但询问了接口开发人员,才得知他们已经更新了接口的请求体,只需要将消息内的sourceId字段传入即可获取到正确的数据。
更新完的代码如上,测试运行成功。
之后需要将国内的petal爬虫同步这个已经改变的请求体,防止后续操作失误。