如何简单的抓取网站数据

1.首先,用带debug的火狐浏览器,访问要抓取的网站,通过debug的控制台或网络找到数据的接口。


2.Spring框架自3.0版本起,自带了任务调度功能,好比是一个轻量级的Quartz,而且使用起来也方便、简单,且不需要依赖其他的JAR包。秉承着Spring的一贯风格,Spring任务调度的实现同时支持注解配置和XML配置两种方式。

  先来看下Spring常规定时任务的配置,如下:

[html]  view plain  copy
  1. <?xml version="1.0" encoding="UTF-8"?>  
  2. <beans xmlns="http://www.springframework.org/schema/beans"  
  3.     xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"  
  4.     xmlns:task="http://www.springframework.org/schema/task"  
  5.     xmlns:context="http://www.springframework.org/schema/context"  
  6.     xsi:schemaLocation="  
  7.         http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd   
  8.         http://www.springframework.org/schema/task http://www.springframework.org/schema/task/spring-task.xsd   
  9.         http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd ">  
  10.       
  11.     <context:component-scan base-package="com.pes_soft.task.demo" />  
  12.       
  13.     <!-- Spring注解方式配置调度任务 -->  
  14.     <task:executor id="executor" pool-size="3"/>  
  15.     <task:scheduler id="scheduler" pool-size="3"/>  
  16.     <task:annotation-driven executor="executor" scheduler="scheduler"/>  
  17. </beans>  

  注意:配置Spring定时任务时,需要在Spring配置文件的xml头部加入xmlns:task="http://www.springframework.org/schema/task"和xsi:schemaLocation位置中加入http://www.springframework.org/schema/task

 http://www.springframework.org/schema/task/spring-task.xsd

  

3.代码实现如下:

  1. 在定时任务类上增加@EnableScheduling注解,并实现SchedulingConfigurer接口。(值得注意的是:@EnableScheduling对Spring的版本要求比较高,一开始使用的3.2.6版本时一直未成功,后来改成4.2.5版本就可以了)
  2. 设置一个静态变量cron,用于存放任务执行周期参数。
  3. 另辟一线程,用于模拟实际业务中外部原因修改了任务执行周期(修改了周期时间,不用重启服务器)。
  4. 设置任务触发器,触发任务执行,其中就可以修改任务的执行周期。

  完整的SpringDynamicCronTask.java代码如下:

[java]  view plain  copy
  1. package com.pes_soft.task.demo;  
  2.   
  3. import java.util.Date;  
  4.   
  5. import org.slf4j.Logger;  
  6. import org.slf4j.LoggerFactory;  
  7. import org.springframework.context.annotation.Lazy;  
  8. import org.springframework.scheduling.Trigger;  
  9. import org.springframework.scheduling.TriggerContext;  
  10. import org.springframework.scheduling.annotation.EnableScheduling;  
  11. import org.springframework.scheduling.annotation.SchedulingConfigurer;  
  12. import org.springframework.scheduling.config.ScheduledTaskRegistrar;  
  13. import org.springframework.scheduling.support.CronTrigger;  
  14. import org.springframework.stereotype.Component;  
  15.   
  16. /** 
  17.  * Spring动态周期定时任务<br> 
  18.  * 在不停应用的情况下更改任务执行周期 
  19.  * @Author 许亮 
  20.  * @Create 2016-11-10 16:31:29 
  21.  */  
  22. @Lazy(false)  
  23. @Component  
  24. @EnableScheduling  
  25. public class SpringDynamicCronTask implements SchedulingConfigurer {  
  26.     private static final Logger logger = LoggerFactory.getLogger(SpringDynamicCronTask.class);  
  27.       
  28.     private static String cron;  
  29.       
  30.     public SpringDynamicCronTask() {  
  31.         cron = "0/5 * * * * ?";  
  32.           
  33.         // 开启新线程模拟外部更改了任务执行周期  
  34.         new Thread(new Runnable() {  
  35.             @Override  
  36.             public void run() {  
  37.                 try {  
  38.                     Thread.sleep(15 * 1000);  
  39.                 } catch (InterruptedException e) {  
  40.                     e.printStackTrace();  
  41.                 }  
  42.                   
  43.                 cron = "0/10 * * * * ?";  
  44.                 System.err.println("cron change to: " + cron);  
  45.             }  
  46.         }).start();  
  47.     }  
  48.   
  49.     @Override  
  50.     public void configureTasks(ScheduledTaskRegistrar taskRegistrar) {  
  51.         taskRegistrar.addTriggerTask(new Runnable() {  
  52.             @Override  
  53.             public void run() {  
  54.                 // 任务逻辑  
  55.                 logger.debug("dynamicCronTask is running...");  
  56.             }  
  57.         }, new Trigger() {  
  58.             @Override  
  59.             public Date nextExecutionTime(TriggerContext triggerContext) {  
  60.                 // 任务触发,可修改任务的执行周期  
  61.                 CronTrigger trigger = new CronTrigger(cron);  
  62.                 Date nextExec = trigger.nextExecutionTime(triggerContext);  
  63.                 return nextExec;  
  64.             }  
  65.         });  
  66.     }  
  67. }  


  


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/33072.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

利用Wireshark抓取QQ的数据流

一、准备工作 1、下载好Wireshark。 2、在手机和电脑分别登录同一个 QQ。 3、电脑和手机连同一个网络&#xff08;WiFi和或者手机热点&#xff09;。 二、操作阶段 1、打开Wireshark。 2、查看手机所连接网络的ip地址。 3、选择WLAN&#xff0c;在搜索栏输入ip.src ip地…

如何实时抓取动态网页数据?

我们所生活的数字世界正在不断地产生大量的数据。利用动态大数据已经成为企业数据分析的关键。 在本文中&#xff0c;我们将回答以下几个问题&#xff1a; 1、为什么采集动态数据很重要? 2、动态数据是如何有效的促进业务增长? 3、最重要的是&#xff0c;我们如何能够轻松…

从网站抓取数据的3种最佳方法

1.使用网站API 许多大型社交媒体网站&#xff0c;例如Facebook&#xff0c;Twitter&#xff0c;Instagram&#xff0c;StackOverflow&#xff0c;都提供API供用户访问其数据。有时&#xff0c;您可以选择官方API来获取结构化数据。如下面的Facebook Graph API所示&#xff0c;…

谷歌内部泄露:我们和 OpenAI 都赢不了,因为正被“开源”偷家!

整理 | 郑丽媛、出品 | CSDN&#xff08;ID&#xff1a;CSDNnews&#xff09; 由 ChatGPT 掀起的 AI 大模型之战&#xff0c;已在全球范围内持续了几个月&#xff0c;其中业界尤为关注的&#xff0c;就是 OpenAI 和谷歌二者之间的博弈。 曾经&#xff0c;2017 年率先发布的 Tra…

贾扬清官宣:从阿里离职,或将投身AI创业!

点击下方卡片&#xff0c;关注“CVer”公众号 AI/CV重磅干货&#xff0c;第一时间送达 点击进入—>【计算机视觉】微信技术交流群 转载自&#xff1a;机器之心 贾扬清从阿里巴巴正式毕业&#xff0c;计划走向职业生涯的下一个挑战。 近段时间&#xff0c;ChatGPT 与大模型的…

阿里副总裁贾扬清回应:确认离职,或投身AI架构创业!

来源&#xff1a;机器之心 近段时间&#xff0c;ChatGPT 与大模型的爆火&#xff0c;又吸引了整个科技领域以及投资圈对 AI 的关注。最近也爆出了许多学术界、业界 AI 大佬投身创业潮的消息。 知名人工智能科学家贾扬清从阿里巴巴离职创业的信息也被爆出&#xff0c;贾扬清本人…

【人工智能】大模型基础概念、核心技术、应用场景和未来发展

目录 一、大模型概述 二、大模型的发展历程 三、大模型的核心技术 1. Transformer结

BFT 最前线 | 腾讯发布Q1季报;超2000伙伴测试阿里云通义千问;黄仁勋:芯片是NVIDIA加速与AI计算的的“理想应用”

原创 | 文 BFT机器人 AI视界 TECHNOLOGY NEWS 01 阿里云&#xff1a;超2000伙伴测试通义千问 行业专属大模型将成趋势 2023阿里云常州峰会上&#xff0c;阿里云智能中国区总裁黄海清透露&#xff1a;目前通义千问大模型已有超2000个合作伙伴进行测试。未来大模型面向各行各…

Open AI 新论文:通过“过程监督”来改进数学推理

本文经授权转载自「图灵社区公众号&#xff08;ID&#xff1a;ituring_book&#xff09;」 英文原文链接&#xff1a;https://openai.com/research/improving-mathematical-reasoning-with-process-supervision 我们训练了一个模型&#xff0c;通过对每个正确的推理步骤进行奖励…

下周,GPT-4就要来了!

来源&#xff1a;机器之心 我们知道&#xff0c;引爆如今科技界军备竞赛的 ChatGPT 是在 GPT-3.5 上改进得来的&#xff0c;OpenAI 很早就预告 GPT-4 将会在今年发布。最近各家大厂争相入局的行动似乎加快了这个进程。 最新消息是&#xff0c;万众期待的 GPT-4 下周就要推出了&…

从用户的角度谈GPT时代技术突破的两大关键逻辑

大家好,我是herosunly。985院校硕士毕业,现担任算法研究员一职,热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名,CCF比赛第二名,科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法…

发送短信功能模块

由于项目在注册、登录、找回密码 时需要发送短信验证的功能&#xff0c;我们使用腾讯云短信做。 为什么要用腾讯云短信呢&#xff1f; 因为注册就送 100条免费短信 的额度。哈哈哈哈&#xff0c;发短信的功能你就不用花钱了。 1.注册腾讯云 & 开通云短信 注册一个腾讯云…

怎么用106短信平台来发送营销短信?手把手教你轻松掌握

现如今&#xff0c;很多商家和企业都有短信发送的需求&#xff0c;因为很许多的企业和商家都需要106短信平台类推广自己最新的产品&#xff0c;以及促销活动等。要知道&#xff0c;短信平台&#xff0c;不仅价格便宜&#xff0c;而且精准获客&#xff0c;那么&#xff0c; 怎么…

个人用户实现发送短信功能

准备工作 因为国家政策 &#xff0c;阿里云和其他的大型短信调用网站审核严格所以我们用比较普通的榛子云来练习短信验证 了解阿里云短信码 登录阿里云&#xff0c;选择短信服务 首先要了解发送短信的四个步骤 进入申请签名&#xff0c;查看大致内容&#xff0c;可以看到这边…

ChatGPT文本自动生成有哪些应用

ChatGPT具有强大的文本生成能力&#xff0c;能够模拟人类的语言和情感表达&#xff0c;对文字工作产生了重要影响。对于我们从事文字工作的小伙伴而言&#xff0c;ChatGPT的出现对我们的影响是首当其冲的&#xff0c;今天跟大家分享ChatGPT在文字创作方面有哪些影响。 自动化文…

简单的小程序聊天对话窗口界面

一个简单的微信小程序聊天对话窗口界面,包括发送文本功能 直接上代码,js代码: // 简单版 Page({data: {content: ,// 当前登录者信息login: {id: 2023,user: 大猪蹄子,avatar: https://img2.baidu.com/it/u1581320883,910100018&fm253&app53&sizew500&n0&…

聊天记录怎么录视频 微信聊天记录屏幕录制

互联网的发展&#xff0c;手机交流代替了面对面交流&#xff0c;手机交流更加方便快捷&#xff0c;也带来了一些便利&#xff0c;拉近了人与人之间的距离&#xff0c;现在大家都习惯在网上聊天了&#xff0c;聊天如果不删掉的话&#xff0c;就会有记录的。有的小伙伴想要录制成…

摆地摊又被城管赶了

文|洪生鹏 下班回家路过驿站顺便取了个快递&#xff0c;突然一阵阵砰砰的声音传来&#xff0c;好刺耳。 原来是城管来了&#xff0c;摆地摊的人纷纷推着车子往这边赶来&#xff0c;有卖水果的&#xff0c;有做小吃的&#xff0c;也有卖衣服。 摊主们得知城管来了&#xff0c;推…

程序员摆地摊能接到活吗?码农地摊卖什么能挣到外快钱?

现在全民摆地摊&#xff0c;做为一个码农&#xff0c;也是蠢蠢欲动&#xff0c;思来想去不知道卖什么好&#xff1f;看到好多同事下了班都着急回家出摊&#xff0c;挣外快&#xff0c; 同事们闲暇时间说来话去的也都是地摊经济&#xff0c;做一个有出息的程序员&#xff0c;我们…

摆摊吗?我卖锅,你修手机。

由于疫情的影响 国家开始鼓励地摊经济。 我们来看看&#xff0c;搞工程和搞电子的人摆摊能什么。 先看&#xff0c;搞工程的人是这样摆摊的&#xff01; 而搞电子的人是这样摆摊的&#xff01; PCB工程师 测试工程师 射频工程师 单片机工程师 器件工程师 EMC工程师 芯片工程师 …