备案控制台
探索云世界
开发者社区 开发与运维 文章 正文

企业定时任务调度器Quartz，定时查询数据库(这里还需要继续做研究)

2013-09-22 1635
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：    看到楼下各位兄弟的批评指正后，确实对我很有启发，任务如果都以配置的形式出现，在项目中是很利于维护的，所以，稍作修改，呵呵。  首先要做QuartzJob定时任务类了，这个类要实现的是Job接口，然后重写execute方法，方法中就是执行你具体要做的事情了。不过首先需要一个配置文件，里面定义了一些参数，是Quartz的一些配置。配置文件如下  Java代码  
   看到楼下各位兄弟的批评指正后，确实对我很有启发，任务如果都以配置的形式出现，在项目中是很利于维护的，所以，稍作修改，呵呵。 

首先要做QuartzJob定时任务类了，这个类要实现的是Job接口，然后重写execute方法，方法中就是执行你具体要做的事情了。不过首先需要一个配置文件，里面定义了一些参数，是Quartz的一些配置。配置文件如下 
Java代码    收藏代码
  1. #============================================================================  
  2. # Configure Main Scheduler Properties    
  3. #============================================================================  
  4. org.quartz.scheduler.instanceName = QuartzScheduler  
  5. org.quartz.scheduler.instanceId = AUTO  
  6.   
  7. #============================================================================  
  8. # Configure ThreadPool    
  9. #============================================================================  
  10. org.quartz.threadPool.class = org.quartz.simpl.SimpleThreadPool  
  11. org.quartz.threadPool.threadCount = 3  
  12. org.quartz.threadPool.threadPriority = 5  
  13.   
  14. #===============================================================  
  15. #Configure JobStore  
  16. #===============================================================  
  17. org.quartz.jobStore.misfireThreshold = 60000  
  18. org.quartz.jobStore.class = org.quartz.simpl.RAMJobStore  
  19.   
  20. #============================================================================  
  21. # Configure Plugins   
  22. #============================================================================  
  23. #org.quartz.plugin.triggHistory.class = org.quartz.plugins.history.LoggingJobHistoryPlugin  
  24. org.quartz.plugin.jobInitializer.class = org.quartz.plugins.xml.JobInitializationPlugin  
  25. org.quartz.plugin.jobInitializer.fileName = conf/quartz_jobs.xml  
  26. org.quartz.plugin.jobInitializer.overWriteExistingJobs = true  
  27. org.quartz.plugin.jobInitializer.failOnFileNotFound = true  
  28. org.quartz.plugin.jobInitializer.scanInterval = 60  


即使做成配置，这个类也必须要有，一定会有个Job类，专门做数据分析，有的朋友说配置文件搞定所有，不现实，  
好了，这就是配置文件，接下来我们就要做这个计划类了，这个类执行的是去源数据库中查询数据，并插入目标数据库中，并且不允许有重复。代码如下  

Java代码    收藏代码
  1. package com.bj58.job.servlet;  
  2.   
  3. import java.sql.Connection;  
  4. import java.sql.PreparedStatement;  
  5. import java.sql.ResultSet;  
  6. import java.sql.SQLException;  
  7.   
  8. import org.apache.commons.logging.Log;  
  9. import org.apache.commons.logging.LogFactory;  
  10. import org.quartz.Job;  
  11. import org.quartz.JobExecutionContext;  
  12. import org.quartz.JobExecutionException;  
  13.   
  14. import com.bj58.job.utils.ConnectionFactory_DB_dest;  
  15. import com.bj58.job.utils.ConnectionFactory_DB_src;  
  16.   
  17. /** 
  18.  * 定时任务类 
  19.  * @author zhangwan@58.com 
  20.  * Jun 8, 2010 
  21.  * 
  22.  */  
  23. public class QuartzJob implements Job {  
  24.     private static final Log log = LogFactory.getLog(Job.class);  
  25.     private static final String findSql_src = "select PortalId from t_portalinfo";  
  26.     private static final String findSql_dest = "select userId from t_user";  
  27.     private static final String insertSql_dest = "insert into t_user(userId) values (?)";  
  28.       
  29.     /** 
  30.      * 执行任务方法 
  31.      */  
  32.     @Override  
  33.     public void execute(JobExecutionContext context) throws JobExecutionException {  
  34.         Connection conn_db_src = ConnectionFactory_DB_src.getConnection();  
  35.         Connection conn_db_dest = ConnectionFactory_DB_dest.getConnection();  
  36.         PreparedStatement pstmt_src = null;  
  37.         PreparedStatement pstmt_dest = null;  
  38.         ResultSet rs_src = null;  
  39.         ResultSet rs_dest = null;  
  40.         try {  
  41.             pstmt_src = conn_db_src.prepareStatement(findSql_src);  
  42.             rs_src = pstmt_src.executeQuery();  
  43.   
  44.             pstmt_dest = conn_db_dest.prepareStatement(findSql_dest);  
  45.             rs_dest = pstmt_dest.executeQuery();  
  46.             pstmt_dest = conn_db_dest.prepareStatement(insertSql_dest);  
  47.               
  48.             while(rs_dest.next()) { //第二次或第n次入库，第一次入库的话rs_dest没有结果，所以此段操作都不执行  
  49.                 String userId = rs_dest.getString(1);  
  50.                 while (rs_src.next()) {  
  51.                     String protalId = rs_src.getString(1);  
  52.                     if(userId.equals(protalId)) { //如果两个结果相同，则不进行入库  
  53.                         break;  
  54.                     } else {  
  55.                         pstmt_dest.setString(1, protalId);  
  56.                         pstmt_dest.execute();  
  57.                     }  
  58.                 }  
  59.             }  
  60.               
  61.             while (rs_src.next()) { //如果是第一次入库  
  62.                 String protalId = rs_src.getString(1);  
  63.                 pstmt_dest.setString(1, protalId);  
  64.                 pstmt_dest.execute();  
  65.                   
  66.             }  
  67.             log.info("存储数据...");  
  68.         } catch (SQLException e) {  
  69.             log.info("存储数据出现异常...");  
  70.             e.printStackTrace();  
  71.         } finally {  
  72.             ConnectionFactory_DB_dest.free(rs_dest, pstmt_dest, conn_db_dest);  
  73.             ConnectionFactory_DB_src.free(rs_src, pstmt_src, conn_db_src);  
  74.             log.info("数据库连接已经关闭...");  
  75.         }  
  76.   
  77.     }  
  78. }  

这里一次性查出了源数据库中所有字段，因为源数据库表中的数据最多不会超过10000条，我在做测试的时候，在本机上发现一次查询10W条也不会出现结果集溢出情况，所以这里就忽略这个问题了。  

然后需要这么个配置文件quartz_jobs.xml，内容如下  
Java代码    收藏代码
  1. <?xml version="1.0" encoding="UTF-8"?>  
  2. <quartz>  
  3.     <job>  
  4.         <job-detail>  
  5.             <name>PortalInfoJob</name>  
  6.             <group>PortalInfo</group>  
  7.             <job-class>com.bj58.portalcrm.web.job.PortalInfoJob</job-class>  
  8.         </job-detail>  
  9.         <trigger>  
  10.             <cron>  
  11.                 <name>PORTALINFO</name>  
  12.                 <job-name>PortalInfoJob</job-name>  
  13.                 <job-group>PortalInfo</job-group>  
  14.                 <cron-expression>0 0 1 * * ?</cron-expression>  
  15.             </cron>  
  16.         </trigger>  
  17.     </job>  
  18. </quartz>  


ok，最后就是web.xml文件配置一下，Quartz提供了个初始化的Servlet，呵呵，内容如下  
Java代码    收藏代码
  1. <?xml version="1.0" encoding="UTF-8"?>  
  2. <web-app version="2.4"   
  3.     xmlns="http://java.sun.com/xml/ns/j2ee"   
  4.     xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"   
  5.     xsi:schemaLocation="http://java.sun.com/xml/ns/j2ee   
  6.     http://java.sun.com/xml/ns/j2ee/web-app_2_4.xsd">  
  7.       
  8.     <welcome-file-list>  
  9.         <welcome-file>index.jsp</welcome-file>  
  10.     </welcome-file-list>  
  11.     
  12.     <!-- Quartz配置计划 -->  
  13.     <servlet>     
  14.          <servlet-name>QuartzInitializer</servlet-name>     
  15.          <servlet-class>org.quartz.ee.servlet.QuartzInitializerServlet</servlet-class>     
  16.          <load-on-startup>1</load-on-startup>     
  17.          <init-param>     
  18.              <param-name>config-file</param-name>     
  19.              <param-value>/quartz.properties</param-value>     
  20.          </init-param>     
  21.          <init-param>     
  22.              <param-name>shutdown-on-unload</param-name>     
  23.              <param-value>true</param-value>     
  24.          </init-param>     
  25.     </servlet>  
  26. </web-app>  

这样就搞定了，
文章标签：
数据库
Java
数据格式
调度
XML
数据挖掘
存储
数据库连接
开发框架
关键词：
定时数据库
定时任务定时数据库
定时查询数据库
涂作权
目录
相关文章
拓端数据部落
|
9天前
|
数据库
R语言关联规则Apriori对抗肿瘤中药数据库知识发现研究（下）
R语言关联规则Apriori对抗肿瘤中药数据库知识发现研究（下）
拓端数据部落
17 0
Geek极安云科
|
2天前
|
SQL 数据库
SQL数据库基础语法-查询语句
SQL数据库基础语法-查询语句
Geek极安云科
22 7
阿里云瑶池数据库SelectDB
|
2天前
|
存储 监控 Apache
查询提速11倍、资源节省70%，阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践
网易的灵犀办公和云信利用 Apache Doris 改进了大规模日志和时序数据处理，取代了 Elasticsearch 和 InfluxDB。Doris 实现了更低的服务器资源消耗和更高的查询性能，相比 Elasticsearch，查询速度提升至少 11 倍，存储资源节省达 70%。Doris 的列式存储、高压缩比和倒排索引等功能，优化了日志和时序数据的存储与分析，降低了存储成本并提高了查询效率。在灵犀办公和云信的实际应用中，Doris 显示出显著的性能优势，成功应对了数据增长带来的挑战。
阿里云瑶池数据库SelectDB
274 1
查询提速11倍、资源节省70%，阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践
你的小笔记本YY
|
7天前
|
SQL 关系型数据库 MySQL
【MySQL-5】DDL的数据库操作：查询＆创建＆删除＆使用（可cv代码+演示图）
【MySQL-5】DDL的数据库操作：查询＆创建＆删除＆使用（可cv代码+演示图）
你的小笔记本YY
47 1
1941623231718325
|
8天前
|
存储 SQL 缓存
构建高效的矢量数据库查询：查询语言与优化策略
【4月更文挑战第30天】本文探讨了构建高效矢量数据库查询的关键点，包括设计简洁、表达性强的查询语言，支持空间操作、函数及索引。查询优化策略涉及查询重写、索引优化、并行处理和缓存机制，以提升查询效率和准确性。这些方法对处理高维空间数据的应用至关重要，随着技术进步，矢量数据库查询系统将在更多领域得到应用。
1941623231718325
9 1
sunrr
|
8天前
|
SQL 缓存 监控
如何在数据库查询中使用参数化查询？
【4月更文挑战第30天】如何在数据库查询中使用参数化查询？
sunrr
20 1
讓丄帝愛伱
|
8天前
|
存储 SQL 关系型数据库
mysql查询数据库表大小怎么操作
mysql查询数据库表大小怎么操作
讓丄帝愛伱
64 0
魏慧
|
9天前
|
缓存 关系型数据库 MySQL
研优化数据库查询性能
研优化数据库查询性能
魏慧
23 0
拓端数据部落
|
9天前
|
算法 数据可视化 数据库
R语言关联规则Apriori对抗肿瘤中药数据库知识发现研究（上）
R语言关联规则Apriori对抗肿瘤中药数据库知识发现研究
拓端数据部落
11 0
三分钟热度的鱼
|
9天前
|
安全 数据管理 数据库
数据管理DMS产品使用合集之要将某个DMS实例中的特定数据库授权给某个用户进行查询，操作步骤是怎样的
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能，助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
三分钟热度的鱼
20 1

热门文章

最新文章

  • 1
    一文搞懂数据库中的“锁”（图文详解）
  • 2
    Perl 教程 之 Perl 数据库连接 1
  • 3
    Python与NoSQL数据库（MongoDB、Redis等）面试问答
  • 4
    阿里云数据库服务器价格表，数据库创建、连接和使用教程
  • 5
    轻松入门MySQL：深入探究MySQL的ER模型，数据库设计的利器与挑战（22）
  • 6
    【SQL server】玩转SQL server数据库：第三章 关系数据库标准语言SQL（二）数据查询
  • 7
    数据之势丨AI时代，云原生数据库的最新发展趋势与进展
  • 8
    【Oracle】玩转Oracle数据库（一）：装上去，飞起来！
  • 9
    数据库管理与电脑监控软件：SQL代码优化与实践
  • 10
    【SQL server】玩转SQL server数据库：第二章 关系数据库
  • 1
    阿里云数据库使用方法，从购买、创建数据库账号密码到连接数据库全流程
    384
  • 2
    【mysql】—— 数据库的操作
    54
  • 3
    悦数图数据库推出 AI 知识图谱构建器及图语言生成助手
    49
  • 4
    Windows公网远程连接MongoDB数据库【无公网IP】
    56
  • 5
    嵌入式数据库sqlite3【基础篇】基本命令操作，小白一看就懂（C/C++）
    594
  • 6
    Java代码高效连接数据库
    23
  • 7
    如何处理爬取到的数据，例如存储到数据库或文件中？
    38
  • 8
    Python中使用pymysql和pymssql进行数据库操作的完整指南
    280
  • 9
    SpringBoot整合Mybatis连接Oracle数据库
    72
  • 10
    一款好用的数据库表结构文档生成工具
    57

    • 相关课程

    更多
  • 数据库的前世今生
  • 数据库核心概念
  • 从传统数据库到云数据库演进
  • 数据库常见问题排查
  • 数据库及SQL/MySQL基础
  • 高校精品课-西安交通大学 -数据库理论与技术

    • 相关电子书

    更多
  • 2022 DTCC-阿里云一站式数据库上云最佳实践
  • 云时代的数据库技术趋势
  • 超大型金融机构国产数据库全面迁移成功实践

    • 相关实验场景

    更多
  • PolarDB for AI：在数据库中通过SQL实现AI能力
  • 云原生HTAP数据库，让你的交易和分析一库搞定
  • Excel文件转存到RDS数据库
  • 快速体验PolarDB开源数据库
  • 手把手教你把IoT传感器数据存储到数据库
  • WorkBench操作云上数据库
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）