摘要：自研調(diào)度組件，移除依賴(lài)一方面是為了精簡(jiǎn)系統(tǒng)降低冗余依賴(lài)，另一方面是為了提供系統(tǒng)的可控度與穩(wěn)定性觸發(fā)單節(jié)點(diǎn)周期性觸發(fā)，運(yùn)行事件如調(diào)度集群競(jìng)爭(zhēng)，負(fù)載方式協(xié)同處理，鎖競(jìng)爭(zhēng)更新觸發(fā)信息推送時(shí)間輪鎖釋放鎖競(jìng)爭(zhēng)底層表結(jié)構(gòu)重構(gòu)移除張相關(guān)表，并對(duì)現(xiàn)

1、自研調(diào)度組件，移除quartz依賴(lài)：一方面是為了精簡(jiǎn)系統(tǒng)降低冗余依賴(lài)，另一方面是為了提供系統(tǒng)的可控度與穩(wěn)定性；

觸發(fā)：?jiǎn)喂?jié)點(diǎn)周期性觸發(fā)，運(yùn)行事件如delayqueue；

調(diào)度：集群競(jìng)爭(zhēng)，負(fù)載方式協(xié)同處理，鎖競(jìng)爭(zhēng)-更新觸發(fā)信息-推送時(shí)間輪-鎖釋放-鎖競(jìng)爭(zhēng)；

2、底層表結(jié)構(gòu)重構(gòu)：移除11張quartz相關(guān)表，并對(duì)現(xiàn)有表結(jié)構(gòu)優(yōu)化梳理；

3、任務(wù)日志主鍵調(diào)整為long數(shù)據(jù)類(lèi)型，防止海量日志情況下數(shù)據(jù)溢出；

4、底層線(xiàn)程模型重構(gòu)：移除Quartz線(xiàn)程池，降低系統(tǒng)線(xiàn)程與內(nèi)存開(kāi)銷(xiāo)；

5、用戶(hù)管理：支持在線(xiàn)管理系統(tǒng)用戶(hù)，存在管理員、普通用戶(hù)兩種角色；

6、權(quán)限管理：執(zhí)行器維度進(jìn)行權(quán)限控制，管理員擁有全量權(quán)限，普通用戶(hù)需要分配執(zhí)行器權(quán)限后才允許相關(guān)操作；

7、調(diào)度線(xiàn)程池參數(shù)調(diào)優(yōu)；

8、注冊(cè)表索引優(yōu)化，緩解鎖表問(wèn)題；

9、新增Jboot執(zhí)行器Sample示例項(xiàng)目；

10、任務(wù)列表優(yōu)化，支持根據(jù) "任務(wù)狀態(tài)"、"負(fù)責(zé)人" 屬性篩選任務(wù)；

11、任務(wù)日志列表交互優(yōu)化，操作按鈕合并為分割按鈕；

12、項(xiàng)目依賴(lài)升級(jí)至較新穩(wěn)定版本，如spring、springboot、groovy、xxl-rpc等等；并清理冗余POM；

13、升級(jí)xxl-rpc至較新版本，修復(fù)代理服務(wù)初始化時(shí)遠(yuǎn)程服務(wù)不可用導(dǎo)致長(zhǎng)連冗余創(chuàng)建的問(wèn)題;

14、首頁(yè)調(diào)度報(bào)表的日期排序在TIDB下亂序問(wèn)題修復(fù)；

15、調(diào)度中心與執(zhí)行器雙向通訊超時(shí)時(shí)間調(diào)整為3s；

16、調(diào)度組件銷(xiāo)毀流程優(yōu)化，先停止調(diào)度線(xiàn)程，然后等待時(shí)間輪內(nèi)存量任務(wù)處理完成，最終銷(xiāo)毀時(shí)間輪線(xiàn)程；

17、執(zhí)行器回調(diào)線(xiàn)程優(yōu)化，回調(diào)地址為空時(shí)銷(xiāo)毀問(wèn)題修復(fù)；

18、HttpJobHandler優(yōu)化，響應(yīng)數(shù)據(jù)指定UTF-8格式，避免中文亂碼；

19、代碼優(yōu)化，ConcurrentHashMap變量類(lèi)型改為ConcurrentMap，避免因不同版本實(shí)現(xiàn)不同導(dǎo)致的兼容性問(wèn)題；

XXL-JOB是一個(gè)輕量級(jí)分布式任務(wù)調(diào)度平臺(tái)，其核心設(shè)計(jì)目標(biāo)是開(kāi)發(fā)迅速、學(xué)習(xí)簡(jiǎn)單、輕量級(jí)、易擴(kuò)展?，F(xiàn)已開(kāi)放源代碼并接入多家公司線(xiàn)上產(chǎn)品線(xiàn)，開(kāi)箱即用。

1、簡(jiǎn)單：支持通過(guò)Web頁(yè)面對(duì)任務(wù)進(jìn)行CRUD操作，操作簡(jiǎn)單，一分鐘上手；

2、動(dòng)態(tài)：支持動(dòng)態(tài)修改任務(wù)狀態(tài)、啟動(dòng)/停止任務(wù)，以及終止運(yùn)行中任務(wù)，即時(shí)生效；

3、調(diào)度中心HA（中心式）：調(diào)度采用中心式設(shè)計(jì)，“調(diào)度中心”自研調(diào)度組件并支持集群部署，可保證調(diào)度中心HA；

4、執(zhí)行器HA（分布式）：任務(wù)分布式執(zhí)行，任務(wù)"執(zhí)行器"支持集群部署，可保證任務(wù)執(zhí)行HA；

5、注冊(cè)中心: 執(zhí)行器會(huì)周期性自動(dòng)注冊(cè)任務(wù), 調(diào)度中心將會(huì)自動(dòng)發(fā)現(xiàn)注冊(cè)的任務(wù)并觸發(fā)執(zhí)行。同時(shí)，也支持手動(dòng)錄入執(zhí)行器地址；

6、彈性擴(kuò)容縮容：一旦有新執(zhí)行器機(jī)器上線(xiàn)或者下線(xiàn)，下次調(diào)度時(shí)將會(huì)重新分配任務(wù)；

7、路由策略：執(zhí)行器集群部署時(shí)提供豐富的路由策略，包括：第一個(gè)、最后一個(gè)、輪詢(xún)、隨機(jī)、一致性HASH、最不經(jīng)常使用、最近最久未使用、故障轉(zhuǎn)移、忙碌轉(zhuǎn)移等；

8、故障轉(zhuǎn)移：任務(wù)路由策略選擇"故障轉(zhuǎn)移"情況下，如果執(zhí)行器集群中某一臺(tái)機(jī)器故障，將會(huì)自動(dòng)Failover切換到一臺(tái)正常的執(zhí)行器發(fā)送調(diào)度請(qǐng)求。

9、阻塞處理策略：調(diào)度過(guò)于密集執(zhí)行器來(lái)不及處理時(shí)的處理策略，策略包括：?jiǎn)螜C(jī)串行（默認(rèn)）、丟棄后續(xù)調(diào)度、覆蓋之前調(diào)度；

10、任務(wù)超時(shí)控制：支持自定義任務(wù)超時(shí)時(shí)間，任務(wù)運(yùn)行超時(shí)將會(huì)主動(dòng)中斷任務(wù)；

11、任務(wù)失敗重試：支持自定義任務(wù)失敗重試次數(shù)，當(dāng)任務(wù)失敗時(shí)將會(huì)按照預(yù)設(shè)的失敗重試次數(shù)主動(dòng)進(jìn)行重試；其中分片任務(wù)支持分片粒度的失敗重試；

12、任務(wù)失敗告警；默認(rèn)提供郵件方式失敗告警，同時(shí)預(yù)留擴(kuò)展接口，可方便的擴(kuò)展短信、釘釘?shù)雀婢绞剑?/p>

13、分片廣播任務(wù)：執(zhí)行器集群部署時(shí)，任務(wù)路由策略選擇"分片廣播"情況下，一次任務(wù)調(diào)度將會(huì)廣播觸發(fā)集群中所有執(zhí)行器執(zhí)行一次任務(wù)，可根據(jù)分片參數(shù)開(kāi)發(fā)分片任務(wù)；

14、動(dòng)態(tài)分片：分片廣播任務(wù)以執(zhí)行器為維度進(jìn)行分片，支持動(dòng)態(tài)擴(kuò)容執(zhí)行器集群從而動(dòng)態(tài)增加分片數(shù)量，協(xié)同進(jìn)行業(yè)務(wù)處理；在進(jìn)行大數(shù)據(jù)量業(yè)務(wù)操作時(shí)可顯著提升任務(wù)處理能力和速度。

15、事件觸發(fā)：除了"Cron方式"和"任務(wù)依賴(lài)方式"觸發(fā)任務(wù)執(zhí)行之外，支持基于事件的觸發(fā)任務(wù)方式。調(diào)度中心提供觸發(fā)任務(wù)單次執(zhí)行的API服務(wù)，可根據(jù)業(yè)務(wù)事件靈活觸發(fā)。

16、任務(wù)進(jìn)度監(jiān)控：支持實(shí)時(shí)監(jiān)控任務(wù)進(jìn)度；

17、Rolling實(shí)時(shí)日志：支持在線(xiàn)查看調(diào)度結(jié)果，并且支持以Rolling方式實(shí)時(shí)查看執(zhí)行器輸出的完整的執(zhí)行日志；

18、GLUE：提供Web IDE，支持在線(xiàn)開(kāi)發(fā)任務(wù)邏輯代碼，動(dòng)態(tài)發(fā)布，實(shí)時(shí)編譯生效，省略部署上線(xiàn)的過(guò)程。支持30個(gè)版本的歷史版本回溯。

19、腳本任務(wù)：支持以GLUE模式開(kāi)發(fā)和運(yùn)行腳本任務(wù)，包括Shell、Python、NodeJS、PHP、PowerShell等類(lèi)型腳本;

20、命令行任務(wù)：原生提供通用命令行任務(wù)Handler（Bean任務(wù)，"CommandJobHandler"）；業(yè)務(wù)方只需要提供命令行即可；

21、任務(wù)依賴(lài)：支持配置子任務(wù)依賴(lài)，當(dāng)父任務(wù)執(zhí)行結(jié)束且執(zhí)行成功后將會(huì)主動(dòng)觸發(fā)一次子任務(wù)的執(zhí)行, 多個(gè)子任務(wù)用逗號(hào)分隔；

22、一致性：“調(diào)度中心”通過(guò)DB鎖保證集群分布式調(diào)度的一致性, 一次任務(wù)調(diào)度只會(huì)觸發(fā)一次執(zhí)行；

23、自定義任務(wù)參數(shù)：支持在線(xiàn)配置調(diào)度任務(wù)入?yún)?，即時(shí)生效；

24、調(diào)度線(xiàn)程池：調(diào)度系統(tǒng)多線(xiàn)程觸發(fā)調(diào)度運(yùn)行，確保調(diào)度精確執(zhí)行，不被堵塞；

25、數(shù)據(jù)加密：調(diào)度中心和執(zhí)行器之間的通訊進(jìn)行數(shù)據(jù)加密，提升調(diào)度信息安全性；

26、郵件報(bào)警：任務(wù)失敗時(shí)支持郵件報(bào)警，支持配置多郵件地址群發(fā)報(bào)警郵件；

27、推送maven中央倉(cāng)庫(kù): 將會(huì)把最新穩(wěn)定版推送到maven中央倉(cāng)庫(kù), 方便用戶(hù)接入和使用;

28、運(yùn)行報(bào)表：支持實(shí)時(shí)查看運(yùn)行數(shù)據(jù)，如任務(wù)數(shù)量、調(diào)度次數(shù)、執(zhí)行器數(shù)量等；以及調(diào)度報(bào)表，如調(diào)度日期分布圖，調(diào)度成功分布圖等；

29、全異步：任務(wù)調(diào)度流程全異步化設(shè)計(jì)實(shí)現(xiàn)，如異步調(diào)度、異步運(yùn)行、異步回調(diào)等，有效對(duì)密集調(diào)度進(jìn)行流量削峰，理論上支持任意時(shí)長(zhǎng)任務(wù)的運(yùn)行；

30、跨平臺(tái)：原生提供通用HTTP任務(wù)Handler（Bean任務(wù)，"HttpJobHandler"）；業(yè)務(wù)方只需要提供HTTP鏈接即可，不限制語(yǔ)言、平臺(tái)；

31、國(guó)際化：調(diào)度中心支持國(guó)際化設(shè)置，提供中文、英文兩種可選語(yǔ)言，默認(rèn)為中文；

32、容器化：提供官方docker鏡像，并實(shí)時(shí)更新推送dockerhub，進(jìn)一步實(shí)現(xiàn)產(chǎn)品開(kāi)箱即用；

33、線(xiàn)程池隔離：調(diào)度線(xiàn)程池進(jìn)行隔離拆分，慢任務(wù)自動(dòng)降級(jí)進(jìn)入"Slow"線(xiàn)程池，避免耗盡調(diào)度線(xiàn)程，提高系統(tǒng)穩(wěn)定性；；

34、用戶(hù)管理：支持在線(xiàn)管理系統(tǒng)用戶(hù)，存在管理員、普通用戶(hù)兩種角色；

35、權(quán)限控制：執(zhí)行器維度進(jìn)行權(quán)限控制，管理員擁有全量權(quán)限，普通用戶(hù)需要分配執(zhí)行器權(quán)限后才允許相關(guān)操作；

中文文檔

社區(qū)交流