摘要:第二步執(zhí)行任務(wù)并合并結(jié)果。使用兩個(gè)類來(lái)完成以上兩件事情我們要使用框架,必須首先創(chuàng)建一個(gè)任務(wù)。用于有返回結(jié)果的任務(wù)。如果任務(wù)順利執(zhí)行完成了,則設(shè)置任務(wù)狀態(tài)為,如果出現(xiàn)異常,則紀(jì)錄異常,并將任務(wù)狀態(tài)設(shè)置為。
1. 什么是Fork/Join框架
Fork/Join框架是Java7提供了的一個(gè)用于并行執(zhí)行任務(wù)的框架, 是一個(gè)把大任務(wù)分割成若干個(gè)小任務(wù),最終匯總每個(gè)小任務(wù)結(jié)果后得到大任務(wù)結(jié)果的框架。
我們?cè)偻ㄟ^(guò)Fork和Join這兩個(gè)單詞來(lái)理解下Fork/Join框架,F(xiàn)ork就是把一個(gè)大任務(wù)切分為若干子任務(wù)并行的執(zhí)行,Join就是合并這些子任務(wù)的執(zhí)行結(jié)果,最后得到這個(gè)大任務(wù)的結(jié)果。比如計(jì)算1+2+ ...+10000,可以分割成10個(gè)子任務(wù),每個(gè)子任務(wù)分別對(duì)1000個(gè)數(shù)進(jìn)行求和,最終匯總這10個(gè)子任務(wù)的結(jié)果。Fork/Join的運(yùn)行流程圖如下:
2. 工作竊取算法工作竊?。╳ork-stealing)算法是指某個(gè)線程從其他隊(duì)列里竊取任務(wù)來(lái)執(zhí)行。工作竊取的運(yùn)行流程圖如下:
那么為什么需要使用工作竊取算法呢?假如我們需要做一個(gè)比較大的任務(wù),我們可以把這個(gè)任務(wù)分割為若干互不依賴的子任務(wù),為了減少線程間的競(jìng)爭(zhēng),于是把這些子任務(wù)分別放到不同的隊(duì)列里,并為每個(gè)隊(duì)列創(chuàng)建一個(gè)多帶帶的線程來(lái)執(zhí)行隊(duì)列里的任務(wù),線程和隊(duì)列一一對(duì)應(yīng),比如A線程負(fù)責(zé)處理A隊(duì)列里的任務(wù)。但是有的線程會(huì)先把自己隊(duì)列里的任務(wù)干完,而其他線程對(duì)應(yīng)的隊(duì)列里還有任務(wù)等待處理。干完活的線程與其等著,不如去幫其他線程干活,于是它就去其他線程的隊(duì)列里竊取一個(gè)任務(wù)來(lái)執(zhí)行。而在這時(shí)它們會(huì)訪問(wèn)同一個(gè)隊(duì)列,所以為了減少竊取任務(wù)線程和被竊取任務(wù)線程之間的競(jìng)爭(zhēng),通常會(huì)使用雙端隊(duì)列,被竊取任務(wù)線程永遠(yuǎn)從雙端隊(duì)列的頭部拿任務(wù)執(zhí)行,而竊取任務(wù)的線程永遠(yuǎn)從雙端隊(duì)列的尾部拿任務(wù)執(zhí)行。
工作竊取算法的優(yōu)點(diǎn)是充分利用線程進(jìn)行并行計(jì)算,并減少了線程間的競(jìng)爭(zhēng),其缺點(diǎn)是在某些情況下還是存在競(jìng)爭(zhēng),比如雙端隊(duì)列里只有一個(gè)任務(wù)時(shí)。并且消耗了更多的系統(tǒng)資源,比如創(chuàng)建多個(gè)線程和多個(gè)雙端隊(duì)列。
3. Fork/Join框架的介紹我們已經(jīng)很清楚Fork/Join框架的需求了,那么我們可以思考一下,如果讓我們來(lái)設(shè)計(jì)一個(gè)Fork/Join框架,該如何設(shè)計(jì)?這個(gè)思考有助于你理解Fork/Join框架的設(shè)計(jì)。
第一步分割任務(wù)。首先我們需要有一個(gè)fork類來(lái)把大任務(wù)分割成子任務(wù),有可能子任務(wù)還是很大,所以還需要不停的分割,直到分割出的子任務(wù)足夠小。
第二步執(zhí)行任務(wù)并合并結(jié)果。分割的子任務(wù)分別放在雙端隊(duì)列里,然后幾個(gè)啟動(dòng)線程分別從雙端隊(duì)列里獲取任務(wù)執(zhí)行。子任務(wù)執(zhí)行完的結(jié)果都統(tǒng)一放在一個(gè)隊(duì)列里,啟動(dòng)一個(gè)線程從隊(duì)列里拿數(shù)據(jù),然后合并這些數(shù)據(jù)。
Fork/Join使用兩個(gè)類來(lái)完成以上兩件事情:
ForkJoinTask:我們要使用ForkJoin框架,必須首先創(chuàng)建一個(gè)ForkJoin任務(wù)。它提供在任務(wù)中執(zhí)行fork()和join()操作的機(jī)制,通常情況下我們不需要直接繼承ForkJoinTask類,而只需要繼承它的子類,F(xiàn)ork/Join框架提供了以下兩個(gè)子類:
RecursiveAction:用于沒(méi)有返回結(jié)果的任務(wù)。
RecursiveTask :用于有返回結(jié)果的任務(wù)。
ForkJoinPool: ForkJoinTask需要通過(guò)ForkJoinPool來(lái)執(zhí)行,任務(wù)分割出的子任務(wù)會(huì)添加到當(dāng)前工作線程所維護(hù)的雙端隊(duì)列中,進(jìn)入隊(duì)列的頭部。當(dāng)一個(gè)工作線程的隊(duì)列里暫時(shí)沒(méi)有任務(wù)時(shí),它會(huì)隨機(jī)從其他工作線程的隊(duì)列的尾部獲取一個(gè)任務(wù)。
4. 使用Fork/Join框架讓我們通過(guò)一個(gè)簡(jiǎn)單的需求來(lái)使用下Fork/Join框架,需求是:計(jì)算1+2+3+4的結(jié)果。
使用Fork/Join框架首先要考慮到的是如何分割任務(wù),如果我們希望每個(gè)子任務(wù)最多執(zhí)行兩個(gè)數(shù)的相加,那么我們?cè)O(shè)置分割的閾值是2,由于是4個(gè)數(shù)字相加,所以Fork/Join框架會(huì)把這個(gè)任務(wù)fork成兩個(gè)子任務(wù),子任務(wù)一負(fù)責(zé)計(jì)算1+2,子任務(wù)二負(fù)責(zé)計(jì)算3+4,然后再join兩個(gè)子任務(wù)的結(jié)果。
因?yàn)槭怯薪Y(jié)果的任務(wù),所以必須繼承RecursiveTask,實(shí)現(xiàn)代碼如下:
packagefj; importjava.util.concurrent.ExecutionException; importjava.util.concurrent.ForkJoinPool; importjava.util.concurrent.Future; importjava.util.concurrent.RecursiveTask; publicclassCountTaskextendsRecursiveTask { privatestaticfinalintTHRESHOLD= 2;//閾值 privateintstart; privateintend; publicCountTask(intstart,intend) { this.start= start; this.end= end; } @Override protectedInteger compute() { intsum = 0; //如果任務(wù)足夠小就計(jì)算任務(wù) booleancanCompute = (end-start) <=THRESHOLD; if(canCompute) { for(inti =start; i <=end; i++) { sum += i; } }else{ //如果任務(wù)大于閥值,就分裂成兩個(gè)子任務(wù)計(jì)算 intmiddle = (start+end) / 2; CountTask leftTask =newCountTask(start, middle); CountTask rightTask =newCountTask(middle + 1,end); //執(zhí)行子任務(wù) leftTask.fork(); rightTask.fork(); //等待子任務(wù)執(zhí)行完,并得到其結(jié)果 intleftResult=leftTask.join(); intrightResult=rightTask.join(); //合并子任務(wù) sum = leftResult + rightResult; } returnsum; } publicstaticvoidmain(String[] args) { ForkJoinPool forkJoinPool =newForkJoinPool(); //生成一個(gè)計(jì)算任務(wù),負(fù)責(zé)計(jì)算1+2+3+4 CountTask task =newCountTask(1, 4); //執(zhí)行一個(gè)任務(wù) Future result = forkJoinPool.submit(task); try{ System.out.println(result.get()); }catch(InterruptedException e) { }catch(ExecutionException e) { } } }
通過(guò)這個(gè)例子讓我們?cè)賮?lái)進(jìn)一步了解ForkJoinTask,F(xiàn)orkJoinTask與一般的任務(wù)的主要區(qū)別在于它需要實(shí)現(xiàn)compute方法,在這個(gè)方法里,首先需要判斷任務(wù)是否足夠小,如果足夠小就直接執(zhí)行任務(wù)。如果不足夠小,就必須分割成兩個(gè)子任務(wù),每個(gè)子任務(wù)在調(diào)用fork方法時(shí),又會(huì)進(jìn)入compute方法,看看當(dāng)前子任務(wù)是否需要繼續(xù)分割成孫任務(wù),如果不需要繼續(xù)分割,則執(zhí)行當(dāng)前子任務(wù)并返回結(jié)果。使用join方法會(huì)等待子任務(wù)執(zhí)行完并得到其結(jié)果。
5. Fork/Join框架的異常處理ForkJoinTask在執(zhí)行的時(shí)候可能會(huì)拋出異常,但是我們沒(méi)辦法在主線程里直接捕獲異常,所以ForkJoinTask提供了isCompletedAbnormally()方法來(lái)檢查任務(wù)是否已經(jīng)拋出異?;蛞呀?jīng)被取消了,并且可以通過(guò)ForkJoinTask的getException方法獲取異常。使用如下代碼:
if(task.isCompletedAbnormally()) { System.out.println(task.getException()); }
getException方法返回Throwable對(duì)象,如果任務(wù)被取消了則返回CancellationException。如果任務(wù)沒(méi)有完成或者沒(méi)有拋出異常則返回null。
6. Fork/Join框架的實(shí)現(xiàn)原理ForkJoinPool由ForkJoinTask數(shù)組和ForkJoinWorkerThread數(shù)組組成,F(xiàn)orkJoinTask數(shù)組負(fù)責(zé)存放程序提交給ForkJoinPool的任務(wù),而ForkJoinWorkerThread數(shù)組負(fù)責(zé)執(zhí)行這些任務(wù)。
ForkJoinTask的fork方法實(shí)現(xiàn)原理。當(dāng)我們調(diào)用ForkJoinTask的fork方法時(shí),程序會(huì)調(diào)用ForkJoinWorkerThread的pushTask方法異步的執(zhí)行這個(gè)任務(wù),然后立即返回結(jié)果。代碼如下:
public final ForkJoinTask fork() { ((ForkJoinWorkerThread) Thread.currentThread()) .pushTask(this); return this; }
pushTask方法把當(dāng)前任務(wù)存放在ForkJoinTask
數(shù)組queue里。然后再調(diào)用ForkJoinPool的signalWork()方法喚醒或創(chuàng)建一個(gè)工作線程來(lái)執(zhí)行任務(wù)。代碼如下:
final void pushTask(ForkJoinTask t) { ForkJoinTask[] q; int s, m; if ((q = queue) != null) { // ignore if queue removed long u = (((s = queueTop) & (m = q.length - 1)) << ASHIFT) + ABASE; UNSAFE.putOrderedObject(q, u, t); queueTop = s + 1; // or use putOrderedInt if ((s -= queueBase) <= 2) pool.signalWork(); else if (s == m) growQueue(); } }
ForkJoinTask的join方法實(shí)現(xiàn)原理。Join方法的主要作用是阻塞當(dāng)前線程并等待獲取結(jié)果。讓我們一起看看ForkJoinTask的join方法的實(shí)現(xiàn),代碼如下:
public final V join() { if (doJoin() != NORMAL) return reportResult(); else return getRawResult(); } private V reportResult() { int s; Throwable ex; if ((s = status) == CANCELLED) throw new CancellationException(); if (s == EXCEPTIONAL && (ex = getThrowableException()) != null) UNSAFE.throwException(ex); return getRawResult(); }
首先,它調(diào)用了doJoin()方法,通過(guò)doJoin()方法得到當(dāng)前任務(wù)的狀態(tài)來(lái)判斷返回什么結(jié)果,任務(wù)狀態(tài)有四種:已完成(NORMAL),被取消(CANCELLED),信號(hào)(SIGNAL)和出現(xiàn)異常(EXCEPTIONAL)。
如果任務(wù)狀態(tài)是已完成,則直接返回任務(wù)結(jié)果。
如果任務(wù)狀態(tài)是被取消,則直接拋出CancellationException。
如果任務(wù)狀態(tài)是拋出異常,則直接拋出對(duì)應(yīng)的異常。
讓我們?cè)賮?lái)分析下doJoin()方法的實(shí)現(xiàn)代碼:
private int doJoin() { Thread t; ForkJoinWorkerThread w; int s; boolean completed; if ((t = Thread.currentThread()) instanceof ForkJoinWorkerThread) { if ((s = status) < 0) return s; if ((w = (ForkJoinWorkerThread)t).unpushTask(this)) { try { completed = exec(); } catch (Throwable rex) { return setExceptionalCompletion(rex); } if (completed) return setCompletion(NORMAL); } return w.joinTask(this); } else return externalAwaitDone(); }
在doJoin()方法里,首先通過(guò)查看任務(wù)的狀態(tài),看任務(wù)是否已經(jīng)執(zhí)行完了,如果執(zhí)行完了,則直接返回任務(wù)狀態(tài),如果沒(méi)有執(zhí)行完,則從任務(wù)數(shù)組里取出任務(wù)并執(zhí)行。如果任務(wù)順利執(zhí)行完成了,則設(shè)置任務(wù)狀態(tài)為NORMAL,如果出現(xiàn)異常,則紀(jì)錄異常,并將任務(wù)狀態(tài)設(shè)置為EXCEPTIONAL。
via ifeve
文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址:http://www.ezyhdfw.cn/yun/64039.html
摘要:框架框架簡(jiǎn)介框架是提供的一個(gè)用于并行執(zhí)行任務(wù)的框架,是一個(gè)把大任務(wù)分割成若干個(gè)小任務(wù),最終匯總每個(gè)小任務(wù)結(jié)果得到大任務(wù)結(jié)果的框架。框架實(shí)例需求計(jì)算的結(jié)果。 Fork/Join框架 1. Fork/Join框架簡(jiǎn)介 Fork/Join框架是java7提供的一個(gè)用于并行執(zhí)行任務(wù)的框架,是一個(gè)把大任務(wù)分割成若干個(gè)小任務(wù),最終匯總每個(gè)小任務(wù)結(jié)果得到大任務(wù)結(jié)果的框架。Fork指的就是把一個(gè)大任務(wù)...
摘要:概述簡(jiǎn)介并行流就是把一個(gè)內(nèi)容分成多個(gè)數(shù)據(jù)塊,并用不同的線程分別處理每個(gè)數(shù)據(jù)塊的流中將并行進(jìn)行了優(yōu)化,我們可以很容易的對(duì)數(shù)據(jù)進(jìn)行并行操作,可以聲明性地通過(guò)與在并行流與順序流之間進(jìn)行切換。 1. 概述 1.1 簡(jiǎn)介 并行流就是把一個(gè)內(nèi)容分成多個(gè)數(shù)據(jù)塊,并用不同的線程分別處理每個(gè)數(shù)據(jù)塊的流 Java 8 中將并行進(jìn)行了優(yōu)化,我們可以很容易的對(duì)數(shù)據(jù)進(jìn)行并行操作,Stream API 可以聲明性...
摘要:分區(qū)函數(shù)返回一個(gè)布爾值,這意味著得到的分組的鍵類型是,于是它最多可以分為兩組是一組,是一組。當(dāng)遍歷到流中第個(gè)元素時(shí),這個(gè)函數(shù)執(zhí)行時(shí)會(huì)有兩個(gè)參數(shù)保存歸約結(jié)果的累加器已收集了流中的前個(gè)項(xiàng)目,還有第個(gè)元素本身。 一、收集器簡(jiǎn)介 把列表中的交易按貨幣分組: Map transactionsByCurrencies = transactions.stream().collect(groupi...
摘要:整個(gè)包,按照功能可以大致劃分如下鎖框架原子類框架同步器框架集合框架執(zhí)行器框架本系列將按上述順序分析,分析所基于的源碼為。后,根據(jù)一系列常見(jiàn)的多線程設(shè)計(jì)模式,設(shè)計(jì)了并發(fā)包,其中包下提供了一系列基礎(chǔ)的鎖工具,用以對(duì)等進(jìn)行補(bǔ)充增強(qiáng)。 showImg(https://segmentfault.com/img/remote/1460000016012623); 本文首發(fā)于一世流云專欄:https...
摘要:對(duì)于任務(wù)的分割,要求各個(gè)子任務(wù)之間相互獨(dú)立,能夠并行獨(dú)立地執(zhí)行任務(wù),互相之間不影響。是叉子分叉的意思,即將大任務(wù)分解成并行的小任務(wù),是連接結(jié)合的意思,即將所有并行的小任務(wù)的執(zhí)行結(jié)果匯總起來(lái)。使用方法會(huì)阻塞并等待子任務(wù)執(zhí)行完并得到其結(jié)果。 Fork/Join是什么? Fork/Join框架是Java7提供的并行執(zhí)行任務(wù)框架,思想是將大任務(wù)分解成小任務(wù),然后小任務(wù)又可以繼續(xù)分解,然后每個(gè)小...
閱讀 3413·2021-11-19 11:36
閱讀 2999·2021-09-27 13:34
閱讀 2058·2021-09-22 15:17
閱讀 2463·2019-08-30 13:49
閱讀 814·2019-08-26 13:58
閱讀 1418·2019-08-26 10:47
閱讀 2591·2019-08-23 18:05
閱讀 672·2019-08-23 14:25