摘要：作者原文第一部分應(yīng)用混沌工程理論到區(qū)塊鏈框架。你可以抗議混沌環(huán)境在像與這種權(quán)限不足的公共區(qū)塊鏈網(wǎng)絡(luò)上是否存在。在之后這些被稱之為混沌工程?；煦缭瓌t開始進(jìn)入正式規(guī)范。名字是混沌工程通過實(shí)驗(yàn)建立對系統(tǒng)行為的信心。

作者 Vipin Bharathan
原文：https://medium.com/@vipinsun/...

第一部分. 應(yīng)用混沌工程理論到區(qū)塊鏈框架。

混沌與工程兩個(gè)字是沒有什么關(guān)系的。在這篇文章，我們會探索下為什么他們會組合在一起并且應(yīng)用在區(qū)塊鏈上。第二部分我們會看到混沌工程在Hyperledger Indy的實(shí)現(xiàn)。我們用一個(gè)工業(yè)界不常見的縮寫，混沌實(shí)驗(yàn)框架(chaos experimentation framework(CEF))。在這篇文章里為了使用方便，我們使用這種縮寫形式。

這是一個(gè)使用微服務(wù)組成巨型可伸縮分布式系統(tǒng)的時(shí)代。Netflix,Linked-In,Medium,Amazon,Microsoft Azure,Uber,AirBnb等。沒有一個(gè)人甚至整個(gè)架構(gòu)和程序員團(tuán)隊(duì)的腦子中可以容納這個(gè)分布式系統(tǒng)的復(fù)雜架構(gòu)。這種系統(tǒng)的靜態(tài)配置也包括在不同硬件或云端上運(yùn)行的多種服務(wù)，通過網(wǎng)絡(luò)的多種SLA和運(yùn)行在許多邊緣設(shè)備的用戶界面相連接。由于這種靜態(tài)的復(fù)雜性，這種系統(tǒng)的實(shí)時(shí)行為引入了在不可信網(wǎng)絡(luò)系統(tǒng)組件上來自用戶與進(jìn)程上獨(dú)立輸入的層次。

這些組件可能崩潰，降級，或行為異常。惡意用戶到處都是。同樣在這個(gè)時(shí)代，混沌工程上出現(xiàn)了，最初作為一種粗略測量此種系統(tǒng)的方法；通過實(shí)踐變成一種哲學(xué)，通過會議,工具和廣泛傳播得到接受。

你可以抗議混沌環(huán)境在像Bitcoin與Ethereum這種權(quán)限不足的公共區(qū)塊鏈網(wǎng)絡(luò)上是否存在。他們已經(jīng)不知不覺中被混沌卷入了。節(jié)點(diǎn)在網(wǎng)絡(luò)中加入或重加入，惡意攻擊者持續(xù)的探測系統(tǒng)，網(wǎng)絡(luò)中斷。混沌與混沌工程有一個(gè)不同?；煦绻こ?，繼承了混沌字面上的意思，其實(shí)是使用實(shí)驗(yàn)數(shù)據(jù)來發(fā)現(xiàn)系統(tǒng)弱點(diǎn)的一種工程手段。

開始我們使用混沌工程的一些基本原則設(shè)置場景，就像存在在分布式系統(tǒng)的應(yīng)用中一樣。有一個(gè)混沌工程的開源倉庫叫chaos tookit。chaos toolkit是開源的，其使用open API來生成混沌工程的交互步驟來描述實(shí)驗(yàn)。工具可以使用open API來擴(kuò)展而且在Kubernetes,AWS,Azure上已經(jīng)有驅(qū)動存在了。它也可以被用來在持續(xù)集成和構(gòu)建時(shí)自動化混沌工程。

我們調(diào)研了開源chaos toolkit并了解這些實(shí)驗(yàn)是如何在這個(gè)系列的第二篇文章Hyperledger Indy被適配的。希望這可以鼓舞人們可以更了解自己的DLT平臺并建立一個(gè)成熟的混沌實(shí)驗(yàn)套裝來加固他們自己的平臺。

從2008年，當(dāng)Netflix開始將他們的服務(wù)器從數(shù)據(jù)中心移到云端，他們的工程師實(shí)踐了一些在生產(chǎn)環(huán)境進(jìn)行類似彈性測試的活動。在之后這些被稱之為混沌工程。Chaos Monkey開始被使用，大家知道它是用來在生產(chǎn)環(huán)境將服務(wù)關(guān)掉的工具?；煦缭瓌t開始進(jìn)入正式規(guī)范。Netflix 混沌自動化平臺在微服務(wù)生產(chǎn)環(huán)境7*24小時(shí)運(yùn)行混沌實(shí)驗(yàn)。

這些紀(jì)律作為混沌工程的關(guān)注點(diǎn)，有些資料清單可以看看。O’Reilly出版了一本很棒的關(guān)于混沌工程的免費(fèi)書。由于O’Relly需要注冊一下才能得到下載鏈接。我們很感謝在很多企業(yè)里實(shí)踐混沌工程的作者。名字是“混沌工程：通過實(shí)驗(yàn)建立對系統(tǒng)行為的信心”。

要定位分布式系統(tǒng)中的弱點(diǎn)，混沌工程可以被視為通過創(chuàng)建和運(yùn)行實(shí)驗(yàn)來發(fā)現(xiàn)系統(tǒng)的弱點(diǎn)。發(fā)現(xiàn)的弱點(diǎn)可以被記錄為系統(tǒng)的約束。關(guān)于弱點(diǎn)的證據(jù)可以被檢查并被實(shí)驗(yàn)重復(fù)執(zhí)行。

第一步是對系統(tǒng)的穩(wěn)態(tài)進(jìn)行度量。系統(tǒng)可以被它的輸出內(nèi)容所理解。系統(tǒng)穩(wěn)態(tài)的度量需要一個(gè)穩(wěn)定和輕便的監(jiān)控系統(tǒng)。輕便意味著度量的動作不會顯著的對系統(tǒng)本身產(chǎn)生影響。發(fā)現(xiàn)穩(wěn)態(tài)需要對以下問題作出解答。

什么需要被度量？是像cpu使用率，內(nèi)存利用率這種系統(tǒng)變量還是想響應(yīng)時(shí)間這種業(yè)務(wù)變量，還是像其他應(yīng)用的特定度量單位？ 有些時(shí)候以上所有方面都需要。

穩(wěn)態(tài)有沒有對時(shí)間的依賴？資源利用率的模式在每天/每周/每月或每個(gè)季度或每年或更大的周期里不同的時(shí)間都會不同。穩(wěn)態(tài)確實(shí)是一個(gè)不穩(wěn)定的狀態(tài)。

以下方式可以作為在區(qū)塊鏈視角下的設(shè)計(jì)混沌工程實(shí)驗(yàn)框架(CEF)并運(yùn)行的指導(dǎo)原則。

已知的弱點(diǎn)不能作為實(shí)驗(yàn)的目標(biāo)。如果1/3的攻擊破壞共識(BFT)，關(guān)閉一個(gè)致命比例的共識成員會造成已知的后果，從這個(gè)實(shí)驗(yàn)無法獲得更好的洞察結(jié)果。而在重要閾值上維持一個(gè)較小的數(shù)值是可以作為實(shí)驗(yàn)的。

對于區(qū)塊鏈，混沌工程實(shí)驗(yàn)應(yīng)該關(guān)注在共識，網(wǎng)絡(luò)，存儲層和通過隨機(jī)實(shí)驗(yàn)組合交叉切斷身份,智能合約，中央，用戶交互等方面。

當(dāng)我們在第二篇文章里討論在Indy我們是怎樣進(jìn)行混沌實(shí)驗(yàn)時(shí)會提到這些。當(dāng)通過實(shí)驗(yàn)發(fā)現(xiàn)了下層框架的問題時(shí)，將由實(shí)驗(yàn)導(dǎo)致的問題的進(jìn)程,API或相關(guān)的系統(tǒng)隔離掉以便盡可能多的收集相關(guān)信息。這些數(shù)據(jù)可以幫助我們對系統(tǒng)進(jìn)行加固。

混沌工程與單元測試和集成測試不同。與做故障注入和失敗測試也不同。一個(gè)CEF會使用一些故障注入工具，失敗注入和失敗測試通常一次瞄準(zhǔn)的是同一種失敗。混沌工程瞄準(zhǔn)的是通過隨機(jī)組合的事件來發(fā)現(xiàn)系統(tǒng)的新知識；包括客戶流量激增這種良性或有益的場景。除了通常的測試工具和實(shí)踐外還應(yīng)該也實(shí)施混沌工程。

從開發(fā)和測試環(huán)境進(jìn)行實(shí)驗(yàn)，當(dāng)保證待修復(fù)的問題都解決后，開始逐漸向生產(chǎn)環(huán)境進(jìn)行。只有在生產(chǎn)環(huán)境才能真正觀察到混沌實(shí)驗(yàn)的非線性效應(yīng)。

從整個(gè)團(tuán)隊(duì)，特別是devops工程師與開發(fā)團(tuán)隊(duì)溝通獲得支持。需要強(qiáng)調(diào)混沌工程不是一種對抗，而且通過實(shí)驗(yàn)可以對整個(gè)系統(tǒng)進(jìn)行加固。從實(shí)驗(yàn)獲得的知識一樣可以讓開發(fā)上層活動(架構(gòu)，設(shè)計(jì)，工程實(shí)現(xiàn))受益。并且與企業(yè)的業(yè)務(wù)團(tuán)隊(duì)溝通也是必要的。

隨機(jī)化實(shí)驗(yàn)，包括時(shí)間和實(shí)驗(yàn)本身。注意在學(xué)習(xí)穩(wěn)態(tài)時(shí)收集的資源利用率與系統(tǒng)響應(yīng)的信息，同時(shí)也要注意期間需要關(guān)注的一些特殊情況。

自動化運(yùn)行實(shí)驗(yàn)，包括快速關(guān)閉實(shí)驗(yàn)的方式，尤其是當(dāng)你在生產(chǎn)環(huán)境做實(shí)驗(yàn)時(shí)。當(dāng)然這也包括在混沌框架與監(jiān)控系統(tǒng)間的自動化監(jiān)控和一些反饋形式。

最小化爆炸半徑。實(shí)驗(yàn)的結(jié)果不應(yīng)該對生產(chǎn)系統(tǒng)造成重大干擾。多個(gè)步驟的討論可以對這個(gè)問題有所幫助。

在高級實(shí)驗(yàn)中，可以將系統(tǒng)分成兩部分：一種是不會被實(shí)驗(yàn)影響的控制系統(tǒng)，一個(gè)是需要在做實(shí)驗(yàn)時(shí)看到度量效果的系統(tǒng)。這是混沌工程的高級實(shí)踐。

彈性:在Netflix，使用Chaos Monkey，只有獨(dú)立的進(jìn)程或VM會被關(guān)閉，這些可以保證讓Chaos Kong來關(guān)閉整個(gè)數(shù)據(jù)中心或區(qū)域(region)。通過這種方式我們可以看到整個(gè)區(qū)域(region)建的故障轉(zhuǎn)移情況。

Chaos成熟模型；講述了混沌工程里成熟度的多個(gè)級別。不同的維度：開發(fā)系統(tǒng)到生產(chǎn)；混沌工程的自動化級別； 。。 ；取決于團(tuán)隊(duì)走到了哪里，有一些關(guān)于成熟度模型的一些大概的名字。

區(qū)塊鏈架構(gòu)在federated或permissioned這種多個(gè)企業(yè)環(huán)境的區(qū)塊鏈場景比較有效。在公鏈上，環(huán)境不會被一種類型的實(shí)體所控制。具體到在多stakeholder，多企業(yè)環(huán)境的區(qū)塊鏈的創(chuàng)建，通信和執(zhí)行CEF。使用CEF的好處很清晰。如果在開發(fā)的起始階段執(zhí)行CEF，在開發(fā)，業(yè)務(wù)用戶和運(yùn)維同事那里不會遇到很大的挑戰(zhàn)，因?yàn)榇藭r(shí)對于平臺的穩(wěn)定期望很低。CEF應(yīng)該可以與其他的DLT(Distributed Ledger Technology )框架一起成長并成為生態(tài)系統(tǒng)的一部分。在permissioned setting的初始協(xié)議和管理方式討論中應(yīng)該將CEF實(shí)踐作為一項(xiàng)條件。

對于公鏈，像與其他參與者與開發(fā)者社區(qū)溝通得到支持是必要的；需要一條為CEF部署準(zhǔn)備的從完整測試環(huán)境到生產(chǎn)環(huán)境的路徑。這對于利益的stakeholder和governance視角的公鏈上來看并不容易，公鏈還在生成和開發(fā)。已存在的問題，像以太坊(Ethereum)的DAO事件或比特幣的scaling debate都暴露了系統(tǒng)的脆弱性，并產(chǎn)生了解決方案。一個(gè)基于混沌成熟度模型的完善的CEF可以更早的暴露這些風(fēng)險(xiǎn)并在早期尋求解決方案。核心和邊緣系統(tǒng)都有許多其他的弱點(diǎn)可以被完善設(shè)計(jì)的CEF來覆蓋。

企業(yè)區(qū)塊鏈需要有一套測試環(huán)境，讓CEF可以加速投入到生產(chǎn)。這對于大多數(shù)企業(yè)區(qū)塊鏈都是一樣。

對于特定架構(gòu)領(lǐng)域的知識可以用來指導(dǎo)CEF工程實(shí)踐。例如，在Hyperledger Fabric(譯注：即超級賬本)，endorsement policies指導(dǎo)了共識的形成，所以不斷移除endorser直到到了endorsement規(guī)則支持的最小endorser數(shù)量可以暴露特定實(shí)現(xiàn)的風(fēng)險(xiǎn)。在Corda，移除一定比例的網(wǎng)絡(luò)公證人，將使網(wǎng)絡(luò)的一部分產(chǎn)生延遲，影響Corda的防火墻。會發(fā)現(xiàn)特定部署的脆弱點(diǎn)。

通過觀察在大規(guī)模分布式系統(tǒng)中的混沌工程實(shí)踐展示了它的前景和力量。其在航空測試，醫(yī)院系統(tǒng)的生產(chǎn)系統(tǒng)這種敏感應(yīng)用的實(shí)踐展示了它的實(shí)用性。

設(shè)計(jì)區(qū)塊鏈框架的實(shí)驗(yàn)需要一系列的框架的特殊知識作為原則提供給CEF，并且需要工作在不同層面的團(tuán)隊(duì)來隨著平臺增長來一起增加在特定實(shí)現(xiàn)上的信心。

我們會在這個(gè)系列的下篇來將在Indy平臺的CEF實(shí)踐作為案例。這可以幫我們指導(dǎo)我們在特定的DLT框架內(nèi)進(jìn)行CEF的實(shí)現(xiàn)。

微信公眾號「麥芽面包」，id「darkjune_think」
開發(fā)者/科幻愛好者/硬核主機(jī)玩家/業(yè)余翻譯家/書蟲
交流Email: zhukunrong@yeah.net