摘要：近日，騰訊主導(dǎo)的最新版本發(fā)布，為國內(nèi)科技公司邁出了國際開源領(lǐng)域貢獻(xiàn)的重要一步。年發(fā)布，年成為頂級(jí)項(xiàng)目。目前在騰訊致力于領(lǐng)導(dǎo)騰訊云大數(shù)據(jù)及人工智能產(chǎn)品研發(fā)工作。

近日，騰訊主導(dǎo)的Apache Hadoop2.8.4最新版本發(fā)布，為國內(nèi)科技公司邁出了國際開源領(lǐng)域貢獻(xiàn)的重要一步。

2006年Apache Hadoop發(fā)布，2008年Hadoop成為Apache頂級(jí)項(xiàng)目。在那時(shí)，中國移動(dòng)、百度、淘寶等都已經(jīng)開始使用Hadoop技術(shù)。Hadoop現(xiàn)在早已成為Apache軟件基金會(huì)的金牌項(xiàng)目之一。不僅如此，它還孕育了包括HBase、Hive、ZooKeeper等一系列知名Apache頂級(jí)項(xiàng)目，它們一開始都是以Apache Hadoop子項(xiàng)目的形式在社區(qū)運(yùn)作、為開發(fā)者熟知的。

這次騰訊主導(dǎo)發(fā)布的Apache Hadoop2.8.4版本，涉及20多個(gè)大大小小的特性和優(yōu)化，清單如下：

負(fù)責(zé)這一版本整體進(jìn)度的Release Manager，是來自騰訊云產(chǎn)品部大數(shù)據(jù)及人工智能產(chǎn)品中心的專家研究員堵俊平，他同時(shí)也是Apache Hadoop社區(qū)PMC的成員。

Apache軟件基金會(huì)推崇PMC制度，每個(gè)開源項(xiàng)目都是一個(gè)PMC，即項(xiàng)目管理委員會(huì)，可以自行決定技術(shù)發(fā)展方向和社區(qū)運(yùn)作模式，但需要公開信息，并定期向Apache的董事會(huì)匯報(bào)，以便董事會(huì)監(jiān)督。

成為PMC的成員可是非常不容易的事，必須要一步步“打怪升級(jí)”。要實(shí)現(xiàn)從一個(gè)普通的Developer到PMC Member的跨越，除了碼代碼以外，開源社區(qū)的組織能力也要強(qiáng)，是不是帥呆了？

堵俊平，騰訊T4大數(shù)據(jù)技術(shù)專家，曾任EMC，VMware資深研發(fā)工程師，Hortonworks美國YARN團(tuán)隊(duì)負(fù)責(zé)人。深耕云計(jì)算，大數(shù)據(jù)方向10余年，在多個(gè)社區(qū)均享有極高知名度，包括Apache Hadoop社區(qū)Committer & PMC，并領(lǐng)導(dǎo)hadoop 2.6、2.8等應(yīng)用非常廣泛的社區(qū)release。曾領(lǐng)導(dǎo)開發(fā)多個(gè)Hadoop在云平臺(tái)上優(yōu)化與拓展的項(xiàng)目與產(chǎn)品。目前在騰訊致力于領(lǐng)導(dǎo)騰訊云大數(shù)據(jù)及人工智能產(chǎn)品研發(fā)工作。

小編采訪了一下這位男神，接下來就讓他給大家講一下，這次新版本發(fā)布過程中的小細(xì)節(jié)吧。

Q：很多人可能聽說過“開源”，但了解不多，您可以簡單介紹一下嗎？

A：開源可以理解為“向公眾開放源代碼”。近幾年來熱度不減的大數(shù)據(jù)，就是由開源的軟件來驅(qū)動(dòng)整個(gè)產(chǎn)業(yè)生態(tài)的。這里就不得不提到一個(gè)里程碑式的開源產(chǎn)品——hadoop：從谷歌的三篇論文，到雅虎的hadoop，開啟了如今的大數(shù)據(jù)時(shí)代。

過去的系統(tǒng)軟件主要是由閉源軟件來驅(qū)動(dòng)的。雖然像操作系統(tǒng)涌現(xiàn)出Linux這樣優(yōu)秀的軟件，但后面的數(shù)據(jù)庫和應(yīng)用服務(wù)器，仍然幾乎都是從閉源產(chǎn)品去驅(qū)動(dòng)的。

hadoop誕生后的這十年來，一直都是大數(shù)據(jù)生態(tài)的核心，它改變了以往的軟件形式，成為了最主流的開源項(xiàng)目之一?，F(xiàn)在基本上各家數(shù)據(jù)平臺(tái)團(tuán)隊(duì)，都是在hadoop生態(tài)系統(tǒng)上小修小改，去支持大數(shù)據(jù)相關(guān)的業(yè)務(wù)系統(tǒng)，可以認(rèn)為它是開源的一個(gè)標(biāo)準(zhǔn)吧。

Q：與傳統(tǒng)的閉源生態(tài)相比，開源有什么好處呢？

A：首先是避免“重復(fù)發(fā)明輪子”的問題，不同的個(gè)人和團(tuán)體可以在公開的代碼平臺(tái)上集體創(chuàng)作，而不是封閉起來做重復(fù)的事情。其次是用戶不必被綁架在特定的軟件平臺(tái)上，隨時(shí)可以遷移應(yīng)用和數(shù)據(jù)。最后是核心知識(shí)產(chǎn)權(quán)，比如以前的IOE，不只是沒有“中國芯”的問題，上面的應(yīng)用軟件和系統(tǒng)軟件可能隨時(shí)面臨被人封鎖的危險(xiǎn)，而開源就不會(huì)有這個(gè)問題，它完全公開透明。另外，開源也鼓勵(lì)公司規(guī)劃長線的技術(shù)投資，而不只是短線的利益操作。

Q：騰訊這次主導(dǎo)阿帕奇社區(qū)hadoop新版本的發(fā)布，在國內(nèi)算是首次嗎？

A：對(duì)，以前都是由微軟、Hortonworks和Cloudera等國外大數(shù)據(jù)廠家輪流坐莊，而這個(gè)版本是第一次完全由國內(nèi)的公司來支持的。從技術(shù)號(hào)召力或者對(duì)整個(gè)開源社區(qū)的影響力來說，可以鼓勵(lì)國內(nèi)的開發(fā)者和公司更積極地參與開源項(xiàng)目貢獻(xiàn)，勇于承擔(dān)更大的責(zé)任，更多地回饋開源社區(qū)。

Q：給整個(gè)社會(huì)也帶來了哪些積極的影響呢？

A：首先，大數(shù)據(jù)軟件屬于基礎(chǔ)技術(shù)，這次平臺(tái)是由騰訊做技術(shù)主導(dǎo)的，在國內(nèi)算是一個(gè)突破。其次，對(duì)于開發(fā)者社區(qū)來說，也是比較可靠的一個(gè)社區(qū)、最熱門的項(xiàng)目。最后，對(duì)于普通人來說，也是可以從中受益的。因?yàn)榛A(chǔ)平臺(tái)能力的提高，也伴隨著數(shù)據(jù)處理能力的提高，可以讓大家的生活更方便。大數(shù)據(jù)時(shí)代到來之前，可能沒有那么多面向數(shù)據(jù)的業(yè)務(wù)，比如地圖業(yè)務(wù)、O2O業(yè)務(wù)、智能推薦系統(tǒng)等等。包括現(xiàn)在極具話題性的AI人工智能，如果沒有大數(shù)據(jù)平臺(tái)的進(jìn)步，也是發(fā)展不起來的。

Q：之前是有技術(shù)難關(guān)的限制嗎？

A：過去十年，中國的互聯(lián)網(wǎng)公司發(fā)展很快，大家都以追求業(yè)務(wù)為主，在技術(shù)或開源方面做得不夠，這是我們相較西方的短板。國內(nèi)很多公司其實(shí)也嘗試過開源，但它只有開源的代碼，沒有開源的社區(qū)，也就是自己覺得某個(gè)產(chǎn)品做得不錯(cuò)，就把源代碼開放出來而已。

源代碼的開放和開源社區(qū)是兩回事，區(qū)別就是你這個(gè)開源的代碼，其它第三方（尤其是你的生態(tài)合作伙伴）有沒有能力來參與。

現(xiàn)在整個(gè)大數(shù)據(jù)的熱潮，其實(shí)就是被幾款開源的核心軟件所推動(dòng)的。中國的這些大公司在具備了經(jīng)濟(jì)實(shí)力之后，也開始以開源為手段想要構(gòu)造一個(gè)更好的生態(tài)。這可能需要一個(gè)過程，但大家已經(jīng)慢慢意識(shí)到這些基礎(chǔ)軟件跟開源結(jié)合的重要性了。