Google停用MapReduce，發(fā)布Cloud Dataflow

summerpxy 發(fā)布于2019-04-25 17:37 / 570人閱讀

摘要：但是近日，這項技術(shù)已經(jīng)不能處理谷歌想要分析的大量數(shù)據(jù)。在展示會上也宣布谷歌云平臺上其他一些新的服務是一個，它使應用程序能夠在云中或其他地方保存單個用戶的數(shù)據(jù)而不需要任何服務器端的編碼。

?Google已經(jīng)停用自己研發(fā)的并部署在服務器上分析數(shù)據(jù)的開源系統(tǒng)MapReduce，轉(zhuǎn)而支持一個新的超大規(guī)模云分析系統(tǒng)Cloud Dataflow。?

MapReduce一直是服務器集群上做并行分布式計算的一個非常受歡迎的基礎架構(gòu)和編程模型。它是被廣泛部署并已經(jīng)成為很多公司商業(yè)產(chǎn)品的大數(shù)據(jù)基礎架構(gòu)平臺Hadoop的基礎。?

但是近日，這項技術(shù)已經(jīng)不能處理谷歌想要分析的大量數(shù)據(jù)。然而，技術(shù)基礎設施部高級副總裁UrsH?lzle表示，一旦數(shù)據(jù)規(guī)模達到數(shù)PB級字節(jié)，處理起來將變得非常困難。?

“我們將不再使用MapReduce?！盚?lzle在周三于舊金山舉行的谷歌I/O大會上發(fā)表主題演講時表示，公司已經(jīng)在幾年前停止使用這個系統(tǒng)，更多大會內(nèi)容可點擊2014谷歌I/O上的Google Cloud Platform和Cloud Dataflow。

Cloud DataFlow，將作為一項服務提供給使用它們云服務的開發(fā)者，這些服務并沒有MapReduce的擴展限制。?

“Cloud Dataflow是這近十年分析經(jīng)驗的成果?！盚?lzle說，它將會比現(xiàn)存的所有的系統(tǒng)運行的更快，更易擴展。?

這是一個完全托管服務，它可以自動優(yōu)化、部署、管理以及擴展。它使開發(fā)人員對批處理和流媒體服務能夠使用統(tǒng)一編程輕松地創(chuàng)建復雜的管道，他表示。

所有這些特點，谷歌認為在MapReduce上無法完成：很難迅速獲取數(shù)據(jù)，不能進行批處理和流處理，而且經(jīng)常需要部署和運行MapReduce集群。

H?lzle在展示會上也宣布谷歌云平臺上其他一些新的服務：

Cloud Save是一個API，它使應用程序能夠在云中或其他地方保存單個用戶的數(shù)據(jù)而不需要任何服務器端的編碼。?提供App Engine的PaaS用戶和提供Compute Engine的用戶都可以利用這特征構(gòu)建App。
Cloud Debugging?簡化了篩選出部署在云端的多臺服務器中的軟件缺陷的過程。
Cloud Tracing?提供了不同群體（數(shù)據(jù)庫服務調(diào)用，例如等待時間）的延時統(tǒng)計數(shù)據(jù)以及分析報告。
Cloud Monitoring?是一款與Stackdriver（谷歌5月份收購的一個云監(jiān)控初創(chuàng)公司）集成的智能監(jiān)控系統(tǒng)。該系統(tǒng)監(jiān)控云基礎設施資源，如磁盤和虛擬機，還有一些為谷歌提供服務的服務等級以及十幾個非谷歌提供的開源軟件包。

原文鏈接：Google Dumps MapReduce in Favor of New Hyper-Scale Analytics System?

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://www.ezyhdfw.cn/yun/4091.html

Flink 從0到1學習—— 分享四本 Flink 國外的書和二十多篇 Paper 論文

摘要：另外，將機制發(fā)揚光大，對有著非常好的支持。系統(tǒng)也注意到并討論了和的問題。總結(jié)本文分享了四本相關的書籍和一份領域相關的論文列表篇，涉及的設計，實現(xiàn)，故障恢復，彈性擴展等各方面。前言之前也分享了不少自己的文章，但是對于 Flink 來說，還是有不少新入門的朋友，這里給大家分享點 Flink 相關的資料（國外數(shù)據(jù) pdf 和流處理相關的 Paper），期望可以幫你更好的理解 Flink。...

jollywing 2019-08-19 10:19 評論0 收藏0
職業(yè)轉(zhuǎn)型的終極指南：從新手到專業(yè)的機器學習工程師

摘要：作者微信號微信公眾號簡書地址最近機器學習工程師已經(jīng)成為了一個非常熱門的崗位，很多的工程師都想轉(zhuǎn)行到這個崗位。本文根據(jù)上面的課程，列了一個從新手到專業(yè)工程師的學習計劃，提供給大家學習。作者：chen_h微信號 & QQ：862251340微信公眾號：coderpai簡書地址：http://www.jianshu.com/p/32b2... 最近機器學習工程師已經(jīng)成為了一個非常熱門的崗...

XanaHopper 2019-07-30 15:09 評論0 收藏0
Spring Boot Cloud CLI - 快速上手

摘要：是什么官方是這樣描述的翻譯之后為提供了命令行功能。您還可以輕松地執(zhí)行加密和解密等操作，以支持具有機密配置值的配置客戶機。可用于從命令行運行，等常用服務。列出您可以執(zhí)行的可用服務，并僅啟動一組默認服務。導讀在日常開發(fā)與測試中有一些Spring Cloud 的相關的組件如 eureka、configserver、zipkin、hystrixdashboard等相對來說不容易發(fā)生變動，這...

lindroid 2019-08-19 10:34 評論0 收藏0
2012：云計算的春天

回顧2012，更多開放，更多協(xié)作，更多機會產(chǎn)生。從來沒有一項服務會將幾乎所有IT、互聯(lián)網(wǎng)、通信技術(shù)整合在一起，沒有合作、開放的心態(tài)就沒有云計算。接下來，將從IaaS、NoSQL與NewSQL、數(shù)據(jù)中心、大數(shù)據(jù)、安全這幾個方面對過去一年作出總結(jié)。IaaS——群雄追趕AWS談到IaaS，Google和AWS是公認的業(yè)界最強。AWS是全球?qū)aaS這個business運營的較好的公司，除了技術(shù)領先，還要...

Vicky 2019-04-25 17:31 評論0 收藏0
谷歌發(fā)布Kubernetes v1.0，容器生態(tài)前景明媚

摘要：與此同時，谷歌聯(lián)合基金會及其他合作伙伴共同成立了基金會，并將作為首個編入管理體系的開源項目，助力容器技術(shù)生態(tài)的發(fā)展進步。年月谷歌宣布開源。年月容器引擎啟動，谷歌宣布中支持容器及服務，并以為構(gòu)架。 7月22日Google正式對外發(fā)布 Kubernetes v 1.0，意味著這個開源容器編排系統(tǒng)可以正式在生產(chǎn)環(huán)境使用。與此同時，谷歌聯(lián)合linux基金會及其他合作伙伴共同成立了CNCF基金會...

Mertens 2019-06-28 14:58 評論0 收藏0