大數據系統(tǒng)架構SEARCH AGGREGATION
回答:這個太范化了吧。大數據架構選擇的方案就有很多，海量數據的即席查詢本省就是業(yè)內目前的痛點，暫時沒有太好的解決方案，kylin等框架也只是一個折中方案，如果你不是要求海量數據分析的秒級響應的話sparkSql、presto等都是不錯的方案，分鐘級別可以返回。
Paul_King
|
762人閱讀
回答:以mysql為列：1：支撐高并發(fā)系統(tǒng)，一定會涉及事務，所以數據庫引擎必選innodb，innodb支持事務，事務級別根據業(yè)務而定，如果業(yè)務數據一致性要求很高，事務就開啟序列化級別，這樣就完全隔離事務，但是會導致鎖資源競爭加劇。mysql的性能有一定的降低。2：讀寫分離，數據庫分成主庫和從庫，主庫負責寫數據，叢庫負責讀數據。注意主從數據庫數據一致性問題。3：冷熱數據分離，美團，餓了么部分設計采用冷熱...
Vultr
|
1448人閱讀
回答:隨著大數據技術開始逐漸落地應用，未來不僅IT互聯(lián)網領域的從業(yè)者需要掌握大數據技術，傳統(tǒng)行業(yè)從業(yè)者也需要掌握一定的大數據技術，尤其是管理類崗位，掌握大數據技術對于提升自身的資源整合能力，以及擴展自身的能力邊界，都有比較積極的意義。從我近些年帶大數據方向研究生的情況來看，早期選擇大數據方向的同學，往往都來自于數學、統(tǒng)計學和計算機大類專業(yè)的同學，近兩年管理學專業(yè)的同學也開始選擇大數據方向了，這是一個明顯...
moven_j
|
1397人閱讀
回答:從系統(tǒng)架構本身來說，一般系統(tǒng)優(yōu)化主要從三個方面入手，數據持久層、業(yè)務邏輯層和前端展示層。數據持久層限制系統(tǒng)性能主要有兩個方面，一是數據庫自身的性能，二是對數據庫操作的方式，數據庫自身相對簡單，一般通過優(yōu)化配置、采用高可用方案、搭建集群或者使用性能更好的數據庫來提升性能；數據庫操作主要是數據庫讀寫操作，可以通過SQL優(yōu)化的方式來提升讀寫速度，或者通過緩存的方式減低并發(fā)、提升性能。業(yè)務邏輯層代碼層面常...
senntyou
|
1210人閱讀
回答:分布式架構是軟件系統(tǒng)分布式系統(tǒng)存儲是基于存儲、服務器、數據庫技術、容災熱備等技術的系統(tǒng)集成數字經濟時代，各個企業(yè)、個人都在生產數據，利用數據，數據也在社會中不斷流動、循環(huán)，為這個時代創(chuàng)造著價值與機遇。盡管數據如此珍貴，但我們仍然會聽到在集中式存儲場景中，由于網絡攻擊、火災、地震而造成數據故障、丟失等問題。為了防止數據出現(xiàn)故障、數據丟失、服務器出錯、數據無法恢復等情況，越來越多企業(yè)開始把集中存儲轉變...
cocopeak
|
668人閱讀
回答:現(xiàn)在有幸參與傳統(tǒng)銀行數字化轉型，負責技術架構部分的轉型設計。高性能的數據架構（High Performance Data Architecture），正是我們架構轉型的重點。隨著科技的蓬勃發(fā)展、社交網絡的廣泛使用、線上消費的普及、數據挖掘的技術提升等大趨勢，全球銀行業(yè)正迎來一場聲勢浩大的數字化創(chuàng)新浪潮。數字化為消費者的生活及行為模式帶來翻天覆地的變化，也孵化出一批新型的金融科技(Fintech)競...
Lowky
|
625人閱讀
大數據正在徹底改變IT世界。那么，什么樣的數據談得上數據呢? ? 根據IDC的報告，未來十年全球大數據將增加50倍。僅在2011年，我們就將看到1.8ZB(也就是1.8萬億GB)的大數據創(chuàng)建產生。這相當于每位美國人每分鐘寫3條Tweet，而...
?????? 大數據正在徹底改變IT世界。那么，什么樣的數據談得上數據呢? 根據IDC的報告，未來十年全球大數據將增加50倍。僅在2011年，我們就將看到1.8ZB(也就是1.8萬億GB)的大數據創(chuàng)建產生。這相當于每位美國人每分鐘寫3條...
大數據分布式存儲的部署模式：分離式or超融合數據中心內部系統(tǒng)的核心要求是穩(wěn)定可靠，一是指系統(tǒng)在運行過程中有能力提供連續(xù)可靠的服務，長時間無故障運行；二是指當故障發(fā)生之后，有能力快速定位，及時排查，...
...項垂直業(yè)務系統(tǒng)搭建上線、產品端極大豐富用戶投資、大數據平臺研究并使用 第三代架構特點；SOA治理，使用zookeeper作為注冊中心，dubbo做監(jiān)控和調度中心；cas實現(xiàn)單點登錄，使用shiro做權限控制 第四代架構特點；全面啟用微服...
...項垂直業(yè)務系統(tǒng)搭建上線、產品端極大豐富用戶投資、大數據平臺研究并使用 第三代架構特點；SOA治理，使用zookeeper作為注冊中心，dubbo做監(jiān)控和調度中心；cas實現(xiàn)單點登錄，使用shiro做權限控制 第四代架構特點；全面啟用微服...
...應用都需要有 APM 體系，可以隨時分析性能的情況；在大數據時代，隨著數據規(guī)模的增加以及硬件計算能力的提升，數據庫的使用也發(fā)生了重大的變化；最重要的，整個 DevOps 也在進化到人工智能時代，監(jiān)控、服務治理、調度這...
...應用都需要有 APM 體系，可以隨時分析性能的情況；在大數據時代，隨著數據規(guī)模的增加以及硬件計算能力的提升，數據庫的使用也發(fā)生了重大的變化；最重要的，整個 DevOps 也在進化到人工智能時代，監(jiān)控、服務治理、調度這...
大數據時代為數據存儲帶來壓力，越來越多的組織需要在云計算的技術基礎上搭建起能夠存儲大量結構化和非結構化數據的存儲平臺。云存儲應云而生。 所謂云存儲，是指通過集群應用、網格技術或分布式文件系統(tǒng)等...
...藝術節(jié)上，Motley Fool的Tim Byers說過：在很多方面，云和大數據越來越密不可分且功能相似-云資源用來支撐大數據的存儲及項目，而且大數據相對于云來說是一個龐大的業(yè)務案例。大數據和云技術的最終聯(lián)姻，必定是天作之合。 ?...
...出版的技術圖書 即將出版的《深入理解XXXXXXXXX》 《海量數據處理與大數據技術實戰(zhàn)》 《MySQL技術大全：開發(fā)、優(yōu)化與運維實戰(zhàn)》 《深入理解高并發(fā)編程》 《并發(fā)編程核心知識》 《冰河的滲透實戰(zhàn)筆記》 《我要進大廠系列之面...
...、微服務架構及 Serverless、中間件平臺、容器、AI DevOps、數據庫、大前端、Fintech、機器學習、人工智能、智能硬件、效率管理等 20 個技術專題。 史海峰、惠新宸、袁進輝、沈劍、陳皓等經驗豐富的一線技術團隊帶頭人現(xiàn)場分享...
...、微服務架構及 Serverless、中間件平臺、容器、AI DevOps、數據庫、大前端、Fintech、機器學習、人工智能、智能硬件、效率管理等 20 個技術專題。 史海峰、惠新宸、袁進輝、沈劍、陳皓等經驗豐富的一線技術團隊帶頭人現(xiàn)場分享...
...系統(tǒng)，以及很多太短的通用平臺與系統(tǒng)，主要關注架構、數據庫、O2O等方面的技術。 壹佰案例： 作為同時負責過58同城和58到家業(yè)務的架構師，可否從架構方向談下兩項業(yè)務的技術難點有何不同？ 沈劍：58同城是一個信息平臺...
ChatGPT和Sora等AI大模型應用，將AI大模型和算力需求的熱度不斷帶上新的臺階。哪里可以獲得...
一、活動亮點：全球31個節(jié)點覆蓋 + 線路升級，跨境業(yè)務福音！爆款云主機0.5折起：香港、海外多節(jié)點...
大模型的訓練用4090是不合適的，但推理（inference/serving）用4090不能說合適，...
