回答:這個(gè)太范化了吧。大數(shù)據(jù)架構(gòu)選擇的方案就有很多,海量數(shù)據(jù)的即席查詢本省就是業(yè)內(nèi)目前的痛點(diǎn),暫時(shí)沒有太好的解決方案,kylin等框架也只是一個(gè)折中方案,如果你不是要求海量數(shù)據(jù)分析的秒級(jí)響應(yīng)的話sparkSql、presto等都是不錯(cuò)的方案,分鐘級(jí)別可以返回。
回答:以mysql為列:1:支撐高并發(fā)系統(tǒng),一定會(huì)涉及事務(wù),所以數(shù)據(jù)庫(kù)引擎必選innodb,innodb支持事務(wù),事務(wù)級(jí)別根據(jù)業(yè)務(wù)而定,如果業(yè)務(wù)數(shù)據(jù)一致性要求很高,事務(wù)就開啟序列化級(jí)別,這樣就完全隔離事務(wù),但是會(huì)導(dǎo)致鎖資源競(jìng)爭(zhēng)加劇。mysql的性能有一定的降低。2:讀寫分離,數(shù)據(jù)庫(kù)分成主庫(kù)和從庫(kù),主庫(kù)負(fù)責(zé)寫數(shù)據(jù),叢庫(kù)負(fù)責(zé)讀數(shù)據(jù)。注意主從數(shù)據(jù)庫(kù)數(shù)據(jù)一致性問題。3:冷熱數(shù)據(jù)分離,美團(tuán),餓了么部分設(shè)計(jì)采用冷熱...
回答:現(xiàn)在有幸參與傳統(tǒng)銀行數(shù)字化轉(zhuǎn)型,負(fù)責(zé)技術(shù)架構(gòu)部分的轉(zhuǎn)型設(shè)計(jì)。高性能的數(shù)據(jù)架構(gòu)(High Performance Data Architecture),正是我們架構(gòu)轉(zhuǎn)型的重點(diǎn)。隨著科技的蓬勃發(fā)展、社交網(wǎng)絡(luò)的廣泛使用、線上消費(fèi)的普及、數(shù)據(jù)挖掘的技術(shù)提升等大趨勢(shì),全球銀行業(yè)正迎來一場(chǎng)聲勢(shì)浩大的數(shù)字化創(chuàng)新浪潮。數(shù)字化為消費(fèi)者的生活及行為模式帶來翻天覆地的變化,也孵化出一批新型的金融科技(Fintech)競(jìng)...
回答:超融合架構(gòu)怎么樣?回答這個(gè)問題,首先要了解超融合架構(gòu)是針對(duì)傳統(tǒng)架構(gòu)的,相對(duì)于傳統(tǒng)架構(gòu)超融合的優(yōu)勢(shì)主要體現(xiàn)在以下幾點(diǎn):1.可靠性能更好用服務(wù)器構(gòu)建存儲(chǔ),客戶顧慮最多的首先是可靠性,如果需要衡量可靠性:系統(tǒng)的冗余度?通俗的說就是允許硬件壞多少?出現(xiàn)故障后是否完全自動(dòng)恢復(fù)?恢復(fù)速度和時(shí)間?因?yàn)橄到y(tǒng)處于降級(jí)狀態(tài)下是比較危險(xiǎn)的狀態(tài),故障窗口越小,出現(xiàn)整體故障的可能性就越小。以下給出詳細(xì)的系統(tǒng)冗余與恢復(fù)機(jī)制對(duì)...
回答:軟件產(chǎn)品架構(gòu)是不斷迭代演化的,從單體服務(wù)架構(gòu)發(fā)展到現(xiàn)在的服務(wù)化、微服務(wù)的架構(gòu)。單體架構(gòu)單體架構(gòu)就是所有的業(yè)務(wù)模塊都是耦合在一個(gè)項(xiàng)目中,開發(fā)、部署都在一起;如果其中一個(gè)模塊需要上線升級(jí),那么所有模塊都要一起啟停;在早期,單體架構(gòu)的項(xiàng)目團(tuán)隊(duì)成員需要是全棧,因?yàn)榍岸恕⒑蠖?、?shù)據(jù)庫(kù)都是一波人負(fù)責(zé),后來開始進(jìn)行了邏輯分層,團(tuán)隊(duì)也分成了前端 UI 團(tuán)隊(duì)、后端和 DBA 團(tuán)隊(duì),每個(gè)團(tuán)隊(duì)都有自己負(fù)責(zé)的職責(zé)。然而隨...
回答:超融合是什么參考維基百科中的超融合定義:超融合基礎(chǔ)架構(gòu)(hyper-converged infrastructure)是一個(gè)軟件定義的 IT 基礎(chǔ)架構(gòu),它可虛擬化常見硬件定義系統(tǒng)的所有元素。HCI 包含的最小集合是:虛擬化計(jì)算(hypervisor),虛擬存儲(chǔ)(SDS)和虛擬網(wǎng)絡(luò)。HCI 通常運(yùn)行在標(biāo)準(zhǔn)商用服務(wù)器之上。超融合基礎(chǔ)架構(gòu)(hyper-converged infrastructure)與...
...HP線程經(jīng)常掛掉,單機(jī)配置到極限,我們需要方案去解決 數(shù)據(jù)庫(kù)經(jīng)常出現(xiàn)死鎖,查看哪塊業(yè)務(wù)造出的并提出解決方案 這塊的業(yè)務(wù)耦合太高了。我們開會(huì)討論如何做。 是日常工作中,你無時(shí)無刻的在架構(gòu),而你與架構(gòu)師唯一的區(qū)...
...HP線程經(jīng)常掛掉,單機(jī)配置到極限,我們需要方案去解決 數(shù)據(jù)庫(kù)經(jīng)常出現(xiàn)死鎖,查看哪塊業(yè)務(wù)造出的并提出解決方案 這塊的業(yè)務(wù)耦合太高了。我們開會(huì)討論如何做。 是日常工作中,你無時(shí)無刻的在架構(gòu),而你與架構(gòu)師唯一的區(qū)...
...HP線程經(jīng)常掛掉,單機(jī)配置到極限,我們需要方案去解決 數(shù)據(jù)庫(kù)經(jīng)常出現(xiàn)死鎖,查看哪塊業(yè)務(wù)造出的并提出解決方案 這塊的業(yè)務(wù)耦合太高了。我們開會(huì)討論如何做。 是日常工作中,你無時(shí)無刻的在架構(gòu),而你與架構(gòu)師唯一的區(qū)...
...,利用mongdo的mapreduce技術(shù)來處理大量的數(shù)據(jù),于是我們的數(shù)據(jù)庫(kù)層就變成下面的這個(gè)架構(gòu) mysql實(shí)時(shí)同步到mongodb,我們使用的是tungsten-relicator這個(gè)工具,會(huì)在mysql服務(wù)器端啟動(dòng)一個(gè)監(jiān)控agent,實(shí)時(shí)監(jiān)控mysql的binlog日志,同時(shí)在mongodb...
...,利用mongdo的mapreduce技術(shù)來處理大量的數(shù)據(jù),于是我們的數(shù)據(jù)庫(kù)層就變成下面的這個(gè)架構(gòu) mysql實(shí)時(shí)同步到mongodb,我們使用的是tungsten-relicator這個(gè)工具,會(huì)在mysql服務(wù)器端啟動(dòng)一個(gè)監(jiān)控agent,實(shí)時(shí)監(jiān)控mysql的binlog日志,同時(shí)在mongodb...
...們看到 TiDB 也能夠支持金融場(chǎng)景了。從側(cè)面來講,分布式數(shù)據(jù)庫(kù)技術(shù),確實(shí)已經(jīng)到達(dá)了一定的成熟度。 一、背景介紹 我相信這幾年,尤其是這三四年,大家應(yīng)該都有感觸。無論是工作方式,還是生活方式,都發(fā)生了很大的變化...
...節(jié)點(diǎn)并且減少對(duì)于存儲(chǔ)層的請(qǐng)求量,使我們?cè)谑褂脴?biāo)準(zhǔn)的數(shù)據(jù)庫(kù)的時(shí)候避免遇到性能和擴(kuò)展的問題。 冗余性 源頭側(cè)聚合帶來的最大一點(diǎn)的好處就是容錯(cuò)性。在真實(shí)業(yè)務(wù)場(chǎng)景中,服務(wù)器會(huì)時(shí)不時(shí)的宕機(jī)。導(dǎo)致宕機(jī)的原因就是,大...
...,很幸運(yùn),能陪著ShareSDK一起成長(zhǎng)。 如圖經(jīng)典的單體應(yīng)用架構(gòu), 和很多初創(chuàng)企業(yè)一樣,當(dāng)時(shí)采用這種架構(gòu)。用redis等緩存擋住并發(fā),用MySQL來存儲(chǔ)數(shù)據(jù)。前端的報(bào)表分析直接操作MySQL即可。我并不反對(duì)單體架構(gòu),反而我覺得很合適...
...,編碼必備Spring5,做應(yīng)用必不可少的最新框架MyBatis,玩數(shù)據(jù)庫(kù)必不可少的組件file畫外音:大家捫心自問,除了寫業(yè)務(wù)代碼,看過多少優(yōu)秀開源代碼?二、分布式架構(gòu)隨著業(yè)務(wù)越來越復(fù)雜,數(shù)據(jù)量越來越大,并發(fā)量越來越大,單...
...系統(tǒng),以及很多太短的通用平臺(tái)與系統(tǒng),主要關(guān)注架構(gòu)、數(shù)據(jù)庫(kù)、O2O等方面的技術(shù)。 壹佰案例: 作為同時(shí)負(fù)責(zé)過58同城和58到家業(yè)務(wù)的架構(gòu)師,可否從架構(gòu)方向談下兩項(xiàng)業(yè)務(wù)的技術(shù)難點(diǎn)有何不同? 沈劍:58同城是一個(gè)信息平臺(tái)...
...,編碼必備Spring5,做應(yīng)用必不可少的最新框架MyBatis,玩數(shù)據(jù)庫(kù)必不可少的組件file畫外音:大家捫心自問,除了寫業(yè)務(wù)代碼,看過多少優(yōu)秀開源代碼?二、分布式架構(gòu)隨著業(yè)務(wù)越來越復(fù)雜,數(shù)據(jù)量越來越大,并發(fā)量越來越大,單...
...席沈劍在 OneAPM 的技術(shù)公開課上分享過一個(gè)主題,「好的架構(gòu)不是設(shè)計(jì)出來的,而是演技出來的」。因?yàn)閷?duì)很多創(chuàng)業(yè)公司而言,隨著業(yè)務(wù)的發(fā)展,網(wǎng)站流量或者移動(dòng)端用戶都會(huì)經(jīng)歷不同的階段。前期的時(shí)候,很難去設(shè)計(jì)一個(gè)百萬...
...直接就是一個(gè)實(shí)例,為了保持代碼的簡(jiǎn)單,業(yè)務(wù)邏輯能在數(shù)據(jù)庫(kù)里做的都放到數(shù)據(jù)庫(kù)做了,比如Feed功能,直接用MySQL的join查詢。 但是后來就出現(xiàn)了一些慢查詢的情況,這時(shí)候做了主從,做讀寫分離,多個(gè)從庫(kù)用來做查詢。再到...
ChatGPT和Sora等AI大模型應(yīng)用,將AI大模型和算力需求的熱度不斷帶上新的臺(tái)階。哪里可以獲得...
營(yíng)銷賬號(hào)總被封?TK直播頻繁掉線?雙ISP靜態(tài)住宅IP+輕量云主機(jī)打包套餐來襲,確保開出來的云主機(jī)不...
大模型的訓(xùn)練用4090是不合適的,但推理(inference/serving)用4090不能說合適,...