資訊專欄INFORMATION COLUMN
摘要：原文出自聽云技術(shù)博客斷斷續(xù)續(xù)寫了將近一個月，聽云第一版數(shù)據(jù)庫管理平臺終于寫完了，期間來來回回的改了好多次小毛病，現(xiàn)在已經(jīng)部署到生產(chǎn)環(huán)境上去了。主機(jī)管理這里主要是主機(jī)列表管理和業(yè)務(wù)組列表管理。
原文出自【聽云技術(shù)博客】：http://blog.tingyun.com/web/article/detail/600
斷斷續(xù)續(xù)寫了將近一個月，聽云第一版數(shù)據(jù)庫管理平臺終于寫完了，期間來來回回的改了好多次小毛病，現(xiàn)在已經(jīng)部署到生產(chǎn)環(huán)境上去了。
在剛開始的時候，后端的數(shù)據(jù)庫集群只有10多個節(jié)點(diǎn)組，日常的巡檢工作并不會花費(fèi)太多的時間和精力。隨著業(yè)務(wù)的增長，在較短時間內(nèi)后端集群擴(kuò)展到數(shù)百節(jié)點(diǎn)時，這時的日常巡檢如果還是人肉完成，講道理，最終可能就是不做巡檢或者是緣分巡檢，哪天想起來了搞一下。顯然這不是我們的風(fēng)格。那么如何解放我們花在巡檢上的時間和精力，我們決定寫一個工具來幫我們完成巡檢工作，我們要做的就是登陸上這個系統(tǒng)，look and check。
在這個版本中實現(xiàn)的功能并不是很多，大都是針對目前工作中的痛點(diǎn)來開發(fā)的，架構(gòu)也很簡單，分為報表和數(shù)據(jù)收集兩個部分，數(shù)據(jù)收集程序主要從兩個地方收集數(shù)據(jù)，一個是線上的數(shù)據(jù)庫中收集一些指標(biāo)數(shù)據(jù)，一個是調(diào)用云廠商的api取DB的容量信息。
該系統(tǒng)的開發(fā)語言是golang，netop是我們部門的簡稱，所以索性就叫NetopGO。前端頁面是改的jumpserver的頁面，數(shù)據(jù)搬運(yùn)工真心寫不動前端。
Web開發(fā)框架使用的beego。講道理，jumpserver的前端模版真的是一款很優(yōu)秀易上手的模版，beego就更不用說了，powerful、beautiful and amazing！直接上圖，標(biāo)清有碼，嘿嘿嘿。
1、儀表盤
這里主要是一些數(shù)據(jù)概覽，各種總量、截至到當(dāng)前的本月數(shù)據(jù)量變化趨勢。每個業(yè)務(wù)庫本月的數(shù)據(jù)容量變化情況，還有前一天慢查詢數(shù)量排名top12。儀表盤上提供快速跳轉(zhuǎn)的鏈接，只需要點(diǎn)擊相關(guān)的數(shù)字即可。比如點(diǎn)擊DB總數(shù)，就會跳轉(zhuǎn)到DB列表的頁面。
2、用戶權(quán)限
劃分三種權(quán)限：admin、dba和guest。如果當(dāng)前用戶的權(quán)限不足，訪問受限頁面會提示沒有權(quán)限或頁面上的部分按鈕不可用。
3、主機(jī)管理
這里主要是主機(jī)列表管理和業(yè)務(wù)組列表管理。主機(jī)列表依賴業(yè)務(wù)組列表。這部分對來賓和數(shù)據(jù)庫管理員是有權(quán)限控制的，比如這個guest用戶登錄上來之后查看主機(jī)列表只有readonly用戶的遠(yuǎn)程登錄可用，其他功能受限，點(diǎn)擊遠(yuǎn)程登陸會彈出一個webshell，如下圖：
4、DB管理
DB管理是這個版本的重心，首先看DB列表
這里有所有線上的實例，并且每個實例都有圖表和慢sql的入口鏈接，點(diǎn)擊圖表，會跳轉(zhuǎn)到圖表的頁面:
圖表目前只有數(shù)據(jù)量（每天統(tǒng)計）、QPS&TPS（每10分鐘統(tǒng)計）和慢查詢個數(shù)（每天統(tǒng)計）的變化曲線。監(jiān)控不是這個系統(tǒng)的重點(diǎn)，目前基本上所有的生產(chǎn)環(huán)境監(jiān)控都是另外一個平臺再支撐。我希望系統(tǒng)能夠為我展示所有實例的數(shù)據(jù)量變化趨勢、qps&tps情況，當(dāng)然最重要的是慢查詢的詳細(xì)情況。如果在列表中點(diǎn)擊慢查詢，就會跳轉(zhuǎn)到慢查詢列表頁面，如下圖：
這個頁面中會對慢sql做簡單的匯總和統(tǒng)計，同時提供查看sql和具體執(zhí)行計劃的功能，比如點(diǎn)擊查看執(zhí)行計劃，就會向生產(chǎn)環(huán)境的數(shù)據(jù)庫做一個即時的執(zhí)行計劃分析并返回結(jié)果，這樣抓到慢sql就不用打開黑窗口(xshell)登陸到后端數(shù)據(jù)庫上去看執(zhí)行計劃，直接在前端頁面就能查看。如下
Schema列表，這個頁面同樣有比較大的信息量，包含了所有業(yè)務(wù)庫的列表，這個列表主要是給數(shù)據(jù)查詢窗口使用的，動態(tài)的增刪schema列表，就相當(dāng)于動態(tài)的增刪數(shù)據(jù)源。同時展現(xiàn)了每個業(yè)務(wù)庫當(dāng)前的數(shù)據(jù)容量大小，非常直觀。
由于我們后端的數(shù)據(jù)庫使用了分區(qū)表，分區(qū)是由存儲過程自動維護(hù)的，所以我們對每個業(yè)務(wù)庫后端的分區(qū)增刪狀態(tài)在這里做了展現(xiàn)，點(diǎn)擊分鐘按鈕就會跳轉(zhuǎn)到分區(qū)監(jiān)控列表頁面，能夠清晰的看到哪些節(jié)點(diǎn)的添加分區(qū)沒有成功，如果添加失敗，就會顯示紅色的Failed字樣。小時和天表也是一樣的。
平常的工作中會有很多數(shù)據(jù)查詢的場景，研發(fā)和測試的同事那么多，如果所有的請求都對準(zhǔn)dba一個人的話，也是一個頭疼的問題，所以在NetopGO中開了一個查詢的窗口，實現(xiàn)了權(quán)限劃分、查詢sql審計記錄和自動后端識別的功能。動態(tài)增刪數(shù)據(jù)源，Schema列表中添加一個數(shù)據(jù)源，在查詢窗口里可以立即顯示并進(jìn)行查詢。如果后端允許的話，dba可以做任何操作，比如 insert操作，如下
如果后端是代理的話，即便是dba角色也只能支持查詢，如下
如果是來賓帳號，所有的數(shù)據(jù)庫都只能是查詢權(quán)限，如下
如果查詢成功，會跳轉(zhuǎn)到結(jié)果頁面，如果列很多，超出了表格的寬度，下方是會有滾動條出現(xiàn)的。如下
目前，出于信息安全的考慮，并沒有支持?jǐn)?shù)據(jù)導(dǎo)出功能，不過正在考慮給dba視角添加一個結(jié)果導(dǎo)出功能。
在數(shù)據(jù)查詢窗口中執(zhí)行的sql，無論是否成功，都會被記錄到審計日志里面，查看審計日志可以訪問審計日志頁面，如下：
列表中會展示每條sql的執(zhí)行用戶、schema、狀態(tài)和具體執(zhí)行的sql。其他同事正在查詢的時候你就看這個列表，十分有快感。
5、升級記錄功能
升級記錄功能并沒有引入工作流，所以只是一個簡單的記錄，目前實現(xiàn)了應(yīng)用升級記錄、數(shù)據(jù)庫升級記錄和故障記錄的功能，但是大家都希望不要手工錄入，最好是提流程系統(tǒng)自己記錄。這個從目前的環(huán)境來看，可能難以實現(xiàn)。
不過從我自己的體驗來說，這種記錄方式相比之前已經(jīng)有很大改善。以數(shù)據(jù)庫升級記錄為例，以前的升級記錄是放在一個nfs共享目錄下的一個excel表中，目錄比較深，跟sql文件的存檔目錄不在一個目錄下，每次記錄需要翻兩次n級的目錄，而且如果要找之前的一個升級sql，也不太好找，因為文件比較多，所以DB升級記錄功能是這樣的
在記錄升級記錄的時候直接把sql文件上傳到服務(wù)器端的目錄，然后列表中提供查看附件的入口，如下
點(diǎn)擊詳細(xì)內(nèi)容，會跳轉(zhuǎn)到如下頁面
點(diǎn)擊附件，如果是在Chrome瀏覽器上，會直接在一個新的窗口中顯示出文本內(nèi)容，如果是其他瀏覽器，會直接下載這個文件。附件直接在瀏覽器上訪問真的很方便。Chrome下點(diǎn)擊附件
這個版本實現(xiàn)的功能基本上就這些了，接下來打算在查詢窗口的頁面中支持對后端中間代理下的集群做DDL和DML的變更，中間件本身是沒有辦法支持這些的，所以我們實現(xiàn)的思路就是在查詢窗口中選定schema之后，sql會被提交到代理后端所有的分片上去執(zhí)行，并最終返回執(zhí)行狀態(tài)，從而達(dá)到驗證的目的。目前我們是使用的腳本來完成，有點(diǎn)low。這個版本已經(jīng)做了相當(dāng)多的準(zhǔn)備工作，所以實現(xiàn)這個功能并不會很難。目前來看NetopGO綁定了太多我們自己的業(yè)務(wù)場景，后續(xù)如果功能完善之后，會在通用性上下點(diǎn)功夫，做一個開源的版本出來。
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://www.ezyhdfw.cn/yun/17536.html
摘要：功能簡介功能簡介功能簡介本篇目錄一功能點(diǎn)概述一功能點(diǎn)概述二支持的大數(shù)據(jù)生態(tài)服務(wù)二支持的大數(shù)據(jù)生態(tài)服務(wù)一功能點(diǎn)概述一功能點(diǎn)概述一功能點(diǎn)概述支持友好的瀏覽器管理控制臺支持集群節(jié)點(diǎn)管理，如節(jié)點(diǎn)監(jiān)控資源使用率節(jié)點(diǎn)狀態(tài)等支持集群大數(shù)據(jù)服務(wù)的服 功能簡介本篇目錄一、功能點(diǎn)概述二、支持的大數(shù)據(jù)生態(tài)服務(wù)一、功能點(diǎn)概述支持友好的Web瀏覽器管理控制臺；支持集群節(jié)點(diǎn)管理，如節(jié)點(diǎn)監(jiān)控、資源使用率、節(jié)點(diǎn)狀態(tài)等；支持...
摘要：最近，抽了一個周末，把平臺重新重構(gòu)了一遍，優(yōu)化了預(yù)覽導(dǎo)航，以及增加簡單的管理，前端開發(fā)導(dǎo)航平臺。 前端導(dǎo)航平臺簡介 各位小伙伴幫忙 star: 前端導(dǎo)航平臺倉庫 前端導(dǎo)航平臺 是否有過當(dāng)你看到比較優(yōu)秀的前端資源時，由于沒有時間來的及收錄，過段時間等需要的時，卻翻來覆去不知道去哪了～～ 前端導(dǎo)航站，收集前端業(yè)內(nèi)優(yōu)秀技術(shù)博客、框架，方便快速尋找優(yōu)秀資源，～～寶寶再也不用擔(dān)心查找資源了～～ ...
據(jù)平臺產(chǎn)品形象大圖.png?v=1632377121)
摘要：產(chǎn)品概述產(chǎn)品概述產(chǎn)品概述本篇目錄產(chǎn)品特點(diǎn)產(chǎn)品特點(diǎn)功能簡介功能簡介操作指南操作指南開發(fā)指南開發(fā)指南任務(wù)調(diào)度任務(wù)調(diào)度產(chǎn)品價格產(chǎn)品價格簡稱，是推出的云上智能化輕量級的大數(shù)據(jù)基礎(chǔ)服務(wù)平臺，能夠幫您快速構(gòu)建起大數(shù)據(jù)的分析處理能力。 產(chǎn)品概述本篇目錄產(chǎn)品特點(diǎn)功能簡介操作指南開發(fā)指南任務(wù)調(diào)度產(chǎn)品價格UCloud Smart Data Platform（簡稱 USDP），是 UCloud 推出的云上智能化、...
摘要：產(chǎn)品概述產(chǎn)品概述本篇目錄產(chǎn)品特點(diǎn)產(chǎn)品特點(diǎn)功能簡介功能簡介操作指南操作指南開發(fā)指南開發(fā)指南任務(wù)調(diào)度任務(wù)調(diào)度產(chǎn)品價格產(chǎn)品價格簡稱，是推出的云上智能化輕量級的大數(shù)據(jù)基礎(chǔ)服務(wù)平臺，能夠幫您快速構(gòu)建起大數(shù)據(jù)的分析處理能力。 產(chǎn)品概述本篇目錄產(chǎn)品特點(diǎn)功能簡介操作指南開發(fā)指南任務(wù)調(diào)度產(chǎn)品價格UCloud Smart Data Platform（簡稱 USDP），是 UCloud 推出的云上智能化、輕量級的...
閱讀 3109·2021-10-14 09:50
閱讀 1317·2021-10-08 10:21
閱讀 3769·2021-10-08 10:16
閱讀 3154·2021-09-27 14:02
閱讀 3206·2021-09-23 11:21
閱讀 2324·2021-09-07 10:17
閱讀 465·2019-08-30 14:00
閱讀 2201·2019-08-29 17:26
