宜信開源|數(shù)據(jù)庫審核軟件Themis部署攻略

fsmStudy 發(fā)布于2019-06-25 19:15 / 1772人閱讀

摘要：一介紹是宜信公司團(tuán)隊(duì)開發(fā)的一款數(shù)據(jù)庫審核產(chǎn)品，可幫助開發(fā)人員快速發(fā)現(xiàn)數(shù)據(jù)庫質(zhì)量問題，提升工作效率。此平臺可實(shí)現(xiàn)對數(shù)據(jù)庫進(jìn)行多維度對象結(jié)構(gòu)文本執(zhí)行計劃及執(zhí)行特征的審核，用以評估對象結(jié)構(gòu)設(shè)計質(zhì)量及運(yùn)行效率。執(zhí)行計劃指數(shù)據(jù)庫中的執(zhí)行計劃。

一、介紹

Themis是宜信公司DBA團(tuán)隊(duì)開發(fā)的一款數(shù)據(jù)庫審核產(chǎn)品，可幫助DBA、開發(fā)人員快速發(fā)現(xiàn)數(shù)據(jù)庫質(zhì)量問題，提升工作效率。其名稱源自希臘神話中的正義與法律女神。項(xiàng)目取此名稱，寓意此平臺對數(shù)據(jù)庫質(zhì)量公平判斷，明察秋毫。

此平臺可實(shí)現(xiàn)對Oracle、MySQL數(shù)據(jù)庫進(jìn)行多維度（對象結(jié)構(gòu)、SQL文本、執(zhí)行計劃及執(zhí)行特征）的審核，用以評估對象結(jié)構(gòu)設(shè)計質(zhì)量及SQL運(yùn)行效率?？蓭椭鶧BA及開發(fā)人員，快速發(fā)現(xiàn)定位問題；并提供部分輔助診斷能力，提升優(yōu)化工作效率。全部操作均可通過WEB界面進(jìn)行，簡單便捷。此外，為了更好滿足個性化需求，平臺還提供了擴(kuò)展能力，用戶可根據(jù)需要自行擴(kuò)展。

開源地址： https://github.com/CreditEaseDBA

1.1 功能概述

事后審核，自主優(yōu)化部分放在二期實(shí)現(xiàn)。亦可在項(xiàng)目設(shè)計階段引入，起到一部分事前審核的作用。

通過WEB界面完成全部工作，主要使用者是DBA和有一定數(shù)據(jù)庫基礎(chǔ)的研發(fā)人員。

可針對某個用戶審核，可審核包括數(shù)據(jù)結(jié)構(gòu)、SQL文本、SQL執(zhí)行特征、SQL執(zhí)行計劃等多個維度。

審核結(jié)果通過WEB頁面或?qū)С鑫募男问教峁?/p>

平臺支持主流的Oracle、MySQL數(shù)據(jù)庫，其他數(shù)據(jù)庫放在二期實(shí)現(xiàn)。

盡量提供靈活定制的能力，便于日后擴(kuò)展功能。

1.2 支持的數(shù)據(jù)庫

MySQL（5.6及以上）

Oracle（10g及以上)

1.3 審核維度

數(shù)據(jù)庫結(jié)果（對象）=》指數(shù)據(jù)庫對象，常見的表、分區(qū)、索引、視圖、觸發(fā)器等。

SQL文本（語句）=》指SQL語句文本本身。

SQL執(zhí)行計劃=》指數(shù)據(jù)庫中SQL的執(zhí)行計劃。

SQL執(zhí)行特征=》指語句在數(shù)據(jù)庫上的真實(shí)執(zhí)行情況。

1.4 實(shí)現(xiàn)原理

整個平臺的基本實(shí)現(xiàn)原理很簡單，就是將我們的審核對象（目前支持四種），通過規(guī)則集進(jìn)行篩選。符合規(guī)則的審核對象，都是疑似有問題的。平臺會將這些問題及關(guān)聯(lián)信息提供出來，供人工甄別使用。由此可見，平臺的功能強(qiáng)大與否，主要取決于規(guī)則集的豐富程度。平臺也提供了部分?jǐn)U展能力，方便擴(kuò)展規(guī)則集。

1.5 平臺架構(gòu)

圖中的方框部分，為平臺的主要模塊。底色不同的模塊，表示當(dāng)前的進(jìn)度狀態(tài)不同。虛線代表數(shù)據(jù)流，實(shí)線代表控制流。其核心為這幾個模塊：

數(shù)據(jù)采集模塊。它是負(fù)責(zé)從數(shù)據(jù)源抓取審核需要的基礎(chǔ)數(shù)據(jù)。目前支持從Oracle、MySQL抓取。

OBJ/SQL存儲庫。這是系統(tǒng)的共同存儲部分，采集的數(shù)據(jù)和處理過程中的中間數(shù)據(jù)、結(jié)果數(shù)據(jù)都保存在這里。其核心數(shù)據(jù)分為對象類和SQL類。物理是采用的MongoDB。

核心管理模塊。圖中右側(cè)虛線部分包含的兩個模塊：SQL管理和OBJ管理就是這部分。它主要是完成對象的全生命周期管理。目前只做了簡單的對象過濾功能，因此還是白色底色，核心的功能尚未完成。

審核規(guī)則和審核引擎模塊。這部分是平臺一期的核心組件。審核規(guī)則模塊是完成規(guī)則的定義、配置工作。審核引擎模塊是完成具體規(guī)則的審核執(zhí)行部分。

優(yōu)化規(guī)則和優(yōu)化引擎模塊。這部分是平臺二期的核心組件。目前尚未開發(fā)，因此為白色底色。

系統(tǒng)管理模塊。這部分是完成平臺基礎(chǔ)功能，例如任務(wù)調(diào)度、空間管理、審核報告生成、導(dǎo)出等功能。

1.6 操作流程

二、環(huán)境搭建

本項(xiàng)目中會使用到mysql，mongo和redis，python支持2.6、2.7，暫不支持python3。

mysql用來存儲pt-query-digest抓取的mysql的慢查詢，mongo存儲我們的規(guī)則、oracle的采集結(jié)果、執(zhí)行job，解析結(jié)果集等，redis作為任務(wù)調(diào)度celery的隊(duì)列。

在mysql的數(shù)據(jù)采集部分我們使用的是pt-query-digest工具。

2.1 依賴安裝 新建用戶

為了減少后面對supervisord.conf配置文件的修改，我們建議使用統(tǒng)一的用戶進(jìn)行安裝

    adduser themis-test
    su - themis-test

后面的操作除了virtualenv安裝需要切換到root用戶，其他的都默認(rèn)在themis-test用戶下安裝

安裝cx_Oracle依賴

由于在審核過程中需要連接oracle數(shù)據(jù)庫，因此需要先安裝cx_Oracle的依賴，參考：http://www.jianshu.com/p/pKz5K7

安裝python依賴

首先安裝virtualenv，參考鏈接：https://pypi.python.org/simpl...，建議安裝13.0.3或更新版本

如果聯(lián)網(wǎng)不方便，或者在公司內(nèi)網(wǎng)，可以從https://pan.baidu.com/s/1o7AI...，提取碼：3sy3

壓縮包里包括所有需要用到的依賴包

安裝virtualenv

tar -zxvf virtualenv-13.0.3.tar.gz
cd virtualenv-13.1.0
python setup.py install

關(guān)于virtualenv的使用請參考：https://virtualenv.pypa.io/en...

安裝其他依賴

首先初始化虛擬環(huán)境

virtualenv python-project --python=python2.7
source /home/themis-test/python-project/bin/activate

解釋一下上面的命令：virtualenv的第二個參數(shù)python-project是我們建立的虛擬環(huán)境的名稱，這個名稱我們雖然可以隨便定義，但是后面supervisor的配置中使用了此名稱，建議使用默認(rèn)的，大家如果對python比較熟悉，可以隨意定義。后面我們指定了python的版本,--python可以不加，默認(rèn)會使用系統(tǒng)自帶的python版本構(gòu)建虛擬環(huán)境，當(dāng)有多個版本的python時，可以使用此命令指定版本。

下面使用source初始化虛擬環(huán)境，以后安裝的包依賴等都會被裝到/home/themis-test/python-project/home/themis-test/python2.7/lib/python2.7/site-packages這里。

如果可以聯(lián)網(wǎng)，進(jìn)入源代碼目錄使用如下命令

pip install -r requirement.txt

多帶帶安裝Pyh,下載地址：https://github.com/hanxiaomax...

unzip pyh-master.zip
cd pyh-master
python setup.py install

如果在局域網(wǎng)環(huán)境不方便聯(lián)網(wǎng)請利用的上面網(wǎng)盤里提供的壓縮包

pip install --no-index -f file:///home/themis-test/software -r requirement.txt

file:///home/themis-test/software是壓縮包解壓的位置

2.2 配置文件介紹

下面以配置文件settings.py為例子說明需要的一些依賴

# # set oracle ipaddress, port, sid, account, password
# ipaddres : port -> key
ORACLE_ACCOUNT = {
    # oracle
    "127.0.0.1:1521": ["cedb", "system", "password"]
}

# set mysql ipaddress, port, account, password
MYSQL_ACCOUNT = {
    "127.0.0.1:3307": ["mysql", "user", "password"]
}

# pt-query save data for mysql account, password
PT_QUERY_USER = "user"
PT_QUERY_PORT = 3306
PT_QUERY_SERVER = "127.0.0.1"
PT_QUERY_PASSWD = "password"
PT_QUERY_DB = "slow_query_log"

# celery setting
REDIS_BROKER = "redis://:password@127.0.0.1:6379/0"
# REDIS_BROKER = "redis://:@127.0.0.1:6379/0"


REDIS_BACKEND = "redis://:password@127.0.0.1:6379/0"
# REDIS_BACKEND = "redis://:@127.0.0.1:6379/0"


CELERY_CONF = {
    "CELERYD_POOL_RESTARTS": True
}

# mongo server settings
MONGO_SERVER = "127.0.0.1"
MONGO_PORT = 27017
# MONGO_USER = "sqlreview"
MONGO_USER = "sqlreview"
# MONGO_PASSWORD = ""
MONGO_PASSWORD = "sqlreview"
MONGO_DB = "sqlreview"

# server port setting
SERVER_PORT = 7000

# capture time setting
CAPTURE_OBJ_HOUR = "18"
CAPTURE_OBJ_MINUTE = 15
CAPTURE_OTHER_HOUR = "18"
CAPTURE_OTHER_MINUTE = 30

ORACLE_ACCOUNT和MYSQL_ACCOUNT是我們需要審核的目標(biāo)機(jī)器的帳號和密碼，主要是在數(shù)據(jù)采集部分和對象類審核以及mysql的執(zhí)行計劃類審核部分會用到，因此該帳號應(yīng)該具有較高的權(quán)限，為了安全在生產(chǎn)環(huán)境應(yīng)該設(shè)置專有的帳號并設(shè)置專有的權(quán)限，或者加上一些ip的限制等。

PT_QUERY_USER、PT_QUERY_PORT、PT_QUERY_SERVER、PT_QUERY_PASSWD、PT_QUERY_DB是我們pt-query-digest工具解析目標(biāo)機(jī)器的慢sql后需要存儲到的mysql數(shù)據(jù)庫的一些配置。

REDIS_BROKER、REDIS_BACKEND、CELERY_CONF是任務(wù)調(diào)度工具celery的配置選項(xiàng)。

MONGO_SERVER、MONGO_PORT、MONGO_USER、MONGO_PASSWORD、MONGO_DB是需要存儲結(jié)果集的mongo的配置選項(xiàng)。

SERVER_PORT是web管理端監(jiān)聽的端口，不要使用9000和5555端口，這兩個被分配給了文件下載服務(wù)器和flower管理工具。

CAPTURE_OBJ_HOUR、CAPTURE_OBJ_MINUTE、CAPTURE_OTHER_HOUR、CAPTURE_OTHER_MINUTE是針對oracle的數(shù)據(jù)采集模塊需要設(shè)置的采集時間，根據(jù)自己的實(shí)際情況設(shè)置不同的時間即可，避開業(yè)務(wù)高峰期。

請按照相關(guān)說明配置該文件

2.3 規(guī)則導(dǎo)入

進(jìn)入源代碼目錄，使用如下命令進(jìn)行規(guī)則初始化

mongoimport -h 127.0.0.1 --port 27017 -u sqlreview -p password -d sqlreview -c rule --file script/rule.json

三、數(shù)據(jù)采集

數(shù)據(jù)采集分為oracle部分和mysql部分，oracle部分使用的是自己開發(fā)的一些腳本，mysql使用的是pt-query-digest工具。

數(shù)據(jù)采集的頻率默認(rèn)是一天一次，可以根據(jù)自己的需要進(jìn)行修改。

oracle部分依賴于celery的任務(wù)調(diào)度，會用supervisor托管，pt-query-digest可以加到crontab里。

3.1 oracle部分 手動數(shù)據(jù)采集

手動采集oracle obj信息

配置data/capture_obj.json文件

{
    "module": "capture",   
    "type": "OBJ",    
    "db_type": "O",    
    "db_server": "127.0.0.1",    
    "db_port": 1521,   
    "capture_date": "2017-02-28"
}

只需要配置db_server和dbport選項(xiàng)，oracle的端口要求是1521，capture_date指定采集數(shù)據(jù)的日期，現(xiàn)在只支持按天采集。

執(zhí)行命令

python command.py -m capture_obj -c data/capture_obj.json

手動采集oracle other信息，包括plan、stat、text信息。

配置data/capture_other.json文件。

{
    "module": "capture",   
    "type": "OTHER",    
    "db_type": "O",    
    "db_server": "127.0.0.1",    
    "db_port": 1521,    
    "capture_date": "2017-02-28"
}

配置方式同上面的obj

執(zhí)行命令

python command.py -m capture_obj -c data/capture_obj.json

手動采集數(shù)據(jù)一般用于初次采集，后面一般都會通過自動采集完成。

自動數(shù)據(jù)采集

配置settings.py文件里的ORACLE_ACCOUNT，該賬號需要具有查詢所有表的權(quán)限，即select any table。

ORACLE_ACCOUNT = {    
    # oracle    
    "127.0.0.1:1521": ["cedb", "system", "password"]
}

配置調(diào)度時間

# capture time setting
CAPTURE_OBJ_HOUR = "18"
CAPTURE_OBJ_MINUTE = 15
CAPTURE_OTHER_HOUR = "18"
CAPTURE_OTHER_MINUTE = 30

如果不對oracle數(shù)據(jù)庫審核，可以不用配置。

3.2 mysql部分 pt-query-digest使用

可以將慢日志集中到一個地方，再集中入庫。

也可以在每臺mysql機(jī)器上安裝pt-query-digest,再將解析結(jié)果推送到存儲機(jī)器上。

本平臺采用第二種方案

從 https://www.percona.com/get/p... 下載并安裝pt-query-digest，如果缺少依賴使用yum安裝。

使用scirpt/pt_query_digest.sql初始化表結(jié)構(gòu),不要使用默認(rèn)的表結(jié)構(gòu)。

在目標(biāo)機(jī)器上配置好script/pt-query-digest.sh腳本:

pt-query-digest --user=root --password=password --review h=127.0.0.1,D=slow_query_log,t=global_query_review --history h=127.0.0.1,D=slow_query_log,t=global_query_review_history --no-report --limit=0% --filter=" $event->{Bytes} = length($event->{arg}) and $event->{hostname}="127.0.0.1:3306" and $event->{client}=$event->{ip}" slow.log

$event->{hostname}="127.0.0.1:3306" 為被搜集慢日志的機(jī)器的ip地址和端口號。

主要是配置存儲解析結(jié)果的mysql機(jī)器的帳號，密碼，機(jī)器ip，端口號，以及慢日志的位置等。

運(yùn)行pt-query-digest.sh腳本開始搜集mysql慢查詢數(shù)據(jù)，后面可以將其加入定時任務(wù)，按固定時間段搜集。

四、任務(wù)導(dǎo)出 4.1 手動任務(wù)導(dǎo)出

配置data/export.json文件

{
    "module": "export",
    "type": "export",
    "task_uuid": "08d03ec6-f80a-11e6-adbc-005056a30561",
    "file_id": "08d03ec6-f80a-11e6-adbc-005056a30561"
}

配置task_uuid和file_id選項(xiàng)，這是任務(wù)的唯一標(biāo)志，可以通過從mongo中sqlreview庫中job集合查看，然后運(yùn)行：

python command.py -m export -c data/export.json

進(jìn)行手動任務(wù)導(dǎo)出，會生成離線的html壓縮包，保存在task_export/downloads下，可以直接解壓，然后通過瀏覽器打開查看報告。

4.2 自動任務(wù)導(dǎo)出

通過在celery配合supervisor托管來實(shí)現(xiàn)，具體可參考supervisor的配置。

五、web管理端 5.1 手動開啟web管理端

執(zhí)行如下命令

python command.py -m web -c data/web.json

訪問 http://127.0.0.1:7000 即可打開管理端

六、supervisor配置 6.1 supervisor配置

;web管理端開啟
[program:themis-web]
command=/home/themis-test/python-project/bin/python command.py -m web -c data/web.json
autostart=true
redirect_stderr=true
stdout_logfile=tmp/themis_web.log
loglevel=info

;開啟文件下載服務(wù)器
[program:themis-download]
command=/home/themis-test/python-project/bin/python task_export/file_download.py
autostart=true
redirect_stderr=true
stdout_logfile=tmp/themis_download.log
loglevel=info

;開啟任務(wù)導(dǎo)出模塊
[program:themis-export]
command=/home/themis-test/python-project/bin/celery -A task_exports worker -E -l info
autostart=true
redirect_stderr=true
stdout_logfile=tmp/themis_export.log
loglevel=info
;開啟規(guī)則解析模塊
[program:themis-analysis]
command=/home/themis-test/python-project/bin/celery -A task_other worker -E -Q sqlreview_analysis -l info
autostart=true
redirect_stderr=true
stdout_logfile=tmp/themis_analysis.log
loglevel=info
;開啟obj信息抓取模塊
[program:themis-capture-obj]
command=/home/themis-test/python-project/bin/celery -A task_capture worker -E -Q sqlreview_obj -l debug -B -n celery-capture-obj
autostart=true
redirect_stderr=true
stdout_logfile=tmp/themis_capture_obj.log
loglevel=info
;開啟plan、stat、text信息抓取模塊
[program:themis-capture-other]
command=/home/themis-test/python-project/bin/celery -A task_capture worker -E -Q sqlreview_other -l info -B -n celery-capture-other
autostart=true
redirect_stderr=true
stdout_logfile=tmp/themis_capture_other.log
loglevel=info
;celery的任務(wù)管理模塊,去掉前邊的";"即可開啟，需要配置redis的連接方式
;[program:themis-flower]
;command=/home/themis-test/python-project/bin/celery flower --address=0.0.0.0 --broker=redis://:password@127.0.0.1:6379/0
;autostart=true
;redirect_stderr=true
;stdout_logfile=tmp/themis_flower.log
;loglevel=info

注意：如果前邊建立的用戶不同或者使用了不同的目錄，需要將這個文件里的/home/themis-test/python-project/替換為自己的路徑。

supervisor常用命令

開啟supervisor
supervisord -c script/supervisord.conf
重載supervisor
supervisorctl -u sqlreview -p sqlreview.themis reload
進(jìn)入supervisor管理控制臺,這里的-u,-p代表supervisorctl的用戶名和密碼，在supervisord.conf中配置
supervisorctl -u username -p password

參考：http://www.supervisord.org/

七、常見問題

主機(jī)名稱不一致，導(dǎo)致cx_Oracle出錯。

celery與flower版本不一致，導(dǎo)致flower不能啟動，升級flower到0.8.1以上。

mysql5.7不能初始化，datetime默認(rèn)類型為(DEFAULT "0000-00-00 00:00:00)。

mongodb文檔最大插入數(shù)據(jù)有限制，導(dǎo)致生成結(jié)果時插入文檔失敗。

在oracle獲取用戶的時候，有的系統(tǒng)可能會將用戶建到users下，因此需要將 NOT IN ("USERS", "SYSAUX"))改成 NOT IN ("SYSAUX"))

文件位置：capture/sql.py webui/utils/f_priv_db_user_list.py

有些情況下需要安裝python-devel，centos安裝 yum install python-devel

mysqldb安裝問題參考：http://blog.csdn.net/wklken/a...

八、異常處理

程序中間出了差錯可以通過開啟flower來查看，或者通過手工執(zhí)行的方式進(jìn)行查看代碼。

flower的開啟可以通過在supervisor中配置或者

;celery的任務(wù)管理模塊,去掉前邊的";"即可開啟，需要配置redis的連接方式
;[program:themis-flower]
;command=/home/themis-test/python-project/bin/celery flower --address=0.0.0.0 --broker=redis://:password@127.0.0.1:6379/0
;autostart=true
;redirect_stderr=true
;stdout_logfile=tmp/themis_flower.log
;loglevel=info

也可以手工開啟：

celery flower --address=0.0.0.0 --broker=redis://:password@127.0.0.1:6379/0

不過都需要配置redis認(rèn)證選項(xiàng)。

九、加入開發(fā)

有問題可以直接在 https://github.com/CreditEase... 提出。

本文選自：wiki：https://tuteng.gitbooks.io/th...。
由于篇幅關(guān)系內(nèi)容有所調(diào)整，請點(diǎn)擊鏈接查看原文。

來源：宜信技術(shù)學(xué)院

GPU云服務(wù)器云服務(wù)器視頻點(diǎn)播審核包購買攻略開源數(shù)據(jù)庫軟件 Themis 開源數(shù)據(jù)分析軟件

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://www.ezyhdfw.cn/yun/18007.html

發(fā)表評論

登陸后可評論

0條評論

fsmStudy

男|高級講師

我要關(guān)注我要私信

TA的文章

C++從0到1之命名空間

閱讀 3406·2021-11-25 09:43
立即更新您的Windows PC!微軟周二補(bǔ)丁修復(fù)易受主動攻擊的0 Day漏洞!

閱讀 3083·2021-10-15 09:43
關(guān)于這個大一結(jié)束——————

閱讀 2036·2021-09-08 09:36
CSS相關(guān)面試題——三欄等高布局

閱讀 3028·2019-08-30 15:56
設(shè)置圖片水平垂直居中

閱讀 814·2019-08-30 15:54
浮動及浮動相關(guān)問題(初次)

閱讀 2752·2019-08-30 15:54
反思：我使用ID選擇器時應(yīng)該考慮這些問題

閱讀 3066·2019-08-30 11:26
004-盒模型及文本溢出

閱讀 1314·2019-08-29 17:27

亚洲中字慕日产2020,大陆极品少妇内射AAAAAA,无码av大香线蕉伊人久久,久久精品国产亚洲av麻豆网站

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！

宜信開源|數(shù)據(jù)庫審核軟件Themis部署攻略

相關(guān)文章

**宜信開源|數(shù)據(jù)庫審核軟件Themis的規(guī)則解析**

發(fā)表評論

0條評論

fsmStudy

男|高級講師

TA的文章

C++從0到1之命名空間

立即更新您的Windows PC!微軟周二補(bǔ)丁修復(fù)易受主動攻擊的0 Day漏洞!

關(guān)于這個大一結(jié)束——————

CSS相關(guān)面試題——三欄等高布局

設(shè)置圖片水平垂直居中

浮動及浮動相關(guān)問題(初次)

反思：我使用ID選擇器時應(yīng)該考慮這些問題

004-盒模型及文本溢出

最新活動

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！

宜信開源|數(shù)據(jù)庫審核軟件Themis部署攻略

相關(guān)文章

發(fā)表評論

0條評論

男|高級講師

TA的文章

最新活動

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！