2021年10月6日 并發(fā)控制

事務(wù)

把一系列操作打包，要么全做，要么全不做，
特點(diǎn)：原子性、一致性、隔離性、持續(xù)性
原子性：不可分割，要么全做，要么全不做；
一致性：事務(wù)執(zhí)行前后，數(shù)據(jù)保持一致，類似能量守恒，一個(gè)地方轉(zhuǎn)移到另一個(gè)地方；
隔離性：事務(wù)之間獨(dú)立進(jìn)行，互不影響；
持續(xù)性：事務(wù)執(zhí)行之后結(jié)果影響是持續(xù)的。

并發(fā)產(chǎn)生的問題

并發(fā)是為了提高操作的效率。并發(fā)操作，并行執(zhí)行，往往有問題。
1.丟失更新

				T1						T2		①	讀取A=10		②								讀取A=10		③	A=A-5寫回		④								A=A-8寫回

我們?cè)鞠Ｍ?5-8，一共-13， 但是最后的結(jié)果是2，產(chǎn)生丟失更新；
2.不可重復(fù)讀
在做加法結(jié)束時(shí)，要做驗(yàn)算，但是T2的存在讓驗(yàn)算不準(zhǔn)，反而出錯(cuò)

				T1							T2		①	讀取A=20			讀取B=30			求和=50		②								讀取A=20										做A自增，A=A+50										寫回A=70		③	A=70			讀取B=30			求和=100		（驗(yàn)算不對(duì)）

3.讀“臟”數(shù)據(jù)
T2在讀好數(shù)據(jù)后，T1做回滾操作，導(dǎo)致T2讀取的數(shù)據(jù)無效

				T1							T2		①	讀取A=20			A=A+50			寫回70		②								讀取A=70		③	RollBack			A=20

解決方案

封鎖協(xié)議（X鎖-寫鎖；S鎖-讀鎖）
一級(jí)封鎖協(xié)議：事務(wù)T在修改數(shù)據(jù)R之前，必須對(duì)其加X鎖，直到事物結(jié)束才釋放。可防止丟失修改
二級(jí)封鎖協(xié)議：一級(jí)封鎖協(xié)議加上事務(wù)T在讀取數(shù)據(jù)R之前先對(duì)其加S鎖，讀完后即可釋放S鎖。可防止丟失修改，還可以防止讀“臟”數(shù)據(jù)
三級(jí)封鎖協(xié)議：一級(jí)封鎖協(xié)議加上事務(wù)T在讀取數(shù)據(jù)R之前先對(duì)其加S鎖，知道事務(wù)結(jié)束才釋放。可防止丟失丟修改，防止讀“臟”數(shù)據(jù)，防止數(shù)據(jù)重復(fù)讀
兩段鎖協(xié)議：可串行化的。可能會(huì)發(fā)生死鎖。
死鎖問題：可以預(yù)防，可以解決死鎖

2021年10月6日 數(shù)據(jù)庫(kù)的完整性約束

實(shí)體完整性約束：定義主鍵。主鍵不能為空，不能重復(fù)
參照完整性約束：外鍵。外鍵不能隨便填，要求填入的數(shù)據(jù)是對(duì)應(yīng)表的數(shù)據(jù)。允許為空。
用戶自定義完整性約束：如輸入年齡，就不能輸入負(fù)數(shù)等。
觸發(fā)器：更加復(fù)雜的要求往往通過觸發(fā)器。

2021年10月6日 數(shù)據(jù)庫(kù)安全

2021年10月6日 數(shù)據(jù)備份

冷備份和熱備份
冷備份也稱為靜態(tài)備份，是將數(shù)據(jù)庫(kù)正常關(guān)閉，在停止?fàn)顟B(tài)下，將數(shù)據(jù)庫(kù)的文件全部備份（復(fù)制）下來
熱備份也稱為動(dòng)態(tài)備份，是利用備份軟件，在數(shù)據(jù)庫(kù)正常運(yùn)行的狀態(tài)下，將數(shù)據(jù)庫(kù)中的數(shù)據(jù)文件備份出來。

完全備份、差量備份、增量備份
完全備份：備份所有數(shù)據(jù)
差量備份：僅備份上一次 完全備份 之后變化的數(shù)據(jù)
增量備份：備份上一次 備份 之后變化的數(shù)據(jù)

在做過上述備份時(shí)
假如數(shù)據(jù)庫(kù)需要恢復(fù)到周三之前的版本，要經(jīng)過先恢復(fù)周一的完全備份，在恢復(fù)周二的增量備份，再恢復(fù)周三的增量備份，才能到達(dá)周三的版本。要點(diǎn)：需要按時(shí)間順序逐個(gè)恢復(fù)
假如要恢復(fù)到周五的數(shù)據(jù)庫(kù)，那只要先恢復(fù)周日的完全備份，再恢復(fù)周四的差量備份，再恢復(fù)周五的增量備份
靜態(tài)海量轉(zhuǎn)儲(chǔ)、靜態(tài)增量轉(zhuǎn)儲(chǔ)、動(dòng)態(tài)海量轉(zhuǎn)儲(chǔ)、動(dòng)態(tài)增量轉(zhuǎn)儲(chǔ)
靜態(tài)海量轉(zhuǎn)儲(chǔ)：在系統(tǒng)中無運(yùn)行事務(wù)時(shí)進(jìn)行，每次轉(zhuǎn)儲(chǔ)全部數(shù)據(jù)庫(kù)。
靜態(tài)增量轉(zhuǎn)儲(chǔ)：在系統(tǒng)中無運(yùn)行事務(wù)時(shí)進(jìn)行，每次只轉(zhuǎn)儲(chǔ)上一次轉(zhuǎn)儲(chǔ)后更新過的數(shù)據(jù)。
動(dòng)態(tài)海量轉(zhuǎn)儲(chǔ)：轉(zhuǎn)儲(chǔ)期間允許對(duì)數(shù)據(jù)庫(kù)進(jìn)行存取或修改，每次轉(zhuǎn)儲(chǔ)全部數(shù)據(jù)庫(kù)。
動(dòng)態(tài)增量轉(zhuǎn)儲(chǔ)：轉(zhuǎn)儲(chǔ)期間允許對(duì)數(shù)據(jù)庫(kù)進(jìn)行存取或修改，每次自轉(zhuǎn)出上一次轉(zhuǎn)儲(chǔ)后更新過的數(shù)據(jù)。
日志文件：事務(wù)日志是針對(duì)數(shù)據(jù)庫(kù)改變所做的記錄，它可以記錄針對(duì)數(shù)據(jù)庫(kù)的任何操作，并將記錄結(jié)果保存在毒理的文件中。
數(shù)據(jù)庫(kù)故障與恢復(fù)

數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘

數(shù)據(jù)倉(cāng)庫(kù)特殊的數(shù)據(jù)庫(kù)，存放大量，不常用的數(shù)據(jù)，可以供后續(xù)做統(tǒng)計(jì)等。特點(diǎn)：
面向主題：只看數(shù)據(jù)庫(kù)某一個(gè)主題來組合數(shù)據(jù)
集成的：會(huì)保存一些報(bào)表信息
相對(duì)穩(wěn)定的（非易失的）：幾乎不做變化了
反映歷史變化（隨著時(shí)間變化）：隔一段時(shí)間導(dǎo)入
對(duì)數(shù)據(jù)源抽?。赡軓牟煌瑪?shù)據(jù)庫(kù)提?。?、清理（比如統(tǒng)一格式）、轉(zhuǎn)載、刷新
數(shù)據(jù)集市：數(shù)據(jù)倉(cāng)庫(kù)的建立是分步來建立，先做集市，再做倉(cāng)庫(kù)
OLAP服務(wù)器：（聯(lián)機(jī)分析處理器）對(duì)數(shù)據(jù)倉(cāng)庫(kù)做分析處理的工作
表層：查詢工具、報(bào)表工具、分析工具、數(shù)據(jù)挖掘等。
數(shù)據(jù)挖掘
方法：決策樹、神經(jīng)網(wǎng)絡(luò)、遺失算法、關(guān)聯(lián)規(guī)則挖掘算法
分類：關(guān)聯(lián)分析、序列模式分析、分類分析、聚類分析

反規(guī)范化

反規(guī)范化：（用空間換時(shí)間）由于規(guī)范化會(huì)使表不斷地拆分，從而導(dǎo)致數(shù)據(jù)表過多。這樣雖然減少了數(shù)據(jù)冗余，提高了增、刪、改的速度，但是會(huì)增加查詢的工作量。系統(tǒng)需要進(jìn)行多次連接，才能進(jìn)行查詢操作，是的系統(tǒng)效率大大下降。
技術(shù)手段：
增加派生性冗余列
增加冗余列
重新組表
分割表

大數(shù)據(jù)

數(shù)據(jù)量大、處理速度快、數(shù)據(jù)多樣性、數(shù)據(jù)有價(jià)值
大數(shù)據(jù)分析與傳統(tǒng)數(shù)據(jù)分析相比難易度

大數(shù)據(jù)處理系統(tǒng)應(yīng)該具有的重要特性
√ 高度可擴(kuò)展性（集群環(huán)境可滿足）
√ 高能性（集群環(huán)境可滿足）
√ 高容錯(cuò)度（集群環(huán)境可滿足）
√ 支持異構(gòu)環(huán)境
√ 較短的分析延遲
√ 易用且開放的接口
√ 較低成本
√ 向下兼容性