摘要：今天這堂課，分為三個(gè)大點(diǎn)，正如標(biāo)題所指出的，是討論數(shù)據(jù)的本質(zhì)概念與應(yīng)用實(shí)踐。采用一些文件型數(shù)據(jù)庫(kù)，比如支持訪問(wèn)的文本數(shù)據(jù)庫(kù)，比如比如除了特定的數(shù)據(jù)類(lèi)型，一般也只保存文本描述數(shù)據(jù)。上面的場(chǎng)景，大多是結(jié)構(gòu)化數(shù)據(jù)的處理場(chǎng)景，像文本數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)。

今天這堂課，分為三個(gè)大點(diǎn)，正如標(biāo)題所指出的，是討論數(shù)據(jù)的本質(zhì)、概念與應(yīng)用實(shí)踐。第一點(diǎn)本質(zhì)的探討是站在一個(gè)更高的高度來(lái)分析數(shù)據(jù)的產(chǎn)生以及各種使用場(chǎng)景，然后將數(shù)據(jù)相關(guān)的存儲(chǔ)手段，作一個(gè)匯總講解。而概念，則是一個(gè)串講，主要放在關(guān)系數(shù)據(jù)庫(kù)上，因?yàn)槲覀兞路莨_(kāi)課，也將以關(guān)系型數(shù)據(jù)庫(kù)為主。第三點(diǎn)就是通過(guò)一些實(shí)例來(lái)鞏固前面兩點(diǎn)所講的內(nèi)容。

一、數(shù)據(jù)庫(kù)的出現(xiàn)源起和本質(zhì)
1.1 數(shù)據(jù)庫(kù)的起源
想像一下我們的電腦，有目錄，有文件，文件有大小，有位置，有格式，這個(gè)是有文件系統(tǒng)開(kāi)始就有這個(gè)概念的，肯定在有一個(gè)地方，存儲(chǔ)了這些文件的參數(shù)或者元數(shù)據(jù)，而在我們的日常生活中，每一個(gè)物體和人，都有其各自不同的特征，當(dāng)一批量的這些可描述的人的特征，想要數(shù)據(jù)化存儲(chǔ)起來(lái)的時(shí)候，也就需要有一種格式來(lái)保存。除了保存數(shù)據(jù)之外，我們還得對(duì)數(shù)據(jù)進(jìn)行管理。這就是數(shù)據(jù)庫(kù)出現(xiàn)的背景，并且隨著使用場(chǎng)景的越加復(fù)雜，數(shù)據(jù)庫(kù)本身也有了更多的衍生版本。
所以數(shù)據(jù)庫(kù)起源于對(duì)數(shù)據(jù)的存儲(chǔ)以及管理。

1.2數(shù)據(jù)庫(kù)的使用場(chǎng)景
那么我們有幾個(gè)問(wèn)題， 基于大家目前的理解，第一個(gè)問(wèn)題是有哪些需要保存的數(shù)據(jù)種類(lèi)，有哪些存儲(chǔ)方式呢？我們發(fā)散一點(diǎn)來(lái)想。

可以得到如下的情況：
A、在程序中自定義，比如數(shù)組，只保存在內(nèi)存里，等程序停止了之后，數(shù)據(jù)就沒(méi)有了。這樣可以不可以？
在這個(gè)里面存儲(chǔ)的反正是描述型數(shù)據(jù)，也可以是二進(jìn)制數(shù)組。

B、保存在一個(gè)文本文件里可以不可以，有自己的格式，比如自定義的格式，比如XML，比如JSON格式
這里保存的，只能是描述型數(shù)據(jù)。

C、采用一些文件型數(shù)據(jù)庫(kù)，比如支持SQL訪問(wèn)的文本數(shù)據(jù)庫(kù)，比如Sqlite、比如Access
除了特定的數(shù)據(jù)類(lèi)型，一般也只保存文本描述數(shù)據(jù)。

D、采用 MySQL 這樣基于網(wǎng)絡(luò)和可分布式的數(shù)據(jù)庫(kù)系統(tǒng)。
用來(lái)保存較多數(shù)據(jù)量的用戶(hù)數(shù)據(jù)、關(guān)系數(shù)據(jù)、交易數(shù)據(jù)，這些數(shù)據(jù)要實(shí)再快速查詢(xún)更新。

E、當(dāng)數(shù)據(jù)量大時(shí)，一臺(tái)設(shè)備就不能滿(mǎn)足要求，這就需要用到分布式數(shù)據(jù)庫(kù)，可能是數(shù)據(jù)集群

F、采用 memcached 這樣的軟件保存著緩存的數(shù)據(jù)。
一般用于保存文本數(shù)據(jù)或者計(jì)數(shù)。

G、采用 fastdfs 這樣的分布式文件系統(tǒng)來(lái)保存著文件數(shù)據(jù)。
不用于保存除文件本身描述之外的其他描述數(shù)據(jù)，用于保存大量的文件。

H、采用redis 這樣的KVDB 軟件來(lái)保存簡(jiǎn)單關(guān)系的描述數(shù)據(jù)，或者特定的結(jié)構(gòu)。
比如用于保存微博數(shù)據(jù)，用KEY可以迅速定位到微博內(nèi)容。

I、同KVDB類(lèi)似的，大家有聽(tīng)過(guò)隊(duì)列那幾講的同學(xué)嗎？是不是也是特殊的數(shù)據(jù)存儲(chǔ)手段呢？一邊有人生產(chǎn)數(shù)據(jù)，一邊有人消費(fèi)數(shù)據(jù)。

J、用于保存地理關(guān)系數(shù)據(jù)，并提供運(yùn)算。在英文里叫Spatial Data，也就是空間數(shù)據(jù)。Oracle最擅長(zhǎng)，現(xiàn)在MySQL也有空間擴(kuò)展。
http://dev.mysql.com/doc/refman/5.1/zh/spatial-extensions-in-mysql.html

K、而對(duì)于大量的，源源不斷的海量數(shù)據(jù)，相對(duì)不那么規(guī)則的數(shù)據(jù)存儲(chǔ)，我們可能存儲(chǔ)在Hadoop系統(tǒng)中。

L、最后再談一個(gè)場(chǎng)景，像百度這樣的搜索引擎，他會(huì)把他的數(shù)據(jù)全放在MySQL里，然后去檢索嗎？顯然不是。有自有的索引格式和支持分布式查詢(xún)的系統(tǒng) 。

1.3數(shù)據(jù)庫(kù)場(chǎng)景以及分類(lèi)總結(jié)
總結(jié)一下：
A、在電腦時(shí)代以前，人類(lèi)就產(chǎn)生了大量的信息，而電腦時(shí)代以來(lái)，更是產(chǎn)生了大量的數(shù)字化的數(shù)據(jù)。而這些數(shù)據(jù)庫(kù)的保存的形式，從上面可以看到，依據(jù)不同的場(chǎng)景，不同的保存方式，是多種多樣的。有僅在內(nèi)存中保存，有在文件中保存，有專(zhuān)用嚴(yán)謹(jǐn)?shù)臄?shù)據(jù)庫(kù)系統(tǒng)保存，也有不那么嚴(yán)謹(jǐn)?shù)腒VDB保存。

B、根據(jù)上面的各種存儲(chǔ)場(chǎng)景，我們對(duì)數(shù)據(jù)，也做兩個(gè)簡(jiǎn)單的分類(lèi)，一個(gè)是結(jié)構(gòu)化數(shù)據(jù)庫(kù)和非結(jié)構(gòu)化數(shù)據(jù)的分類(lèi)，當(dāng)然，還有再加一種半結(jié)構(gòu)化數(shù)據(jù)的。所謂結(jié)構(gòu)化，就是很規(guī)整地有屬性的一種情況。像一個(gè)人，他有身高、體重、年齡，這個(gè)描述是結(jié)構(gòu)化的，你給照一張照片，錄一段聲音，拍一段攝像，盡管這也是數(shù)據(jù)，但是不是結(jié)構(gòu)化的。對(duì)于不同的這兩類(lèi)數(shù)據(jù)，存儲(chǔ)方式也不相同，比如結(jié)構(gòu)化數(shù)據(jù)是典型的二維表的結(jié)構(gòu)。而非結(jié)構(gòu)化數(shù)據(jù)就是只以原始數(shù)據(jù)的形式存儲(chǔ)。
上面的場(chǎng)景，大多是結(jié)構(gòu)化數(shù)據(jù)的處理場(chǎng)景，像文本數(shù)據(jù)庫(kù)、MySQL數(shù)據(jù)庫(kù)。而在fastdfs上，Hadoop上，就有大量的非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)。

C、根據(jù)數(shù)據(jù)量本身的大小，我們也可以做一個(gè)分類(lèi)?；蛘咛囟ǖ募夹g(shù)應(yīng)用場(chǎng)景。
比如小數(shù)據(jù)量數(shù)據(jù)，我們可能為了方便，就以文本的方式來(lái)保存。而對(duì)于一個(gè)正規(guī)的提供服務(wù)的網(wǎng)站，像用戶(hù)數(shù)據(jù)，比如優(yōu)才網(wǎng)的用戶(hù)數(shù)據(jù)，就會(huì)用MySQL數(shù)據(jù)庫(kù)來(lái)保存，為了訪問(wèn)速度，也會(huì)用到memcached這樣的緩存軟件。也會(huì)用fastdfs來(lái)保存小文件。而當(dāng)有大量的日志等數(shù)據(jù)量產(chǎn)生，需要進(jìn)行數(shù)據(jù)分析的時(shí)候，比如每天的數(shù)據(jù)量以幾百G，T來(lái)計(jì)的時(shí)候，就會(huì)用Hadoop 這樣的軟件。

所以，不同的數(shù)據(jù)量也使用不同的保存方式。小型數(shù)據(jù)、大中型數(shù)據(jù)、海量數(shù)據(jù)或者大數(shù)據(jù)。

D、第四個(gè)角度就是從上面可以看出，數(shù)據(jù)的存儲(chǔ)方式，有很多類(lèi)別，不同類(lèi)別適用于不同的場(chǎng)景。數(shù)據(jù)庫(kù)是很強(qiáng)大的，但是不是所有的場(chǎng)景都合適使用數(shù)據(jù)庫(kù)。比如上面講的全文檢索的場(chǎng)景，一般需要用特定的存儲(chǔ)，特定的索引方式。如果具體地講，全文檢索中，使用的一種索引，叫倒排索引。

二、數(shù)據(jù)庫(kù)有哪些概念
好的，聊完了數(shù)據(jù)以及相關(guān)軟件的一些使用場(chǎng)景，對(duì)于不同場(chǎng)景下使用不同軟件有了概念。下面我們來(lái)介紹一下，在數(shù)據(jù)庫(kù)的領(lǐng)域常用的 一些術(shù)語(yǔ)，這些術(shù)語(yǔ)，在我們的整個(gè)數(shù)據(jù)庫(kù)學(xué)習(xí)中都要用到。

由于公開(kāi)課的時(shí)間問(wèn)題，我們主要交流一下基本概念，對(duì)于高級(jí)的概念，后面的公開(kāi)課會(huì)持續(xù)地講到。

****2.1 數(shù)據(jù)庫(kù)的基本概念****
介紹我們下面數(shù)據(jù)庫(kù)的這些概念時(shí)，我們以一個(gè)公司做為對(duì)比。
2.1.1、庫(kù)
庫(kù)，就相對(duì)于一個(gè)公司，下面幾乎所有的概念都裝在這個(gè)公司里的。
在使用數(shù)據(jù)庫(kù)之前，我們得在數(shù)據(jù)庫(kù)軟件上創(chuàng)建數(shù)據(jù)庫(kù)。
在 MySQL 里，同一個(gè)連接，只能附著在同一個(gè)庫(kù)上，當(dāng)然，只要權(quán)限允許，也可以實(shí)現(xiàn)跨庫(kù)查詢(xún)。
創(chuàng)建數(shù)據(jù)庫(kù)的語(yǔ)法是
create database xxx;
只有root 用戶(hù)能創(chuàng)建庫(kù)。

2.1.2、表
表就相對(duì)于，公司的一個(gè)部門(mén)，這個(gè)部門(mén)管用戶(hù)，那個(gè)部門(mén)管訂單。就是一個(gè)又一個(gè)的表。
表由記錄和字段組成。
字段表成的是表定義。
記錄組成的是表數(shù)據(jù)。

CREATE TABLE `hstesttbl` (
  `k` int(11) NOT NULL AUTO_INCREMENT,
  `v` char(255) NOT NULL DEFAULT "",
  PRIMARY KEY (`k`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8

字段定義則有字段名，字段類(lèi)型，是否為空，是否自增長(zhǎng)，缺省值等。
記錄則是實(shí)際的數(shù)據(jù)值，同一個(gè)表的記錄的定義都是一樣的。也就是說(shuō)有相同的特征。

2.1.3、視圖
視圖類(lèi)就相當(dāng)于虛擬的項(xiàng)目小組，可以是同一個(gè)部門(mén)出來(lái)的，也可以是跨部門(mén)的。
視圖之所以說(shuō)是虛擬，因?yàn)闆](méi)有實(shí)際存在的數(shù)據(jù)。無(wú)論是定義，還是數(shù)據(jù)，都是從別的表里組合起來(lái)的。

create view hsview as select * from hstesttbl;

mysql> show tables;
+--------------------+
| Tables_in_hstestdb |
+--------------------+
| hstesttbl          |
| hsview             |
+--------------------+
2 rows in set (0.02 sec)

mysql> show create table hsviewG;
*************************** 1. row ***************************
                View: hsview
         Create View: CREATE ALGORITHM=UNDEFINED DEFINER=`root`@`localhost` SQL SECURITY DEFINER VIEW `hsview` AS select `hstesttbl`.`k` AS `k`,`hstesttbl`.`v` AS `v` from `hstesttbl`

從上面的命令可以看出，視圖跟表的操作有很多相似。并且從表到視圖還能修改字段名。

2.1.4、索引
索引就是相當(dāng)于部門(mén)每個(gè)員工的一些用于快速找到員工的屬性。比如職位，比如愛(ài)好，比如畢業(yè)學(xué)校。通過(guò)這些，就能將部門(mén)的人分類(lèi)，每一次查詢(xún)都能縮小結(jié)果集。

對(duì)表創(chuàng)建索引是，比如還是上面這個(gè)表, alter table hstesttbl add index(xxx);

2.1.5、鍵
鍵就相當(dāng)于部門(mén)每個(gè)人的一些最快捷且唯一的聯(lián)絡(luò)方式，比如電話(huà)、郵箱，微信號(hào)，QQ號(hào)都是。
添加鍵跟添加索引，類(lèi)似，刪除鍵這里介紹一下，
比如：

alter table hstesttbl drop primary key;

2.1.6、權(quán)限
是指公司內(nèi)部限制的一些紀(jì)律，比如公司外部人，是不能知道公司內(nèi)部的一些事情的。
我們可以通過(guò)

grant ALL PRIVILEGES on dbname.* to "user"@"127.0.0.1" identified by "password" with grant option;

這樣的語(yǔ)句給某用戶(hù)授權(quán)，全權(quán)訪問(wèn)某個(gè)庫(kù)。這個(gè)這個(gè)用戶(hù)只能訪問(wèn)這個(gè)庫(kù)，在沒(méi)有獲得更多授權(quán)的情況下。

上面說(shuō)只有root用戶(hù)能創(chuàng)建數(shù)據(jù)庫(kù)，而對(duì)于上面的其他操作，比如創(chuàng)建表，添加視圖，新建、刪除索引和鍵，只要經(jīng)過(guò)了上面的授權(quán)，就可以做了。

2.1.7、SQL
SQL就相當(dāng)于公司的一些規(guī)定，指令。比如我們?cè)诠纠锝涣髡f(shuō)，可以發(fā)布到生產(chǎn)環(huán)境了。聽(tīng)起來(lái)一句簡(jiǎn)單的話(huà)，包含著可能進(jìn)行了產(chǎn)品確認(rèn)，各種測(cè)試，可以由運(yùn)維上線了。
SQL是我們同數(shù)據(jù)庫(kù)打交道的指令。上面其實(shí)在講各個(gè)概念時(shí)，已經(jīng)都講過(guò)了一些SQL命令，我想這里提幾個(gè)點(diǎn)。

手寫(xiě)命令，非常重要，優(yōu)才網(wǎng)要求自己的學(xué)員都要有手寫(xiě)命令的能力，不能離開(kāi)phpmyadmin就沒(méi)有辦法干活。

SQL上面盡管介紹了這么多，我們對(duì)它進(jìn)行一個(gè)分類(lèi)，其實(shí)這個(gè)分類(lèi)早有人做了。主要是為DDL、DML、DCL（當(dāng)然還有一個(gè)TCL，我們今天不講）。

（1）數(shù)據(jù)定義。（SQL DDL）用于定義SQL模式、基本表、視圖和索引的創(chuàng)建和撤消操作。上面的，大多是DDL。
（2）數(shù)據(jù)操縱。（SQL DML）數(shù)據(jù)操縱分成數(shù)據(jù)查詢(xún)和數(shù)據(jù)更新兩類(lèi)。數(shù)據(jù)更新又分成插入、刪除、和修改三種操作。 這就是我們平常所熟知的增刪改查操作。
（3）數(shù)據(jù)控制（DCL）。包括對(duì)基本表和視圖的授權(quán)，完整性規(guī)則的描述，事務(wù)控制等內(nèi)容。這個(gè)就是我們上面也有涉及，權(quán)限處理。

2.2 學(xué)術(shù)性的概念
?1、范式與冗余
–第一范式，列不可以分割，比如興趣字段，它里面，可能寫(xiě)了籃球、電影等多項(xiàng)。原則上來(lái)講，這個(gè)表是不滿(mǎn)足第一范式的。應(yīng)該專(zhuān)門(mén)建立一個(gè)用戶(hù)興趣表，有uid和興趣。然后一個(gè)人有多條記錄。
所以在數(shù)據(jù)庫(kù)字段定義時(shí)，需要顯式地指明數(shù)據(jù)類(lèi)型，除了文本類(lèi)型之外，你很難往一個(gè)字段里附加多個(gè)信息。

–第二范式，主鍵決定了其他全部屬性，比如一個(gè)班級(jí)學(xué)生表，一個(gè)學(xué)號(hào)，決定了學(xué)生其他的信息，比如有一個(gè)表，里面有學(xué)號(hào)、學(xué)院編號(hào)、學(xué)生姓名、年齡、學(xué)院、院長(zhǎng)。學(xué)號(hào)和學(xué)院編號(hào)是主鍵，看起來(lái)沒(méi)有錯(cuò)，學(xué)生在這個(gè)學(xué)院編號(hào)里，決定了哪個(gè)學(xué)院，院長(zhǎng)是誰(shuí)誰(shuí)誰(shuí)。不過(guò)這是不滿(mǎn)足第二范式的，因?yàn)閷W(xué)院和院長(zhǎng)不是由學(xué)號(hào)這個(gè)主鍵來(lái)決定的，而是由學(xué)院編號(hào)來(lái)決定的。所以要分拆。

–和三范式，其他屬性全由主鍵決定， 比如還是上面這個(gè)表，里面有學(xué)號(hào)、學(xué)院編號(hào)、學(xué)生姓名、年齡、學(xué)院、院長(zhǎng)。學(xué)號(hào)是主鍵，看起來(lái)沒(méi)有錯(cuò)，學(xué)生在這個(gè)學(xué)院里，院長(zhǎng)是誰(shuí)誰(shuí)誰(shuí)。不過(guò)這是不滿(mǎn)足第二范式的，因?yàn)樵洪L(zhǎng)不是由學(xué)號(hào)這個(gè)主鍵來(lái)決定的，而是由學(xué)院來(lái)決定的。所以要分拆。

?2、ACID：
–原子性 (Atomicity) ， 不可中間失敗。比如說(shuō)，我們買(mǎi)東西，一邊是買(mǎi)家付款，從買(mǎi)家賬戶(hù)扣除，另一邊是存錢(qián)入賣(mài)家賬戶(hù)，這分了兩步，這不是原子的。因?yàn)榭赡苤虚g失敗。比如扣錢(qián)成功，存錢(qián)未成功。

–一致性（Consistency），還是上面這個(gè)例子，交易完成后，數(shù)據(jù)一致，收支相抵。不能一邊多，一邊少。

–隔離性（Isolation），避免并發(fā)混亂，很多數(shù)據(jù)，一個(gè)客戶(hù)訪問(wèn)時(shí)沒(méi)有問(wèn)題，多個(gè)用戶(hù)在高并發(fā)時(shí)訪問(wèn)，也要滿(mǎn)足數(shù)據(jù)不會(huì)錯(cuò)亂。

–持久性（Durability），永久保存，就是不要丟失。不能一關(guān)機(jī)沒(méi)有了，即使丟一條也不成。

2.3 更多高級(jí)術(shù)語(yǔ)
1、存儲(chǔ)引擎 、事務(wù)、復(fù)合索引、連接池、備份、恢復(fù)
2、主從復(fù)制、行鎖定、表鎖定、慢查詢(xún)、二進(jìn)制日志、臨時(shí)表、內(nèi)容分發(fā)、同步、數(shù)據(jù)庫(kù)分區(qū)、分庫(kù)、分表、水平拆分、垂直拆分
這更多的高級(jí)術(shù)語(yǔ)，我們?cè)诤竺嬖俳涣鳎蛘咴谌珬９こ處熣n程中再交流。