摘要：用動(dòng)態(tài)規(guī)劃決定連接的執(zhí)行順序，當(dāng)參與連接的表數(shù)量不多于時(shí)啟用。在邏輯優(yōu)化階段消除聚合函數(shù)時(shí)特殊處理，防止產(chǎn)生錯(cuò)誤的執(zhí)行結(jié)果。該特性通過(guò)對(duì)進(jìn)行執(zhí)行計(jì)劃綁定，以確保執(zhí)行穩(wěn)定性。執(zhí)行引擎支持對(duì)和算子進(jìn)行內(nèi)存追蹤控制。

2019 年 5 月 10 日，TiDB 發(fā)布 3.0.0-rc.1 版，對(duì)應(yīng)的 TiDB-Ansible 版本為 3.0.0-rc.1。相比 3.0.0-beta.1 版本，該版本對(duì)系統(tǒng)穩(wěn)定性、易用性、功能、優(yōu)化器、統(tǒng)計(jì)信息以及執(zhí)行引擎做了很多改進(jìn)。

SQL 優(yōu)化器

利用列之間的順序相關(guān)性提升代價(jià)估算準(zhǔn)確度，并提供啟發(fā)式參數(shù) tidb_opt_correlation_exp_factor 用于控制在相關(guān)性無(wú)法被直接用于估算的場(chǎng)景下對(duì)索引掃描的偏好程度。

當(dāng)過(guò)濾條件中包含相關(guān)列時(shí)，在抽取復(fù)合索引的訪問(wèn)條件時(shí)盡可能多地匹配索引的前綴列。

用動(dòng)態(tài)規(guī)劃決定連接的執(zhí)行順序，當(dāng)參與連接的表數(shù)量不多于 tidb_opt_join_reorder_threshold 時(shí)啟用。

在構(gòu)造 Index Join 的的內(nèi)表中，以復(fù)合索引作為訪問(wèn)條件時(shí)，盡可能多地匹配索引的前綴列。

提升對(duì)單列索引上值為 NULL 的行數(shù)估算準(zhǔn)確度。

在邏輯優(yōu)化階段消除聚合函數(shù)時(shí)特殊處理 GROUP_CONCAT ，防止產(chǎn)生錯(cuò)誤的執(zhí)行結(jié)果。

當(dāng)過(guò)濾條件為常量時(shí)，正確地將它下推到連接算子的子節(jié)點(diǎn)上。

在邏輯優(yōu)化階段列剪裁時(shí)特殊處理一些函數(shù)，例如 RAND() ，防止產(chǎn)生和 MySQL 不兼容的執(zhí)行結(jié)果。

支持 FAST ANALYZE，通過(guò)tidb_enable_fast_analyze 變量控制。該特性通過(guò)用對(duì) Region 進(jìn)行采樣取代掃描整個(gè) region 的方式加速統(tǒng)計(jì)信息收集。

支持 SQL PLAN MANAGEMENT。該特性通過(guò)對(duì) SQL 進(jìn)行執(zhí)行計(jì)劃綁定，以確保執(zhí)行穩(wěn)定性。該特性目前處于測(cè)試階段，僅支持對(duì) SELECT 語(yǔ)句使用綁定的執(zhí)行計(jì)劃，不建議在生產(chǎn)場(chǎng)景中直接使用。

執(zhí)行引擎

支持對(duì) TableReader、IndexReader 和 IndexLookupReader 算子進(jìn)行內(nèi)存追蹤控制。

在慢日志中展示更多 COPROCESSOR 端執(zhí)行任務(wù)相關(guān)細(xì)節(jié)。如 COPROCESSOR 任務(wù)數(shù)，平均/最長(zhǎng)/90% 執(zhí)行/等待時(shí)間，執(zhí)行/等待時(shí)間最長(zhǎng)的 TiKV 地址等。

支持 PREPARE 不含占位符的 DDL 語(yǔ)句。

Server

TiDB 啟動(dòng)時(shí)，只允許 DDL owner 執(zhí)行 bootstrap

新增 tidb_skip_isolation_level_check 變量控制檢查隔離級(jí)別設(shè)置為 SERIALIZABLE 時(shí)不報(bào)錯(cuò)

在慢日志中，將隱式提交的時(shí)間與 SQL 執(zhí)行時(shí)間融合在一起

RBAC 權(quán)限管理

支持 SHOW GRANT

支持 SET DEFAULT ROLE

支持 GRANT ROLE

修正了插件退出時(shí)導(dǎo)致 TiDB 退出的問(wèn)題

修正只讀語(yǔ)句被錯(cuò)誤地放到事務(wù)歷史中的問(wèn)題

kill 語(yǔ)句可以更快的結(jié)束 SQL 的執(zhí)行，并快速釋放資源

增加啟動(dòng)選項(xiàng) config-check 來(lái)檢查配置文件的合法性

修正非嚴(yán)格模式下對(duì)于寫入 NULL 字段的合法性檢查

DDL

為 CREATE TABLE 添加了 pre_split_regions 選項(xiàng)，該選項(xiàng)可以在建表時(shí)預(yù)先分配 Table Region，避免建表后大量寫入造成的寫熱點(diǎn)

優(yōu)化了部分 DDL 語(yǔ)句的執(zhí)行性能

FULLTEXT KEY 新增不支持全文索引的 warning

修正了舊版本 TiDB 中，UTF8 和 UTF8MB4 編碼的兼容性問(wèn)題

修正了一個(gè)表的 shard_row_id_bits 的潛在 BUG

修正了 ALTER TABLE Charset 后，Column Charset 不會(huì)跟隨變化的 BUG

修正了使用 BINARY/BIT 作為 Column Default Value 時(shí)，SHOW COLUMN 可能出錯(cuò)的 BUG

修正了 SHOW FULL COLUMNS 語(yǔ)句中，CHARSET / COLLATION 顯示的兼容性問(wèn)題

現(xiàn)在 SHOW COLLATIONS 語(yǔ)句只會(huì)列出 TiDB 所實(shí)際支持的 COLLATIONS

升級(jí) ETCD 版本

統(tǒng)一 etcd 的日志格式與 pd server 一致

修復(fù) prevote 可能無(wú)法選出 Leader 的問(wèn)題

快速 drop 掉會(huì)失敗的 propose 和 read 請(qǐng)求，減少阻塞后面的請(qǐng)求時(shí)間

修復(fù) Lease 的死鎖問(wèn)題

修復(fù) store 讀熱點(diǎn)的 keys 統(tǒng)計(jì)不正確問(wèn)題

支持從單一 PD 節(jié)點(diǎn)強(qiáng)制重建 PD 集群

修復(fù) Scatter Region 產(chǎn)生無(wú)效 Operator Step 的問(wèn)題

修復(fù) Region Merge Operator 超時(shí)時(shí)間過(guò)短的問(wèn)題

熱點(diǎn)調(diào)度使用高優(yōu)先級(jí)

添加 PD server 端處理 TSO 請(qǐng)求的耗時(shí) Metrics

添加相對(duì)應(yīng)的 Store ID 和 Address 到 store 相關(guān)的 Metrics

支持 GetOperator 服務(wù)

修復(fù) Heartbeat stream 下發(fā)送 error 找不到 store 的問(wèn)題

Engine

修復(fù)讀流量統(tǒng)計(jì)不準(zhǔn)確問(wèn)題

修復(fù) prefix extractor panic 的問(wèn)題

優(yōu)化內(nèi)存管理，減少 Iterator Key Bound Option 的內(nèi)存分配和拷貝

修復(fù) Merge Region 時(shí)未考慮 Learner log gap 造成的 panic 問(wèn)題

支持不同的 column families 共享 block cache

Server

減少 batch commands 的上下文切換開(kāi)銷

檢查 seek iterator status 的合法性

RaftStore

可配置化 properties index distance

Coprocessor

新增 batch index scan executor

新增向量化 evaluation 框架

新增 batch 執(zhí)行器統(tǒng)計(jì)框架

構(gòu)建 RPN expression 時(shí)檢查 max column 以防止 evaluation 階段 column offset 越界的問(wèn)題

實(shí)現(xiàn) BatchLimitExecutor

ReadPool 使用 tokio-threadpool 替換原本的 futures-cpupool，減少 context switch

新增 batch 聚合框架

新增 BatchSelectionExecutor

實(shí)現(xiàn) batch aggression function AVG

實(shí)現(xiàn) RPN function LogicalAnd

Misc

支持選用 tcmalloc 為內(nèi)存分配器

TiDB-Binlog

修復(fù) unsigned int 類型的主鍵列的 binlog 數(shù)據(jù)為負(fù)數(shù)，造成同步出錯(cuò)中斷的問(wèn)題

刪除下游是 pb 時(shí)的壓縮選項(xiàng)，修改下游名字 pb 成 file

Pump 新增 storage.sync-log 配置項(xiàng)，支持 Pump 本地存儲(chǔ)異步刷盤

Pump 和 Drainer 之間通訊支持流量壓縮

Drainer 新增 syncer.sql-mode 配置項(xiàng)，支持使用不同 sql-mode 解析 DDL query

Drainer 新增 syncer.ignore-table 配置項(xiàng)，支持過(guò)濾不需要同步的表

Lightning

使用 row id 或者列的默認(rèn)值填充 dump 文件中缺少的 column 數(shù)據(jù)

Importer 修復(fù)部分 SST 導(dǎo)入失敗依然返回導(dǎo)入成功的 bug

Importer 支持 upload SST 到 TiKV 限速

Lightning 優(yōu)化導(dǎo)入表的順序，按照表的數(shù)據(jù)大小順序進(jìn)行導(dǎo)入，減少導(dǎo)入過(guò)程中大表執(zhí)行 checksum 和 Analyze 對(duì)集群的影響，并且提高 Checksum 和 Analyze 的成功率

提升 Lightning encode SQL 性能，性能提升 50%，直接解析數(shù)據(jù)源文件內(nèi)容成 TiDB 的 types.Datum，省去 KV encoder 的多余解析工作

日志格式改為 Unified Log Format

新增一些命令行選項(xiàng)，即使缺少配置文件也能使用

數(shù)據(jù)同步對(duì)比工具 (sync-diff-inspector)

支持 checkpoint，記錄校驗(yàn)狀態(tài)，重啟后從上次進(jìn)度繼續(xù)校驗(yàn)

增加配置項(xiàng) only-use-checksum，只通過(guò)計(jì)算 checksum 來(lái)檢查數(shù)據(jù)是否一致

TiKV 監(jiān)控變更以及更新 Ansible、Grafana、Prometheus 版本

summary 監(jiān)控適用于用戶查看集群狀態(tài)

trouble_shooting 監(jiān)控適用于 DBA 排查問(wèn)題

details 監(jiān)控適用于開(kāi)發(fā)分析問(wèn)題

修復(fù)下載 Kafka 版本 Binlog 失敗的 BUG

修改操作系統(tǒng)版本限制，僅支持 CentOS 7.0 及以上，Red Hat 7.0 及以上版本的操作系統(tǒng)

滾動(dòng)升級(jí)時(shí)的版本檢測(cè)改為多并發(fā)

更新 README 中文檔鏈接

移除重復(fù)的 TiKV 監(jiān)控項(xiàng)，新增 trouble shooting 監(jiān)控項(xiàng)

優(yōu)化 table-regions.py 腳本，按表顯示 leader 分布

更新 drainer 配置文件

優(yōu)化 TiDB 監(jiān)控，新增以 SQL 類別顯示延遲的監(jiān)控項(xiàng)

更新 Lightning 配置文件，新增 tidb_lightning_ctl 腳本