摘要：根據和查出所需的。因菜哥的一個導致，然后開始了漫長的，一共歷時個小時特別說明，我們組叫菜哥和他的朋友們。

本文作者是菜哥和他的朋友們隊的于暢同學，他們的項目 TiPrometheus 已經被 Prometheus adapter 合并。該項目分兩個小項目，分別解決了時序數據的存儲與計算問題。存儲主要兼容 Prometheus 語法和數據格式，實現了精確查詢、模糊查詢，完全兼容現有語法。所有數據僅存在 TiKV 中。計算主要通過 TiKV 調用 Lua 實現，通過 Lua 動態(tài)擴展實現數據計算的功能。

既然你關注了 TiDB， 想必你一定是個關注 Infrastructure 的硬漢（妹）子。監(jiān)控作為 Infra 不可或缺的一環(huán)，其核心便是 TSDB（time series database） 。

TSDB 是一種以時間為主要索引的數據庫，主要用來存儲大量以時間為序列的指標數據，數據結構也比較簡單，通常包括特征信息，指標數據和 timestamp。常見的 TSDB 包括 InfluxDB, OpenTSDB, Prometheus。

而 Prometheus 是一整套監(jiān)控系統(tǒng)，時序數據庫是它的存儲部分，下面這張架構圖來自于 Prometheus 官方，簡單概括了其架構和生態(tài)的組成。

Prometheus 還支持一個圖上沒有體現的功能 Remote Storage，可以進行遠程的讀寫，對查詢是透明的。這個功能主要是用來做長存儲。我們的項目就是實現了一個基于 TiKV 的 TSDB 來做 Prometheus 的 Remote Storage。

Prometheus 記錄的數據結構分為兩部分 label, samples。label 記錄了一些特征信息。samples 包含了指標數據和 timestamp。

"labels": [{
    "job":        "node",
    "instance":   "123.123.1.211:9090",
}]
"samples":[{
    "timestamp": 1473305798
    "value": 0.9
}]

label 和時間范圍結合，可以查詢到需要的 value。

為了查詢這些記錄，我們需要構建兩種索引 label index 和 time index，并以特殊的 key 存儲 value。

每對 label 為會以 index:label:# 為key，labelID 為 value 存入。新的記錄會追加到 value 后面。這是一種搜索中常用的倒排索引。

每個 sample 項會以 index:timeseries:: 為 key，timestamp 為 value。splitTime為時間切片的起始點。新的 timestamp 會追加到 value 后面。

我們將每一條 samples 記錄以 timeseries:doc:: 為 key 存入 TiKV，其中 labelID 是 label 全文的散列值。

下面做一個梳理

生成 labelID

構建 label index，index:label:# "labelID,labelID"

構建 time index，index:timeseries:: "ts,ts"

寫入時序數據，timeseries:doc:: "value"

根據倒排索引查出 labelID 的集合，多對 label 的查詢會對 labelID 集合求交集。

根據 labelID 和時間范圍內的時間分片查詢包含的 timestamp。

根據 labelID 和 timestamp 查出所需的 value。

扯完這些沒用的我們來聊些正經的。

在 2018 年下半年，PingCAP 組織的 Hackathon，當時作為萌新即將參加比賽，想著一定要文體兩開花，弘揚開源文化。

萌生了四個想法：

TiKV TSDB

Machine Learning on TiSpark

魔改 TiKV + Lua 做成 mapreduce

geo 全文檢索

能做出來，符合參賽要求。

確實能解決生產問題而不是一個比賽項目。

摸了摸頭發(fā)，覺得 ML on TiSpark 太硬核，根本做不完。

TiHaoop 也太硬核，也做不完。

geo 沒在廠里的生產中遇到什么問題。

最后輾轉反側思考一番，拍腦袋決定雙線操作，做基于 TiKV 的 TSDB 和 TiKV + Lua，完成時序檢索功能的同時，增加更豐富的算子（比賽前兩天才想好做什么）。

原計劃，提前看看 rust，作為 rust 萌新。

于是前一天和同事借了本 rust 書，準備一天速成 rust。

后來發(fā)現還是看電視劇更管用。

周六參加比賽的時候，原以為會有個很長的開場致辭，所以決定 10 點再去。

到了現場，發(fā)現大家已經開始擼代碼了？？？

整體過程還算順利，但其中也遇到了一些問題。

Prometheus 的依賴和 TiKV 的一些依賴不兼容，于是 fork 一份 Prometheus 依賴，野路子改兩行，兼容了。

下午 5 點的時候，時序基本實現了，但聯(lián)調發(fā)現有數據讀寫不一致的情況。因菜哥的一個 bug 導致，然后開始了漫長的 debug，一共歷時 5 個小時（特別說明，我們組叫菜哥和他的朋友們）。

晚 10 點，準備回家了，不準備再 debug 了，一個 bug 查了 5 個小時。作為娛樂隊，熬夜寫代碼是不可能。

各回各家，各找各媽。

開始漫長的半天精通 Lua 虛擬機 + rust。

也遇到了一些問題，比如為什么 TiKV 編譯這么慢？？？一天只有 24 次編譯機會？？？

下午 2 點，作為第一個講的團隊，我們及時生成了一個 PPT ，畢竟 PPT 工程師的基礎還在。

之前寫的渣代碼，簡單寫了個 README。抱著嘗試的心態(tài)，給 Prometheus adapter 提了個 PR。

然后，居然被合進去了！?。?/strong>

參考資料：

https://fabxc.org/tsdb/
https://docs.influxdata.com/influxdb/v1.7/concepts/storage_engine/
https://github.com/prometheus/prometheus/tree/release-1.8/storage