資訊專欄INFORMATION COLUMN
摘要：摘要來自阿里云團隊的論文面向大規(guī)模海量云數(shù)據(jù)庫的服務(wù)質(zhì)量實時采集與診斷系統(tǒng)被數(shù)據(jù)庫頂會收錄。評委評價以下為阿里云入選論文。云數(shù)據(jù)庫對客戶業(yè)務(wù)的穩(wěn)定性至關(guān)重要，因此快速發(fā)現(xiàn)云數(shù)據(jù)庫性能出現(xiàn)異常，及時定位異常原因是云數(shù)據(jù)庫廠商的一個挑戰(zhàn)。
摘要：?來自阿里云RDS團隊的論文“TcpRT: Instrument and Diagnostic Analysis System for Service Quality of Cloud Databases at Massive Scale in Real-time” （TcpRT：面向大規(guī)模海量云數(shù)據(jù)庫的服務(wù)質(zhì)量實時采集與診斷系統(tǒng)）被數(shù)據(jù)庫頂會SIGMOD 2018收錄。
ACM SIGMOD數(shù)據(jù)管理國際會議是由美國計算機協(xié)會(ACM) 數(shù)據(jù)管理專業(yè)委員會(SIGMOD)發(fā)起、在數(shù)據(jù)庫領(lǐng)域具有最高學(xué)術(shù)地位的國際性學(xué)術(shù)會議。
SIGMOD和另外兩大數(shù)據(jù)庫會議VLDB、ICDE構(gòu)成了數(shù)據(jù)庫領(lǐng)域的三個頂級會議。相對而言，SIGMOD比另外兩個會議的含金量更高，被錄取的難度更大。ACM SIGMOD的論文錄取率是很低的，平均錄取率大約僅為15%-17%。
來自阿里云RDS團隊的論文“TcpRT: Instrument and Diagnostic Analysis System for Service Quality of Cloud Databases at Massive Scale in Real-time” （TcpRT：面向大規(guī)模海量云數(shù)據(jù)庫的服務(wù)質(zhì)量實時采集與診斷系統(tǒng)）被數(shù)據(jù)庫頂會SIGMOD 2018收錄。
TcpRT論文介紹了RDS天象系統(tǒng)在云數(shù)據(jù)庫SLA數(shù)據(jù)采集、服務(wù)質(zhì)量指標(biāo)計算、異常檢測、故障根因分析領(lǐng)域的創(chuàng)新工作，以及在各類云平臺上大規(guī)模部署自動化服務(wù)的客戶實踐經(jīng)驗。
評委評價
I have plenty of experience with manual anomaly detection. That has wasted much time for me at work, so I liked what you described.
以下為SIGMOD 2018阿里云入選論文。
下載中文版：http://click.aliyun.com/m/100...
下載英文版：http://click.aliyun.com/m/100...
簡介
隨著企業(yè)上云趨勢的日益熱化，作為產(chǎn)業(yè)核心組件的數(shù)據(jù)庫，已成為各大云計算公司增長最快的在線服務(wù)業(yè)務(wù)。作為中國第一大云數(shù)據(jù)庫廠商，我們RDS團隊致力于為用戶提供穩(wěn)定的云數(shù)據(jù)庫服務(wù)。從本質(zhì)上看，RDS是一個多租戶DBaaS平臺，利用輕量級KVM、Docker鏡像等資源隔離技術(shù)將用戶所購買的數(shù)據(jù)庫實例部署在物理機上，按需分配資源并進行自動升降級，實現(xiàn)一套完全自動化的智能運維管理。
云數(shù)據(jù)庫對客戶業(yè)務(wù)的穩(wěn)定性至關(guān)重要，因此快速發(fā)現(xiàn)云數(shù)據(jù)庫性能出現(xiàn)異常，及時定位異常原因是云數(shù)據(jù)庫廠商的一個挑戰(zhàn)。TcpRT是阿里云數(shù)據(jù)庫用來監(jiān)控和診斷數(shù)據(jù)庫服務(wù)質(zhì)量的一個基礎(chǔ)設(shè)施。TcpRT從主機TCP/IP協(xié)議棧的壅塞控制采集trace數(shù)據(jù)，計算數(shù)據(jù)庫延遲和網(wǎng)絡(luò)異常，在后臺流式計算平臺進行大規(guī)模實時數(shù)據(jù)分析和聚合，通過統(tǒng)計指標(biāo)歷史數(shù)據(jù)的柯西分布發(fā)現(xiàn)異常點，并通過同一臺主機、交換機、proxy下所有實例一致性趨勢的比例來計算不同組件發(fā)生異常的概率。
到目前為止，TcpRT以每秒采集2千萬條原始trace數(shù)據(jù)、每天后臺處理百億吞吐數(shù)據(jù)、秒級檢測異常的卓越性能在阿里云持續(xù)穩(wěn)定運行三年。
本文貢獻
提出了一種新的對數(shù)據(jù)庫服務(wù)質(zhì)量進行采集的方法，基于內(nèi)核壅塞模塊實現(xiàn)，可以非侵入性、低代價的采集基于停等協(xié)議的關(guān)系數(shù)據(jù)庫的per connection的延遲、帶寬，分析用戶使用數(shù)據(jù)庫的模型（短連接和長連接），并且可以端到端的記錄和量化基礎(chǔ)網(wǎng)絡(luò)服務(wù)質(zhì)量對數(shù)據(jù)庫服務(wù)質(zhì)量的影響，包括丟包率、重傳率。
我們開發(fā)了一套對采集的原始數(shù)據(jù)進行數(shù)據(jù)清洗、過濾、聚合、分析的流式計算系統(tǒng)，系統(tǒng)可以做到水平擴展、容錯性、實時性、Exactly Once，具有和其他大數(shù)據(jù)平臺例如EMR、MaxCompute進行數(shù)據(jù)交換的能力
我們提出了一個新的算法對TcpRT數(shù)據(jù)進行分析，來發(fā)現(xiàn)數(shù)據(jù)庫的服務(wù)質(zhì)量有無異常，并且對異常事件的根因進行定位
會議將于6月10日在美國休斯敦召開，論文也會公開發(fā)表，以下是相關(guān)信息。
Title：SIGMOD/PODS "18 International Conference on Management of Data
Houston, TX, USA — June 10 - 15, 2018
Pages：1846
Sponsor： SIGMOD ACM Special Interest Group on Management of Data
Publisher：ACM New York, NY, USA
ISBN：978-1-4503-4703-7
Conference：MODInternational Conference on Management of Data
原文鏈接
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://www.ezyhdfw.cn/yun/17761.html
摘要：本文整理了年月國產(chǎn)數(shù)據(jù)庫大事件和重要產(chǎn)品發(fā)布消息。柏睿數(shù)據(jù)庫加速安全卡面向全球重磅發(fā)布。月日，在全球數(shù)字經(jīng)濟大會成果發(fā)布會上，中國移動北京分公司與國產(chǎn)數(shù)據(jù)庫領(lǐng)域新銳企業(yè)柏睿數(shù)據(jù)簽署戰(zhàn)略合作協(xié)議。本次大賽主要面向全國愛好數(shù)據(jù)庫的高校學(xué)生。 本文整理了2021年8月國產(chǎn)數(shù)據(jù)庫大事件和重要產(chǎn)品發(fā)布消息。目錄8月國產(chǎn)數(shù)據(jù)庫大事記TOP108月國產(chǎn)數(shù)據(jù)庫大事記時間線產(chǎn)品/版本發(fā)布兼容認證8月排行榜新增...
摘要：元旦假期即將來臨，我們精心準備了這本阿里巴巴機器智能計算機視覺技術(shù)精選，收錄了頂級會議阿里論文，送給計劃在假期充電的同學(xué)們，也希望能和更多學(xué)術(shù)界工業(yè)界同仁一起探討交流。 當(dāng)下計算機視覺技術(shù)無疑是AI浪潮中最火熱的議題之一。視覺技術(shù)的滲透，既可以對傳統(tǒng)商業(yè)進行改造使之看到新的商業(yè)機會，還可以創(chuàng)造全新的商業(yè)需求和市場。無論在電商、安防、娛樂，還是在工業(yè)、醫(yī)療、自動駕駛領(lǐng)域，計算機視覺技術(shù)都...
摘要：基本邏輯一條數(shù)據(jù)在結(jié)構(gòu)中的旅程，從寫入開始，然后進入，這是整個生命周期的第一處落腳點。每一層數(shù)據(jù)按排序，層與層之間的會交疊。上面是宏觀邏輯結(jié)構(gòu)，如果具體來論讀寫操作和如何進行，就需要探討每一層的數(shù)據(jù)組織方式每個變種的實現(xiàn)各不相同。 阿里妹導(dǎo)讀：數(shù)據(jù)庫存儲引擎是一個有歷史的技術(shù)，經(jīng)過數(shù)十年的發(fā)展，已經(jīng)出現(xiàn)很多優(yōu)秀成熟的產(chǎn)品。阿里巴巴 X-Engine 團隊撰寫的論文 X-Engine:...
閱讀 3052·2021-11-23 09:51
閱讀 3066·2021-11-02 14:46
閱讀 923·2021-11-02 14:45
閱讀 2878·2021-09-23 11:57
閱讀 2555·2021-09-23 11:22
閱讀 2000·2019-08-29 16:29
閱讀 804·2019-08-29 16:16
閱讀 1007·2019-08-26 13:44
