亚洲中字慕日产2020,大陆极品少妇内射AAAAAA,无码av大香线蕉伊人久久,久久精品国产亚洲av麻豆网站

資訊專欄INFORMATION COLUMN

談Elasticsearch原理

IT那活兒 / 2032人閱讀
談Elasticsearch原理

點擊上方“IT那活兒”，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了?。。?/span>

前  言
大家都知道，ES是一個基于restful web接口并且構(gòu)建在Apache Lucene之上的開源分布式搜索引擎。
今天在某乎上看到一篇關(guān)于Elasticsearch（以下簡稱ES）原理的介紹，感覺非常有意思，在這里和大家一起分享一下。

01


倒排索引思想


引申是說出帶“前”的詩句，很多人都會想不起來有哪些詩句，但是如果讓說出靜夜思這首詩的內(nèi)容，很多人都會脫口而出“床前明月光…”，但是為什么都會的詩句換一種問法就說不出來了呢，原來是我們的腦子里沒有建立“倒排索引”。
平時大家背詩都是先記錄詩名、作者然后是詩句的內(nèi)容，這就是我們腦子里建立的“索引”。
但是讓說出帶“前”字的詩句，由于沒有索引，你只能遍歷腦海中所有詩詞，當(dāng)你的腦海中詩詞量大的時候，就很難在短時間內(nèi)得到結(jié)果了。
那么什么是倒排索引呢？
倒排索引又叫反向索引，比如這樣建立索引。
如果這樣建立索引,那么讓說出帶“前”的詩句，就能很快想到。這就是倒排索引，以詩句中的一些關(guān)鍵字作為索引，來找到詩句。

02


搜索引擎原理


但是，可能大家會產(chǎn)生一個疑問，靜夜思這首詩，總共有20個字，那么這20個字都可以作為關(guān)鍵字來建立索引。
本來正向只有一個索引，反向確有20個索引，數(shù)據(jù)量會增加很多。
那么怎么辦呢？
這就說涉及到了數(shù)據(jù)壓縮，在建立反向索引的時候不需要索引倒詩句，只需要索引到詩名就行。比如這么建立索引：
value不存詩句改存詩名，數(shù)據(jù)量會少很多。通過關(guān)鍵字來建立反向索引，這種搜索引擎的原理和某度、某歌有些類似。都是根據(jù)一個內(nèi)容來找到想要的文章。只不過某度、某歌流程稍復(fù)雜，多了網(wǎng)頁爬取、停頓詞過濾等。
網(wǎng)頁爬取就是所謂的爬蟲，停頓次過濾是指如“的”、“而”之類的本身沒有多大意義的詞，建立索引的時候就不需要考慮他們了，相當(dāng)于所謂的“分詞”。
搜索引擎都是對文章進(jìn)行分詞后，再按關(guān)鍵詞建立倒排索引。

03


ES數(shù)據(jù)存儲原理


有人要問了，我自己怎么實現(xiàn)一個搜索引擎呢，業(yè)界其實已經(jīng)有“輪子”了，有一個叫Lucene的庫，用它就可以很方便的建立倒排索引。
但是 Lucene 還是一個庫，必須要懂一點搜索引擎原理的人才能用的好，所以后來又有人基于 Lucene 進(jìn)行封裝，寫出了 ES。
ES將對搜索引擎的操作都封裝成了restful的api,通過http請求就能對其進(jìn)行操作。同時還考慮了海量數(shù)據(jù)，實現(xiàn)了分布式，是一個可以存海量數(shù)據(jù)的分布式搜索引擎。
那么數(shù)據(jù)怎么存儲到ES里的呢，通過下圖的比較，以加深大家對ES的認(rèn)識。
比如一首詩，有詩題、作者、朝代、字?jǐn)?shù)、詩內(nèi)容等字段，那么首先，我們可以建立一個名叫 Poems 的索引，然后創(chuàng)建一個名叫 Poem 的類型，類型是通過 Mapping 來定義每個字段的類型。
比如詩題、作者、朝代都是 Keyword 類型，詩內(nèi)容是 Text 類型，而字?jǐn)?shù)是 Integer 類型，最后就是把數(shù)據(jù)組織成 Json 格式存放進(jìn)去了。
類型相當(dāng)于表結(jié)構(gòu)的描述，文檔以json格式描述一行數(shù)據(jù)。

04


ES分布式原理


ES中的數(shù)據(jù)是怎么進(jìn)行分布式存儲的呢？
其實，ES是會對數(shù)據(jù)進(jìn)行切分，同時每個分片會保存多個副本，其原因和 HDFS 是一樣的，都是為了保證分布式環(huán)境下的高可用。
因此，ES也是master-slave架構(gòu)的，在ES中，節(jié)點是對等的，節(jié)點間會通過自己的一些規(guī)則選取集群的 Master，Master 會負(fù)責(zé)集群狀態(tài)信息的改變，并同步給其他節(jié)點。
比如建立一個索引，請求先發(fā)送到mater,mater建立索引后，講集群狀態(tài)同步到slave。
注意，只有建立索引和類型需要經(jīng)過 Master，數(shù)據(jù)的寫入有一個簡單的 Routing 規(guī)則，可以 Route 到集群中的任意節(jié)點，所以數(shù)據(jù)寫入壓力是分散在整個集群的。


本文作者：葉緒瑞

本文來源：IT那活兒（上海新炬王翦團(tuán)隊）

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://www.ezyhdfw.cn/yun/129639.html

相關(guān)文章

  • 跳槽季如何快速全面復(fù)習(xí)面試題

    摘要：排序算法和集合工具類排序算法和集合工具類。面試官總是問排序算法也不是在難為你，而是在考察你的編程功底。你首先要理解多線程不僅僅是和那么簡單，整個并發(fā)包下面的工具都是在為多線程服務(wù)。 去年的這個時候樓主通過兩個月的復(fù)習(xí)拿到了阿里巴巴的 offer，有一些運氣，也有一些心得，借著跳槽季來臨特此分享出來。簡單梳理一下我的復(fù)習(xí)思路，同時也希望和大家一起交流討論，一起學(xué)習(xí)，如果不對之處歡迎指正一...

    keke 評論0 收藏0

  • 兩年了，我寫了這些干貨！

    摘要：開公眾號差不多兩年了，有不少原創(chuàng)教程，當(dāng)原創(chuàng)越來越多時，大家搜索起來就很不方便，因此做了一個索引幫助大家快速找到需要的文章系列處理登錄請求前后端分離一使用完美處理權(quán)限問題前后端分離二使用完美處理權(quán)限問題前后端分離三中密碼加鹽與中異常統(tǒng)一處理 開公眾號差不多兩年了，有不少原創(chuàng)教程，當(dāng)原創(chuàng)越來越多時，大家搜索起來就很不方便，因此做了一個索引幫助大家快速找到需要的文章！ Spring Boo...

    huayeluoliuhen 評論0 收藏0

  • Elasticsearch Lucene 數(shù)據(jù)寫入原理 | ES 核心篇

    摘要：因為倒排索引打分機(jī)制全文檢索原理分詞原理等等，這些都是不會過時的技術(shù)。中，單個倒排索引文件稱為。其中有一個文件，記錄了所有的信息，稱為文檔新寫入時，會生成新的。過程上個過程中在文件系統(tǒng)緩存中，會有意外故障文檔丟失。寫入次怕后，清空。 前言 最近 TL 分享了下 《Elasticsearch基礎(chǔ)整理》，蹭著這個機(jī)會。寫個小文鞏固下，本文主要講 ES -> Lucene的底層結(jié)構(gòu)，然后詳細(xì)...

    wums 評論0 收藏0

  • 7月第4周業(yè)務(wù)風(fēng)控關(guān)注 | 廣電總局下發(fā)《關(guān)于加強(qiáng)網(wǎng)上談話（訪談）類節(jié)目管理的通知》

    摘要：今日，宣布與美國監(jiān)管部門達(dá)成和解。十一結(jié)束侵犯兒童隱私調(diào)查谷歌或罰款萬美元美國聯(lián)邦貿(mào)易委員會已經(jīng)加大罰款力度，重拳打擊隱私泄漏。 易盾業(yè)務(wù)風(fēng)控周報每周報道值得關(guān)注的安全技術(shù)和事件，包括但不限于內(nèi)容安全、移動安全、業(yè)務(wù)安全和網(wǎng)絡(luò)安全，幫助企業(yè)提高警惕，規(guī)避這些似小實大、影響業(yè)務(wù)健康發(fā)展的安全風(fēng)險。 ?showImg(https://segmentfault.com/img/bVbvDbN...

    DDreach 評論0 收藏0

發(fā)表評論

0條評論

IT那活兒

男|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<