亚洲中字慕日产2020,大陆极品少妇内射AAAAAA,无码av大香线蕉伊人久久,久久精品国产亚洲av麻豆网站

資訊專欄INFORMATION COLUMN

Kafka跨網(wǎng)絡(luò)使用問題排查

IT那活兒 / 3601人閱讀
Kafka跨網(wǎng)絡(luò)使用問題排查
點(diǎn)擊上方“IT那活兒”公眾號，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了！?。?/strong>

近期在實現(xiàn)某個功能點(diǎn)上線生產(chǎn)環(huán)境，發(fā)現(xiàn)訪問受限，導(dǎo)致采集的數(shù)據(jù)無法入到kafka，碰到此類問題，我們把分析過程記錄一下。

一

功能流程

  • 分部：通過調(diào)度平臺定期采集指標(biāo)數(shù)據(jù)，執(zhí)行器采集數(shù)據(jù)后，將數(shù)據(jù)外吐給總部slb。

  • 總部：利用 slb 配置代理轉(zhuǎn)發(fā)到kafka ，然后由數(shù)據(jù)處理模塊對kafka 數(shù)據(jù)做相關(guān)邏輯處理。

二

問題描述

當(dāng)采集執(zhí)行器采集到指標(biāo)數(shù)據(jù)發(fā)送給slb ，再由slb 將數(shù)據(jù)轉(zhuǎn)發(fā)到kafka ，后臺提示如下報錯信息：
Connection to node 0 (/21.xx.xx.7:xx) could not be established. Broker may not be available.

從錯誤信息提示kafka地址與端口無法調(diào)通，broker 不可用。

三

問題分析

針對此類問題，采用分段分析方式對問題進(jìn)行排查分析：

1）網(wǎng)絡(luò)檢查從省端ping 及telnet 到集團(tuán)端服務(wù)情況如下

  • 省端到集團(tuán)端slb網(wǎng)絡(luò)正常。

  • 省端和集團(tuán)分屬不同的網(wǎng)絡(luò)，省側(cè)到集團(tuán)端kafka網(wǎng)絡(luò)受限，kafka是集團(tuán)內(nèi)部服務(wù)，不直接開放給省側(cè)訪問。

2）省側(cè)采集程序排查
在省側(cè)部署跟集團(tuán)側(cè)相同版本kafka 環(huán)境，利用Kafka 客戶端命令連接集團(tuán)slb進(jìn)行生產(chǎn)消息，提示超時報錯信息，通過這種驗證方式，可以排出不是省側(cè)調(diào)度程序的問題。
org.apache.kafka.common.errors.TimeoutException: Topic not present in metadata
3）集團(tuán)側(cè)鏈路排查
  • 驗證集團(tuán)側(cè)slb到kafka 網(wǎng)絡(luò)是相通的。
  • 集團(tuán)側(cè)部署一個新的kafka 服務(wù)，利用Kafka 客戶端命令遠(yuǎn)程連接集團(tuán)slb/kafka進(jìn)行生產(chǎn)消息，kafka topic 能正常收到信息。
通過以上兩個排出集團(tuán)側(cè)內(nèi)部鏈路問題。
四

問題解決

從上面幾點(diǎn)分析，可以排查出省側(cè)與集團(tuán)側(cè)自身的鏈路問題，省側(cè)程序是直接跟slb 進(jìn)行通訊，但又提示連接Kafka超時報錯信息，檢查slb 到kafka 本身鏈路也沒有問題，說明問題出在跨網(wǎng)絡(luò)使用kafka 造成的原因。
第一次交互流程（1/2/3/4）客戶端獲取到的真實的kafka的ip信息，而第二次交互的時候client會根據(jù)kafka 的ip 信息直接去訪問kafka 地址，因為跨網(wǎng)絡(luò)受限，所以第二次交互出現(xiàn)連接超時報錯現(xiàn)象。
針對跨網(wǎng)絡(luò)使用kafka情況下，需要在kafka 開啟advertised.listeners參數(shù)配置。根據(jù)此參數(shù)描述，它是用于暴露給外部的listeners，如果沒有設(shè)置，會讀取listeners參數(shù)內(nèi)容，而listeners參數(shù)記錄的是本機(jī)kafka 監(jiān)聽端口。
# Hostname and port the broker will advertise to producers and consumers. If not set,
# it uses the value for "listeners" if configured. Otherwise, it will use the value
# returned from java.net.InetAddress.getCanonicalHostName().
#advertised.listeners=PLAINTEXT://your.host.name:9092
當(dāng)省側(cè)客戶端發(fā)送數(shù)據(jù)第一次跟slb建立連接后 ，kafka 會返回advertised.listenersr所配置的內(nèi)容給客戶端，后面省側(cè)客戶端會根據(jù)advertised.listenersr的值解析出對應(yīng)的域名或者ip。根據(jù)這些信息，客戶端再次訪問到slb，由slb  轉(zhuǎn)發(fā)到真實Kafka服務(wù)，才能實現(xiàn)鏈路流轉(zhuǎn)正常。
advertised.listeners=PLAINTEXT://slb ip 地址:9092
因為跨網(wǎng)絡(luò)受限，對外提供服務(wù)listeners 配置成slb ip或者域名及對應(yīng)的端口，不能配置成kafka 自身的ip 與端口，才能在跨網(wǎng)絡(luò)下通過代理轉(zhuǎn)發(fā)方式給后端kafka 推送數(shù)據(jù)。



本文作者：長研架構(gòu)小組（上海新炬王翦團(tuán)隊）

本文來源：“IT那活兒”公眾號

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://www.ezyhdfw.cn/yun/129251.html

相關(guān)文章

  • TiDB 在摩拜單車的深度實踐及應(yīng)用

    摘要：本文會選擇三個場景，給大家簡單介紹一下在摩拜單車的使用姿勢遇到的問題以及解決方案。圖在線業(yè)務(wù)集群拓?fù)鋱D四數(shù)據(jù)沙盒集群離線業(yè)務(wù)數(shù)據(jù)沙盒，屬于離線業(yè)務(wù)集群，是摩拜單車的一個數(shù)據(jù)聚合集群。 作者介紹：呂磊，摩拜單車高級 DBA。 一、業(yè)務(wù)場景 摩拜單車 2017 年開始將 TiDB 嘗試應(yīng)用到實際業(yè)務(wù)當(dāng)中，根據(jù)業(yè)務(wù)的不斷發(fā)展，TiDB 版本快速迭代，我們將 TiDB 在摩拜單車的使用場景逐漸...

    Paul_King 評論0 收藏0

  • 網(wǎng)易云捕性能踩坑解決之道上篇

    摘要：從零開始設(shè)計開發(fā)一個日處理數(shù)據(jù)億的大數(shù)據(jù)高并發(fā)實時系統(tǒng)，哪些性能問題需要特別注意這里我們一起梳理一下本文中我將以，同學(xué)戲稱的系統(tǒng)網(wǎng)易云捕設(shè)計開發(fā)實踐中兩年的時間里碰到的真實問題，踩過的坑及解決問題的方法和大家一起討論如何解決這些問題。 本文由作者余寶虹授權(quán)網(wǎng)易云社區(qū)發(fā)布。 從零開始設(shè)計開發(fā)一個日處理數(shù)據(jù)8億的大數(shù)據(jù)高并發(fā)實時系統(tǒng)，哪些性能問題需要特別注意？這里我們一起梳理一下,本文中我...

    李義 評論0 收藏0

  • 強(qiáng)如 Disruptor 也發(fā)生內(nèi)存溢出？

    摘要：結(jié)合的日志發(fā)現(xiàn)就算是發(fā)生了老年代也已經(jīng)回收不了，內(nèi)存已經(jīng)到頂。定位由于生產(chǎn)上的內(nèi)存文件非常大，達(dá)到了幾十。也是由于我們的內(nèi)存設(shè)置太大有關(guān)。同時后臺也開始打印內(nèi)存溢出了，這樣便復(fù)現(xiàn)出問題。結(jié)果發(fā)現(xiàn)類型的對象占用了將近的內(nèi)存。 showImg(https://segmentfault.com/img/remote/1460000016186784?w=2048&h=1365); 前言 Ou...

    amuqiao 評論0 收藏0

  • 騰訊云分布式高可靠消息隊列CMQ架構(gòu)最佳實踐

    摘要：是騰訊云內(nèi)部自研基于的高可靠強(qiáng)一致可擴(kuò)展分布式消息隊列，在騰訊內(nèi)部包括微信手機(jī)業(yè)務(wù)紅包騰訊話費(fèi)充值廣告訂單等都有廣泛使用。目前已上線騰訊云對外開放，本文對核心技術(shù)原理進(jìn)行分享介紹。 ? 極牛技術(shù)實踐分享活動 極牛技術(shù)實踐分享系列活動是極牛聯(lián)合頂級VC、技術(shù)專家，為企業(yè)、技術(shù)人提供的一種系統(tǒng)的線上技術(shù)分享活動。 每期不同的技術(shù)主題，和行業(yè)專家深度探討，專注解決技術(shù)實踐難點(diǎn)，推動技術(shù)創(chuàng)新，...

    Ku_Andrew 評論0 收藏0

發(fā)表評論

0條評論

IT那活兒

男|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<