摘要：代理最近在做長連接消息通道的方案與實(shí)現(xiàn)，目前的方案主要有。后端的是一個(gè)服務(wù)的集群，上圖有個(gè)組成的連接管理服務(wù)。總體來看，數(shù)據(jù)經(jīng)過兩次代理，內(nèi)部代理很簡單，配置簡單，只要配置和就可以。經(jīng)測(cè)試，可以測(cè)試通過。這樣就可以成功代理集群了。

最近在做web 長連接消息通道的方案與實(shí)現(xiàn)， 目前web 的方案主要有websocket。  后來經(jīng)過調(diào)研發(fā)現(xiàn)socket.io 的瀏覽器兼容性更好。于是
 使用socket.io 作用通信連接。本文記錄在此過程中遇到的問題。
 主要的問題：
 envoy 代理socket.io .

socket.io 集成了websocket 和polling，并可以感知瀏覽器的是否支持websocket， 建立websocket 連接，如果不支持websocket
就使用ajax polling. 故兼容性比較好， 具體可以google socket.io.

這和我們是實(shí)現(xiàn)方案有關(guān)， 下面是我們的服務(wù)簡單的部署拓?fù)洹?/p>

這個(gè)方案是基于mesh service 的sidecar 方式部署， 前面有一個(gè)front-Envoy 作為一個(gè)接入層。
front-evnoy 其實(shí)就是在docker里部署一個(gè)envoy。

后端的services 是一個(gè)服務(wù)的集群， 上圖有2個(gè)socket.io service 組成的連接管理服務(wù)。

總體來看，數(shù)據(jù)經(jīng)過兩次代理，sidecar 內(nèi)部代理很簡單，配置簡單，只要配置envoy websocket 和http 就可以。
要設(shè)置route_config 相應(yīng)virtual_hosts 設(shè)置use_websocket 為true 。

另外一個(gè)代里是本文記錄的重點(diǎn)。
就是front-evnoy 到后端的service 集群。 簡單分析可知，socket.io service 其實(shí)是一個(gè)有狀態(tài)的服務(wù)， 它一個(gè)連接管理器。
假設(shè)client A 要使用socket.io 建立長連接， front-envoy 要正常工作必須保證， A 的后續(xù)的所用的包都發(fā)送到后端的同一個(gè)service.
這就是envoy 如何代理socket.io 的問題。

envoy 支持很多很多中負(fù)載均衡方式， 但是目前滿足我們需求的只有ring hash 這種負(fù)載均衡。
可以參考envoy 文檔
envoy ring hash
ring hash 可以配置一個(gè)http header的字段作用hash key.
經(jīng)考察，我使用了這個(gè)x-forwarded-for字段， x-forwarded-for 這字段一般填的是client 的ip.
部分配置如下：
lister 增加 user_remote_address:true
這樣，envoy 會(huì)加上remote_address

 "listeners": [
  {
    "address": "tcp://0.0.0.0:80",
    "filters": [
      {
        "type": "read",
        "name": "http_connection_manager",
        "config": {
          "codec_type": "auto",
          "stat_prefix": "ingress_http",
          "use_remote_address": true,
          "idle_timeout_s" : 300,
          "rds" :
          {
              "cluster" : "rds_cluster",
...

                "route_config":
        {
                  "virtual_hosts":
                   [
                     {
                         "name" : "backend",
                         "domains" : ["*"],
                         "routes" : [
                             { 
                               "prefix" : "/",
                               "cluster": "websocket_cluster",
                               "use_websocket": true,
                               "hash_policy": {
                                 "header_name": "x-forwarded-for"
                               }
                             }
                         ]
                      } 
                    ]
                 },


 ...

          {
          "name":"websocket_cluster",
          "type":"static",
          "connect_timeout_ms":2500,
          "lb_type":"ring_hash",
          "ring_hash_lb_config": {
            "minimum_ring_size": 1024,
            "use_std_hash": false
          }, 
          "hosts":[{"url":"tcp://10.10.62.120:3000"},{"url":"tcp://10.10.62.121:3000"}]
       }

測(cè)試發(fā)現(xiàn)，測(cè)試有40% 的連接是失敗的。 其中報(bào)錯(cuò)：

     /favicon.ico:1 Failed to load resource: the server responded with a status of 404 (Not Found)
     index.js:83 WebSocket connection to "ws://10.10.62.122/socket.io/?        
     EIO=3&transport=websocket&sid=xiqvvCber8gofbxrAAAA" failed: Error during WebSocket handshake: Unexpected response         
     code: 400
     r.doOpen @ index.js:83

表面websocket 建立連接失敗，服務(wù)器返回400。

其實(shí)socket.io 后后臺(tái)通信，先會(huì)建一個(gè)http/tcp 發(fā)送 poling 請(qǐng)求。
接著，會(huì)建立一個(gè)新的連接（http/tcp）， 通過http upgrade 成一個(gè)websocket.
這條新的upgrade 連接，可能會(huì)被envoy 代理到另一個(gè)service.
還帶了sid 字段。 service 就認(rèn)為這個(gè)不完整的請(qǐng)求，返回400.

socket.io 服務(wù)器有一個(gè)邏輯， 如果http 請(qǐng)求參數(shù)帶了sid, 但是有沒有建立相應(yīng)的session, 就會(huì)返回400

通過修改socket.io transports 優(yōu)先級(jí)可以解決這種情況。
socket.io transport 順序是polling, websocket.
修改客戶端和服務(wù)器都修改成為{transports:["websocket", "polling"]})。

client 修改

//var socket = io();  修改
var socket = io({transports:["websocket", "polling"]});

server 也做對(duì)應(yīng)的修改。

經(jīng)測(cè)試，可以測(cè)試通過。
這樣envoy 就可以成功代理socket.io 集群了。

后面有時(shí)間寫一下， socket.io 和 后臺(tái)建立連接的情況。
。