在互聯(lián)網(wǎng)行業(yè)，一家公司可以在多個(gè)領(lǐng)域同時(shí)進(jìn)行多種嘗試。

想讓做的每件事情都極其成功，似乎不太可能，只要這些事情中一件事情成功，就足以帶起整個(gè)公司的發(fā)展。在騰訊，既有微信這樣極其成功的產(chǎn)品，也有更多鮮為人知的技術(shù)嘗試。這些嘗試?yán)?，如果能夠推?dòng)一件關(guān)鍵事情的爆發(fā)，那就足夠有意義。

正如騰訊前不久代理的“吃雞游戲”，一時(shí)火爆朋友圈，在這背后，有一項(xiàng)看似及其微小但至關(guān)重要的技術(shù)，支撐了千萬人同時(shí)在線的無卡頓不宕機(jī)，這就是騰訊云最新發(fā)布的 Supermind 智能網(wǎng)絡(luò)技術(shù)，今天我們就來聊一聊騰訊云智能網(wǎng)絡(luò)加速的那些事兒。

騰訊云網(wǎng)絡(luò)技術(shù)變遷史

網(wǎng)絡(luò)擁堵甚至中斷是所有互聯(lián)網(wǎng)企業(yè)十分頭疼的問題。騰訊云從 13 年開始建立云網(wǎng)絡(luò)體系，在技術(shù)發(fā)展的洪流下，一路摸爬滾打探索出了一條屬于自己的網(wǎng)絡(luò)技術(shù)優(yōu)化與創(chuàng)新之路。建立至今，騰訊云的網(wǎng)絡(luò)架構(gòu)一共經(jīng)歷了三次重大的更新和迭代：

• 2013 年，騰訊云通過基礎(chǔ)網(wǎng)絡(luò)、彈性公網(wǎng) IP、內(nèi) / 外網(wǎng)負(fù)載均衡、安全組等技術(shù)構(gòu)建了第一代云網(wǎng)絡(luò)雛形。這其中，基礎(chǔ)網(wǎng)絡(luò)，用于存儲(chǔ)之間的流通；內(nèi) / 外網(wǎng)負(fù)載均衡，保證網(wǎng)絡(luò)的高可用性；彈性公網(wǎng) IP，幫助云主機(jī)訪問 Internet；最后，安全組，用以保證用戶數(shù)據(jù)安全。就這樣，第一代能夠?qū)崿F(xiàn)基本傳輸功能的網(wǎng)絡(luò)雛形誕生；

• 2015 年，混合云概念的提出和發(fā)展，原有網(wǎng)絡(luò)體系已不足以支撐用戶對(duì)私有云的需求，騰訊云采用 overlay 網(wǎng)絡(luò)模式，發(fā)布了 VPC、VPN 專線、彈性網(wǎng)卡、彈性擴(kuò)容為主導(dǎo)的第二代網(wǎng)絡(luò)架構(gòu)。新的網(wǎng)絡(luò)架構(gòu)里，用戶可以自定義 IP，與其他租戶進(jìn)行邏輯上的網(wǎng)絡(luò)隔離。同時(shí)騰訊云接入 VPN 專線，幫助用戶在云上和數(shù)據(jù)中心建立混合云連接。這是網(wǎng)絡(luò)技術(shù)邁向云端的一大步；

• 2017 年，VR、AR 等場(chǎng)景對(duì)網(wǎng)絡(luò)傳輸速度和性能提出了更高要求。騰訊云從云主機(jī)和負(fù)載均衡兩方面著手，推出了 Supermind 智能網(wǎng)絡(luò)加速技術(shù)。云主機(jī)方面，將物理網(wǎng)卡升級(jí)為 25Gbps bonding 架構(gòu)，利用智能網(wǎng)卡 SDN 模塊的網(wǎng)絡(luò)動(dòng)作層（fastpath）和策略層（slowpath）分離，來提升網(wǎng)絡(luò)帶寬吞吐量和網(wǎng)絡(luò)包轉(zhuǎn)發(fā)能力；負(fù)載均衡方面，支持 quic 網(wǎng)絡(luò)傳輸協(xié)議，quic 網(wǎng)絡(luò)傳輸協(xié)議改進(jìn)了 TCP 協(xié)議的功能，重構(gòu)了 TLS 協(xié)議，可大幅提高頁(yè)面的加載進(jìn)度，有效降低網(wǎng)絡(luò)延時(shí)造成的體驗(yàn)不佳的問題。據(jù)了解，這也是國(guó)內(nèi)首家支持 quic 協(xié)議的落地案例。

縱觀騰訊云網(wǎng)絡(luò)技術(shù)的發(fā)展歷程，每一次的更新與迭代，都是以用戶需求為主導(dǎo)，通過對(duì)當(dāng)下最新趨勢(shì)和技術(shù)的捕捉和結(jié)合，完成了網(wǎng)絡(luò)性能的進(jìn)階與蛻變。

Supermind 智能網(wǎng)絡(luò)加速是如何實(shí)現(xiàn)的？

一個(gè)網(wǎng)絡(luò)請(qǐng)求的漫漫之旅

在聊網(wǎng)絡(luò)加速之前，我們先來看看網(wǎng)絡(luò)請(qǐng)求是如何進(jìn)行的。下圖是一個(gè)手機(jī)請(qǐng)求信息通過云服務(wù)商最終到達(dá)服務(wù)器的路徑圖。首先，手機(jī)通過 4G 或者 wifi 連接到運(yùn)營(yíng)商的網(wǎng)絡(luò)里，當(dāng)用戶使用手機(jī)或者電腦發(fā)送一條指令時(shí)，信息通過路由器再進(jìn)行調(diào)制解調(diào)器最后發(fā)送給運(yùn)營(yíng)商，運(yùn)營(yíng)商收到信息后，將網(wǎng)絡(luò)訪問請(qǐng)求發(fā)送給游戲服務(wù)器，服務(wù)器根據(jù)接手到指令進(jìn)行相關(guān)操作處理。

在這個(gè)過程里，網(wǎng)絡(luò)請(qǐng)求經(jīng)過的路徑是比較長(zhǎng)的，比如用戶在北京，服務(wù)器在上海，那么，這條請(qǐng)求需要穿越千山萬水，跨越無數(shù)路徑來到騰訊的服務(wù)器，而網(wǎng)絡(luò)擁堵或者調(diào)制解調(diào)器等任何一個(gè)環(huán)節(jié)出現(xiàn)問題，都可能導(dǎo)致網(wǎng)絡(luò)包請(qǐng)求失敗。

Supermind 智能網(wǎng)絡(luò)加速基本原理

面對(duì)網(wǎng)絡(luò)常常出現(xiàn)的擁堵或者請(qǐng)求中斷等問題，Supermind 智能網(wǎng)絡(luò)采用的解決辦法是“IP 發(fā)布控制 + 云內(nèi)骨干網(wǎng) +BGP 互聯(lián)”的方案，利用跨地域網(wǎng)絡(luò)調(diào)度，避開網(wǎng)絡(luò)擁堵。具體過程為：通過開放 anycast 路由策略，用戶和云端的網(wǎng)絡(luò)訪問請(qǐng)求就近接入騰訊云 POP 點(diǎn)，再通過 Supermind 全球骨干網(wǎng)直達(dá)訪問服務(wù)器所在地實(shí)現(xiàn)網(wǎng)絡(luò)加速。

在這里，采用專線有幾點(diǎn)好處：1） 減少數(shù)據(jù)包在公網(wǎng)上的傳輸路徑， 避免公網(wǎng)的波動(dòng)對(duì)質(zhì)量的影響；2） 公網(wǎng)故障 BGP 自動(dòng)切換路由， 在容災(zāi)方面天然具有優(yōu)勢(shì)；3） 騰訊骨干網(wǎng)可以提供時(shí)延更低，穩(wěn)定性更高的網(wǎng)絡(luò)。如此，能極大程度的避開網(wǎng)絡(luò)擁堵造成的網(wǎng)絡(luò)包請(qǐng)求失敗。

以云為中心的網(wǎng)絡(luò)架構(gòu)核心優(yōu)勢(shì)

吃雞游戲的火爆除了游戲本身的吸引力之外，全球同服是其中重要的一個(gè)關(guān)鍵點(diǎn)。而要實(shí)現(xiàn)全球同服，除了服務(wù)器本身，還需要全球互連互通節(jié)點(diǎn)網(wǎng)和調(diào)度控制的能力，才能完成網(wǎng)絡(luò)調(diào)度和加速。騰訊云 BGP 網(wǎng)絡(luò)上有 15 年的研發(fā)運(yùn)營(yíng)經(jīng)驗(yàn)，在面臨國(guó)內(nèi)交叉復(fù)雜的網(wǎng)絡(luò)環(huán)境中，修煉出一身基于 SDN 的跨地域網(wǎng)絡(luò)調(diào)度能力，保障了包括微信、QQ 在內(nèi)的億萬用戶良好的互聯(lián)網(wǎng)通信順暢。具體而言，以云為中心的網(wǎng)絡(luò)架構(gòu)核心優(yōu)勢(shì)包括以下三點(diǎn)：

1）近 100 路運(yùn)營(yíng)商聚合，全球同服。騰訊云擁有 Tb 級(jí)的 BGP 網(wǎng)絡(luò)帶寬，在全球聚合了近 100 路運(yùn)營(yíng)商接入資源。在國(guó)內(nèi)，用戶只用集中維護(hù)一套集群，然后 IP/LB 以跨地域綁定方式，即可覆蓋全國(guó)用戶，實(shí)現(xiàn) 真正意義的全網(wǎng)同服；

2）全球 Tb 級(jí)骨干承載，多節(jié)點(diǎn)互連互通。Tb 級(jí)骨干承載網(wǎng)，連通了在全球的各大 BGP 網(wǎng)絡(luò)出口，單地域故障時(shí)可以自動(dòng)進(jìn)行流量切換。即當(dāng)網(wǎng)絡(luò)發(fā)生擁堵時(shí)，可以通過更改 IP 的發(fā)布地，讓流量躲開擁堵地區(qū)，實(shí)現(xiàn)網(wǎng)絡(luò)效果優(yōu)化?；谕瑯拥脑瓌t可以以最優(yōu)路徑返回，快速響應(yīng) client 端；

3）多維網(wǎng)絡(luò)監(jiān)控模型，全局網(wǎng)絡(luò)監(jiān)控告警。一方面，采用面向全球的網(wǎng)絡(luò)撥測(cè)和自動(dòng)化告警系統(tǒng)，從網(wǎng)絡(luò)層面感知網(wǎng)絡(luò)運(yùn)營(yíng)情況；另一方面，通過自研產(chǎn)品統(tǒng)計(jì)上報(bào)網(wǎng)絡(luò)連接質(zhì)量的統(tǒng)計(jì)信息，快速定向判斷全球網(wǎng)絡(luò)點(diǎn)對(duì)點(diǎn)的網(wǎng)絡(luò)質(zhì)量，先于網(wǎng)絡(luò)層感知網(wǎng)絡(luò)異常，快速定位網(wǎng)絡(luò)問題。

以某一廣州游戲公司為例，backend 服務(wù)集群在廣州，但又希望全國(guó)的用戶能接入。這就同時(shí)需要全局漂移 IP，作為訪問的唯一入口。在沒有網(wǎng)絡(luò)跨地域調(diào)度和就近接入服務(wù)的條件下，用戶只能區(qū)分多個(gè)外網(wǎng) IP 方式以及寄望于運(yùn)營(yíng)商鏈路質(zhì)量。這種做法容易導(dǎo)致網(wǎng)絡(luò)卡頓，在服務(wù)商 BGP 網(wǎng)絡(luò)異常的情況下，亦無法及時(shí)發(fā)現(xiàn)解決問題，用戶會(huì)因?yàn)轶w驗(yàn)問題而流失。

接入 Supermind 智能網(wǎng)絡(luò)后，用戶只用集中維護(hù)一套集群，IP/LB 以跨地域綁定方式即可覆蓋全國(guó)用戶。同時(shí)，騰訊云 Tb 級(jí)骨干承載網(wǎng)能夠幫助入口調(diào)度躲避擁堵，清除冗余路徑，解決網(wǎng)絡(luò)卡頓問題。

Supermind 智能網(wǎng)絡(luò)性能優(yōu)化實(shí)踐經(jīng)驗(yàn)談

網(wǎng)絡(luò)加速的實(shí)現(xiàn)原理說起來簡(jiǎn)單，具體到落地實(shí)施，卻是一件龐大而復(fù)雜的事情。比如如何提前預(yù)測(cè)流量峰值，規(guī)避網(wǎng)絡(luò)擁堵？如何快速發(fā)現(xiàn)網(wǎng)絡(luò)異常，定位故障節(jié)點(diǎn)？海量網(wǎng)絡(luò)數(shù)據(jù)的前提下，如何保障用戶信息安全？這些都是讓開發(fā)者和運(yùn)維人員十分頭疼的問題。

在解決方案上，Supermind 采用人工智能的方式，實(shí)現(xiàn)網(wǎng)絡(luò)規(guī)劃、建設(shè)以及運(yùn)維的全流程。它覆蓋規(guī)劃、資源管理、網(wǎng)絡(luò)監(jiān)控、故障定位、故障排除、安全防護(hù)等能力，形成了從網(wǎng)絡(luò)系統(tǒng)設(shè)計(jì)、管理、運(yùn)營(yíng)、優(yōu)化、安全等方面的智能閉環(huán)，并在網(wǎng)絡(luò)速度、性能和安全上做了系列優(yōu)化實(shí)踐。

風(fēng)險(xiǎn)資源提前擴(kuò)容，智能管理網(wǎng)絡(luò)拓?fù)?/p>

風(fēng)險(xiǎn)資源提前預(yù)測(cè)擴(kuò)容相對(duì)容易實(shí)現(xiàn)，具體做法是將幾萬條網(wǎng)絡(luò)鏈路的歷史使用數(shù)據(jù)導(dǎo)入到 Supermind 數(shù)據(jù)智能分析系統(tǒng)里面，這樣人工智能就可以依據(jù)歷史的數(shù)據(jù)思考哪些地方可能會(huì)出現(xiàn)一些變化?；谶@樣預(yù)測(cè)，就可以提前和合作運(yùn)營(yíng)商發(fā)起網(wǎng)絡(luò)的擴(kuò)容申請(qǐng)，保障網(wǎng)絡(luò)的暢通無阻。

如一天之中，哪個(gè)時(shí)間段會(huì)比其他時(shí)間段產(chǎn)生更高的一個(gè)流量？這個(gè)流量峰值和谷值會(huì)達(dá)到一個(gè)什么樣的比例？一周之內(nèi)，工作日和非工作日幾萬條鏈路，哪些鏈路工作日更多？哪些鏈路非工作日更多？這些都可以通過以往的歷史數(shù)據(jù)統(tǒng)計(jì)分析出一個(gè)大概規(guī)律和結(jié)論，然后基于此結(jié)論提前擴(kuò)容用以規(guī)避風(fēng)險(xiǎn)。

再說網(wǎng)絡(luò)拓?fù)涔芾恚瑢?duì)網(wǎng)絡(luò)結(jié)點(diǎn)而言，完全一一互聯(lián)是非常困難的事情，如上圖所示的網(wǎng)絡(luò)拓?fù)鋱D，A 和 C 之間的流量很少，這兩點(diǎn)之間通常無法直接建一條連通線，需要通過其他節(jié)點(diǎn)傳輸。如 A 和 C 之間的流量可能會(huì)分到 A、D、C，也可能分到 A、B、C，這種繞行情況導(dǎo)致的網(wǎng)絡(luò)擁堵就有兩種選擇：一種是在原有的鏈路上直接擴(kuò)容，另外一種方法是建立一條新的鏈路。我們需要通過計(jì)算找到最優(yōu)路徑，當(dāng)幾萬條數(shù)據(jù)需要同時(shí)做選擇時(shí)，顯然傳統(tǒng)的 BGP 選路策略無法適應(yīng)和支持基于網(wǎng)絡(luò)通信質(zhì)量來進(jìn)行出口優(yōu)化。

Supermind 網(wǎng)絡(luò)的 SDN 控制器自學(xué)習(xí)算法，根據(jù)監(jiān)控反饋的鏈路質(zhì)量，通過 AI 算法計(jì)算，以時(shí)延和丟包為主要約束條件，支持譬如 ISP 優(yōu)先、本地優(yōu)先、區(qū)域優(yōu)先、AS PATH 最短優(yōu)先等最優(yōu)出口選擇。在幾十上百個(gè)出口、幾萬條可選路徑的情況下，人工把所有的可能路徑遍歷研究一遍，在最短時(shí)間內(nèi)計(jì)算全局最優(yōu)的出口，下發(fā)路由策略。

快速發(fā)現(xiàn)網(wǎng)絡(luò)異常，秒級(jí)定位故障節(jié)點(diǎn)

傳統(tǒng)的網(wǎng)絡(luò)故障如網(wǎng)絡(luò)鏈路中斷時(shí)，一般的人工排查流程是要查看同時(shí)段關(guān)聯(lián)告警以及機(jī)房質(zhì)量，獲取端到端拓?fù)?，查看設(shè)備 syslog、流量以及是否丟錯(cuò)包，并進(jìn)行流統(tǒng)測(cè)試，對(duì)鏈路、設(shè)備進(jìn)行隔離，整個(gè)一圈走下來，一個(gè)成熟的網(wǎng)絡(luò)工程師至少需要 30 分鐘才有可能定位出這個(gè)網(wǎng)絡(luò)故障的源問題發(fā)生點(diǎn)。

Supermind 采用 SDN 轉(zhuǎn)控分離解決方案，將復(fù)雜的協(xié)議與計(jì)算訴求放在上層的服務(wù)器資源中進(jìn)行，底層設(shè)備僅做轉(zhuǎn)發(fā)操作。將路徑選擇、IP 發(fā)布的算法統(tǒng)一收歸到全局唯一的控制器，推進(jìn)簡(jiǎn)化設(shè)備的使用，借助多層異常告警收斂聚合算法定位故障，輸出聚合精簡(jiǎn)后的告警信息。據(jù)悉，通過 AI 提供定位建議，可以將故障定位時(shí)間縮短到了 5 分鐘以內(nèi)，平局處理時(shí)間降低 75%，人工識(shí)別告警到處理完成控制在 20 分鐘以內(nèi)，整體系統(tǒng) SLA 提高了 20%。

一般問題自動(dòng)處理，重大故障專業(yè)建議

故障發(fā)現(xiàn)之后，就要對(duì)故障進(jìn)行處理。系統(tǒng)會(huì)首先對(duì)網(wǎng)絡(luò)故障進(jìn)行策略的分級(jí)，比較傳統(tǒng)的、一般型的網(wǎng)絡(luò)故障，AI 會(huì)根據(jù)預(yù)先設(shè)定的策略進(jìn)行自動(dòng)化的執(zhí)行，如面對(duì)外網(wǎng)問題，可以采用 DSN 調(diào)度，BGP 調(diào)度或者 DDoS 封堵等方法來解決問題；如果是面對(duì)內(nèi)網(wǎng)的決策，可以通過彈性擴(kuò)容，Qos 保障，斷口隔離，切換路徑等實(shí)現(xiàn)自愈。程序員只需提前設(shè)定好故障處理系統(tǒng)，智能網(wǎng)絡(luò)則可通過處理故障。

現(xiàn)有的 AI 故障自愈系統(tǒng)大多是基于人的理解設(shè)定，無法完全理解網(wǎng)絡(luò)底層的架構(gòu)，也就是說并不是所有的問題都能采用人工智能的技術(shù)解決，在出現(xiàn)重大的故障時(shí)，AI 可以適當(dāng)給建議，由運(yùn)維工程師集中解決的。經(jīng)過這樣智能改造之后，現(xiàn)在騰訊云 85% 的故障是不需要人為介入的，總的故障處理時(shí)間降低了 60%。當(dāng)然我們也難以保證，未來的某一天 AI 對(duì)網(wǎng)絡(luò)的技術(shù)理解比人的理解更加深入的時(shí)候，可能整個(gè)環(huán)節(jié)就不需要人工的參與了。

智能識(shí)別惡意攻擊，保障用戶網(wǎng)絡(luò)安全

除了剛才說的在網(wǎng)絡(luò)資源管理、網(wǎng)絡(luò)排障、網(wǎng)絡(luò)故障發(fā)現(xiàn)以外，網(wǎng)絡(luò)安全上也起到了越來越重要。傳統(tǒng)的黑客在攻擊一個(gè)目標(biāo)的時(shí)候，是通過手動(dòng)的方式，點(diǎn)對(duì)點(diǎn)進(jìn)行攻擊的。這種方式已經(jīng)無法應(yīng)對(duì)新的時(shí)代快速發(fā)展的對(duì)效率的要求，現(xiàn)在多數(shù)黑客通過 AI 掃描，窺探互聯(lián)網(wǎng)上哪些數(shù)據(jù)庫(kù)可能會(huì)有高危的端口，哪些平臺(tái)有哪些漏洞，掃描信息后將不同數(shù)據(jù)庫(kù)進(jìn)行一個(gè)拼接，竊取用戶數(shù)據(jù)。

防護(hù)黑客智能攻擊需要智能的手段，騰訊云 Supermind 網(wǎng)絡(luò)采用 AI 模式拆解、綜合性信息防護(hù)、語(yǔ)義分析與詐騙防護(hù)提示、輿情分析 + 關(guān)鍵時(shí)間點(diǎn)防護(hù)、反機(jī)器人模擬人臉、指紋、聲紋、反系統(tǒng)性 ddos 攻擊、反 AI 爆破的密碼定義及校驗(yàn)等功能。

寫在最后

網(wǎng)絡(luò)是用戶使用云服務(wù)時(shí)最為關(guān)注的技術(shù)點(diǎn)之一。不管是之前震撼整個(gè)游戲圈的“王者榮耀”，還是如今一直霸榜搜索熱門的“絕地求生：大逃殺”，騰訊產(chǎn)品的火爆，都離不開其背后的底層技術(shù)支持。Supermind 智能網(wǎng)絡(luò)技術(shù)的出現(xiàn)，不僅是當(dāng)今用戶對(duì)網(wǎng)絡(luò)速度、性能等體驗(yàn)極致化要求的集中體現(xiàn)，也在一定程度上反映了國(guó)內(nèi) IAAS 公有云廠商逐漸從 IDC 內(nèi)部走向全網(wǎng)覆蓋，以及網(wǎng)絡(luò)管理 AI 化的趨勢(shì)和潮流。