天天干天天射天天操-国产精品一区二区三区av-HD中字在线看,国产一区二区资源,我揉着老师白嫩的大乳作文,精品国产鲁一鲁一区二区更新时间

骨干網(wǎng)流量采集、匯聚與分流關(guān)鍵技術(shù)

1、應用背景

骨干網(wǎng)流量采集主要應用于運行商廣告推送、運行商計費取證服務、運行商信令監(jiān)控服務、園區(qū)網(wǎng)審計、大數(shù)據(jù)分析等應用領(lǐng)域。

我們在骨干網(wǎng)流量采集領(lǐng)域,經(jīng)常會遇到采集、負載均衡、分流、匯聚等各種術(shù)語,這些術(shù)語之間是什么關(guān)系呢?

所謂流量采集,就是將網(wǎng)絡流量通過物理層、數(shù)據(jù)鏈路層的信號解析和解幀,實現(xiàn)IP原始報文的獲取。由于以通用CPU為核心的傳統(tǒng)分析平臺的處理能力總是有限的,所以一定方式的過濾(或稱為流量衰減),不僅可以降低后端服務器的負載,而且可以降低整個系統(tǒng)的功耗和成本。另外,要實現(xiàn)流量采集,必須實現(xiàn)鏈路層的轉(zhuǎn)換,如對POS、WAN進行轉(zhuǎn)換,或者高速率鏈路如40G POS到10GE的轉(zhuǎn)換,100GE到10GE的轉(zhuǎn)換。采集之后的輸出有通過以太網(wǎng)報文輸出(PET采集設備:www.balancingacupuncture.com/pet320flq.html)或者PCI總線直接到服務器內(nèi)存(智能網(wǎng)卡:www.balancingacupuncture.com/pcap2.html)兩種。

而負載均衡與分流基本上屬于同一個術(shù)語,就是在輸出流量超過后端處理能力的情況下,以服務器集群方式處理流量的一種方式,流量分發(fā)一般基于流保持方式,即同源同宿同MAC。傳統(tǒng)的Hash方式雖然能夠?qū)笪纳⒘械讲煌暮蠖颂幚矶?,但是由于存在巨流,分流效果一般不會很好,自適應分流方式具有更好的均衡性。負載均衡與分流稍微有一點區(qū)別,一般說負載均衡時,會強調(diào)采集設備對后端處理能力的感知性,能夠動態(tài)調(diào)整;而分流則一般由采集設備自主分配流量(受后端控制)。

匯聚(www.balancingacupuncture.com/tc2402.html)是負載均衡或者分流的逆過程,當前的匯聚,一般用于千兆到萬兆,主要用于需要長途傳輸流量,或者后端分離服務器基于萬兆網(wǎng)卡而采集流量基于千兆兩種場合。

2、用戶需求

(1)如何實現(xiàn)高密度,低功耗的采集設備:在選擇廠家時要特別注意其設備的密度,交換容量、輸入接口密度,輸出接口密度,輸入輸出是否能夠復用等。通常情況下,高密度的設備其單位流量的平均功耗要小,而非ATCA獨立設備比ATCA設備功耗要小。

(2)如何降低用戶成本:輸入輸出接口復用是降低成本的有效方式,如一個萬兆接口,如果其輸入接口可以為WAN,而輸出接口可以是10GE,則可以有效降低用戶的成本。用戶接口是否可以更換,平臺是否能夠平滑升級也是要考慮的問題。另外,非ATCA獨立設備一般比ATCA設備價格更便宜。

(4)分流均衡性:Hash算法的選擇是分流均衡性的關(guān)鍵,例如,CRC32比CRC16的均衡性要好,而CRC16又比異或的均衡性要好。好的均衡性依賴于采集設備的智能,當存在巨流時,要能夠自動將同一個MAC上新產(chǎn)生的流量調(diào)整到其他的服務器。另外,當后端分析服務器出現(xiàn)故障時,要能夠自動切換。

3、關(guān)鍵技術(shù)

3.1 100G成幀關(guān)鍵技術(shù)

隨著多核處理、虛擬化、網(wǎng)絡存儲等技術(shù)的發(fā)展,企業(yè)計算環(huán)境和骨干鏈路對鏈路帶寬的要求越來越高。對當前數(shù)據(jù)中心中的10G以太網(wǎng)計算機設備和將來40G以太網(wǎng)需要交換機到交換機之間的連接采用100G接口。同樣的要求,在ISP處也有。100G是現(xiàn)在將來一段時間內(nèi)Internt互聯(lián)及新服務和消費者及企業(yè)用戶的完美解決方案。

由于IPTV、視頻點播等業(yè)務,遠程存儲、移動寬帶業(yè)務、VPN服務等廣泛應用,運營商骨干網(wǎng)的流量在持續(xù)增加,Internet服務提供商(ISP)和網(wǎng)絡服務提供商(NSP)對高帶寬的需求不斷增加。目前,客戶到運營商的連接已經(jīng)在快速擴展到10GE,典型情況下,骨干網(wǎng)絡的連接需要客戶連接的4到10倍,才能保證足夠的性能。

按照IEEE 802.3ba標準,100G Base-R PCS Cores包括100G擾碼處理,64b/66b編碼和解碼,多Lane分發(fā),邊界對其插入、塊同步以及時鐘解耦等技術(shù)。

MLD(Multi-Lane Distribution)模塊將數(shù)據(jù)分發(fā)到20個虛擬的Lane上。實現(xiàn)了CGMII(100G介質(zhì)介質(zhì)獨立接口)。當前沒有一種媒體(光纖或電信號)能夠單流直接傳輸100Gb/s以太網(wǎng)信號,2010年IEEE802.3ba標準正式發(fā)布,在光傳輸接口上針對不同傳輸距離定義了100GBASE-SR10、100GBASE-LR4和100GBASE-ER4三種接口規(guī)范。100GBASE-SR10采用10對OM3 MMF/OM4 MMF光纖,每路光纖傳輸速率為10Gb/s,傳輸距離分別是100m/150m,100GBASE-LR4和100GBASE-ER4都采用SMF,采用LAN WDM技術(shù)用4個不同波長的光來傳輸,每個波長傳輸25Gb/s數(shù)據(jù),傳輸距離分別是10km和40km。

同樣的電氣接口也采用并行Lane來傳輸數(shù)據(jù),IEEE802.3ba標準定義的CAUI接口,使用10 Lane電氣接口,每個Lane傳輸10Gb/s數(shù)據(jù)。為了有效利用10 Lane來傳輸100GE數(shù)據(jù)必須解決多通道的數(shù)據(jù)封裝映射、對齊等問題,這是本成果中解決的關(guān)鍵技術(shù),IEEE802.3ba標準中這個功能是在PCS中實現(xiàn)的。

戎騰的解決方案是:光接口采用的是商用的100GE的CFP或者CFP2光模塊,實現(xiàn)100GE光信號到CAUI電接口的轉(zhuǎn)換,通過使用不同光模塊可以支持100GBASE-SR10、100GBASE-LR4和100GBASE-ER4等應用場合,光模塊輸出的是10路10Gbps的數(shù)據(jù),再進行后續(xù)的處理。

3.2 軟過濾技術(shù)

流量過濾本質(zhì)上是一種報文分類技術(shù),雖然本文僅闡述骨干網(wǎng)流量采集的關(guān)鍵技術(shù),實際上,報文分類是防火墻、QoS、區(qū)分服務(DiffServ)、入侵檢測系統(tǒng)、網(wǎng)絡取證系統(tǒng)的基礎(chǔ),雖然有EGT-PC、RFC、Efficuts等較為經(jīng)典的軟件算法,目前應用普遍的仍然是基于硬件搜索引擎TCAM(Ternary Content Addressing Memory)的方式,主要原因是高速骨干網(wǎng)絡對報文分類性能的要求非常高,已有的軟件算法或者規(guī)則增加的可擴展性不好,或者進行規(guī)則更新的靈活性不強。通常,評估一種報文分類方法是否可行,有下面一些指標:

  1. 性能:隨著規(guī)則的不斷增加,是否能夠快速地進行報文分類,能夠在不同的鏈路登記上達到線速分類的速率要求;
  2. 存儲空間要求:隨著規(guī)則數(shù)量的增加,對存儲空間的要求應該比較平穩(wěn)地增長;
  3. 靈活性:能夠快速進行規(guī)則更新,規(guī)則的更新通常應該能夠捕獲到下一個背靠背報文;
  4. 經(jīng)濟性:能夠使用較低的成本實現(xiàn)該算法,例如不需要復雜的體系結(jié)構(gòu),不需要額外增加元器件等;
  5. 適用性:對于增加額外的過濾域的可擴展性。

比較已有的方法和算法,目前尚無一種相對完備的解決方案,如表1所示。


表1 報文分類方法(算法)對比


方法或算法

性能 存儲空間要求 靈活性 經(jīng)濟性 適用性

TCAM

   

RFC

   

EGT-PC

   

Efficuts

 


在大規(guī)模流量采集體系結(jié)構(gòu)中,由于計算結(jié)點的處理能力不可能覆蓋所有的流量,對于已通過其他手段證實其合法的流量,可以直接過濾而不需送到計算單元中進行大規(guī)模的還原、存儲與數(shù)據(jù)挖掘,因此高性能、存儲空間要求不高、靈活性、經(jīng)濟性和適用性好的方法是其必然要求。

在整個數(shù)據(jù)處理流程中,報文提取可以通過MPE技術(shù)實現(xiàn)10G POS和10G以太網(wǎng)的報文獲取,流管理由于涉及復雜的超時、存儲空間申請、鏈表查找等操作,一般不適合于硬件處理。而多元組匹配傳統(tǒng)上使用TCAM實現(xiàn),特征匹配使用專用加速搜索引擎。




圖1 數(shù)據(jù)采集流程


考慮TCAM的經(jīng)濟性、適用性,采購周期等綜合因素,戎騰網(wǎng)絡創(chuàng)造性的提出了一種基于FPGA的CMT(Common Mask Tree)算法,算法在研制的PET平臺上,實現(xiàn)了320G的性能。

其基本方法為將規(guī)則集中的每一條規(guī)則轉(zhuǎn)換為相應的多維前綴,并利用這些前綴的公共掩碼將傳統(tǒng)前綴匹配問題轉(zhuǎn)化為多級精確匹配問題,后者可用哈希表達到O(1)的查找速率。同時利用原子操作實現(xiàn)了一套FPGA環(huán)境下的快速規(guī)則更新算法。

3.3 軟硬協(xié)同的3G/LTE監(jiān)控技術(shù)

3G和LTE的廣泛部署,為移動終端的普及提供了基礎(chǔ)。截止2014年6月,中國網(wǎng)民規(guī)模達到6.32億,其中使用手機上網(wǎng)的用戶比例達到83.4%,已經(jīng)超過使用PC上網(wǎng)的用戶比例(80.9%)。

移動網(wǎng)絡的發(fā)展也產(chǎn)生了新的網(wǎng)絡安全問題,利用移動通信互聯(lián)網(wǎng)逃避監(jiān)管的網(wǎng)絡行為也在不斷增加。犯罪人員利用互聯(lián)網(wǎng)的高科技性和虛擬性,使其犯罪行為時常無法對其進行懲罰或是有效的預防。主要的安全挑戰(zhàn)包括:

(1)用戶從傳統(tǒng)固網(wǎng)遷移到移動網(wǎng)絡后,對網(wǎng)絡攻擊行為和網(wǎng)絡犯罪如何快速反應、定位和溯源;

(2)新業(yè)務管控難度大:微博、社交網(wǎng)站等新業(yè)務具有兩面性,安全管控的難度大;

(3)如何通過數(shù)據(jù)挖掘,提取有價值的情報和攻擊信息。

面對錯綜復雜的移動網(wǎng)絡業(yè)務和多樣的終端類型,原有的網(wǎng)絡安全管控手段已顯得力不從心。如果缺乏針對3G/LTE網(wǎng)絡的細粒度安全管控措施,相關(guān)監(jiān)管機構(gòu)將難以掌控不同客戶及終端的網(wǎng)絡行為;更為嚴重的是,傳統(tǒng)互聯(lián)網(wǎng)中一些不良信息,如非法宣傳、網(wǎng)絡病毒、網(wǎng)絡攻擊、垃圾郵件等,借助LTE網(wǎng)絡這一平臺可能在更大范圍內(nèi)傳播泛濫,對網(wǎng)絡安全和可信造成嚴重威脅。

為解決移動無線網(wǎng)絡的數(shù)據(jù)取證問題,有兩種可能的技術(shù)途徑:一是從空口上抓取數(shù)據(jù)包并進行分析,這種方式一方面需要部署的設備特別多,另外空口數(shù)據(jù)解密有其固有的困難;另一種方式是數(shù)據(jù)落地后進行流量獲取,又有在基站后端、移動核心網(wǎng)和互聯(lián)網(wǎng)三種不同的采集位置。分析比較三種不同的采集位置,基站后端部署點具有鏈路多,安裝困難的特點;而互聯(lián)網(wǎng)采集則無法溯源;移動核心網(wǎng)鏈路較少(一般一個省8條到64條),具有完整的上網(wǎng)認證信息、用戶通信流量和信令流量,是比較可靠的數(shù)據(jù)采集點,但是移動核心網(wǎng)的流量不同于傳統(tǒng)的固網(wǎng)流量。3G/LTE核心網(wǎng)絡審計的復雜性,主要表現(xiàn)在封裝方式復雜。 這種復雜性為網(wǎng)絡取證帶來了以下挑戰(zhàn):

(1)取證前端設備是一種輔助設備,而非實際產(chǎn)生經(jīng)濟效益的設備,不可能如GGSN、PDSN那么昂貴,即必須在整體成本控制的前提下,提高前端設備的性價比;

(2)由于在某些制式中,一個以太網(wǎng)幀中可能封裝上百個終端分片,這些分片是以特殊字符分割的。因此,必須進行全包掃描以定位終端分片,而留給每個報文的處理時間并不長。在當前核心網(wǎng)普遍采用10G以太網(wǎng)鏈路的情況下,每個報文的處理時間只有37ns。要在37ns的時間內(nèi)進行全包掃描,并定位每個終端的報文分片,必須采用非常規(guī)的手段。單就整個處理流程的中全包掃描一個環(huán)節(jié),目前實際上尚沒有能夠掃到20Gbps的商用掃描技術(shù)。

(3)必須將登錄認證信息與IP地址關(guān)聯(lián):網(wǎng)絡取證的最終目的是定位有非法網(wǎng)絡行為的用戶,由于目前在移動網(wǎng)絡中普遍采用動態(tài)IP地址分配技術(shù),單純定位違法IP已經(jīng)無法解決真正的溯源問題,必須將IMSI號與用戶報文關(guān)聯(lián),使得一旦非常行為被發(fā)現(xiàn),即可通過IMSI號找到現(xiàn)實世界的真實用戶。 為解決無線移動網(wǎng)絡數(shù)據(jù)取證面臨的挑戰(zhàn),并充分考慮移動網(wǎng)絡的特點,戎騰網(wǎng)絡設計實現(xiàn)了軟硬結(jié)合的3G/LTE系統(tǒng)結(jié)構(gòu)。通過普通固網(wǎng)線卡收集流量,識別3G/LTE報文,并定位終端分片的位置;然后分流到綜合業(yè)務處理卡(CDP1000),并在CDP1000上采用定制硬件完成流量聚合和報文提取,通過多核NPU完成三層分片重組、VJ解壓縮;完整的的報文獲取后,實現(xiàn)高速流管理和內(nèi)容搜索。

4、小結(jié)

網(wǎng)絡技術(shù)的發(fā)展日新月益,當前三網(wǎng)融合已經(jīng)成為大的趨勢,3G已經(jīng)鋪開應用,LTE已經(jīng)試點運行,由于光進銅退帶動了PON技術(shù)的迅猛發(fā)展及廣泛應用,這些都是傳統(tǒng)取證平臺不具備的功能,留下了監(jiān)管和信令分析的空白,必須適時研制新的設備,幫助運營商優(yōu)化網(wǎng)絡,并使互聯(lián)網(wǎng)社會與現(xiàn)實社會一樣處于良序運行狀態(tài)中。 而在傳統(tǒng)的固網(wǎng)領(lǐng)域,全國10G POS等骨干鏈路已經(jīng)達到上萬條,必須采用通過新的技術(shù)創(chuàng)新降低原有取證系統(tǒng)的成本。

同時,由于大數(shù)據(jù)時代的來臨,廣告商開始日益關(guān)注網(wǎng)絡廣告、ISP服務商不僅關(guān)注網(wǎng)絡運營情況(ISP流量分析領(lǐng)域),也需要給用戶一個計費的清晰列表(ISP計費取證領(lǐng)域),這些應用造就了一個新的行業(yè),或者說一種新的設備提供商——智能流量探針。

戎騰網(wǎng)絡結(jié)合自身十余年在此領(lǐng)域的深耕,突破了系列關(guān)鍵技術(shù),實現(xiàn)了高性能、高性價比、功能豐富的互聯(lián)網(wǎng)骨干鏈路采集、匯聚與分流設備。