傳統(tǒng)的數據中心主要是依據功能進行區(qū)域劃分，例如 WEB 、APP、DB，辦公區(qū)、業(yè)務區(qū)、內聯區(qū)、 外聯區(qū)等等。 不同區(qū)域之間通過網關和安全設備互訪， 保證不同區(qū)域的可靠性、安全性。同時， 不同區(qū)域由于具有不同的功能，因此需要相互訪問數據時， 只要終端之間能夠通信即可，并不一定要求通信雙方處于同一VLAN或二層網絡。

傳統(tǒng)的數據中心網絡技術，STP 是二層網絡中非常重要的一種協議。 用戶構建網絡時，為了保證可靠性，通常會采用冗余設備和冗余鏈路， 這樣就不可避免的形成環(huán)路。而二層網絡處于同一個廣播域下， 廣播報文在環(huán)路中會反復持續(xù)傳送， 形成廣播風暴， 瞬間即可導致端口阻塞和設備癱瘓。因此，為了防止廣播風暴，就必須防止形成環(huán)路。這樣，既要防止形成環(huán)路，又要保證可靠性， 就只能將冗余設備和冗余鏈路變成備份設備和備份鏈路。 即冗余的設備端口和鏈路在正常情況下被阻塞掉，不參與數據報文的轉發(fā)。只有當前轉發(fā)的設備、端口、 鏈路出現故障，導致網絡不通的時候， 冗余的設備端口和鏈路才會被打開， 使得網絡能夠恢復正常。實現這些自動控制功能的就是 STP(Spanning Tree Protocol ，生成樹協議 )。

由于 STP 的收斂性能等原因， 一般情況下 STP 的網絡規(guī)模不會超過 100臺交換機。 同時由于 STP 需要阻塞掉冗余設備和鏈路，也降低了網絡資源的帶寬利用率。因此在實際網絡規(guī)劃時，從轉發(fā)性能、利用率、可靠性等方面考慮，會盡可能控制 STP 網絡范圍。

大二層也是為了流通的要求

隨著數據大集中的發(fā)展和虛擬化技術的應用， 數據中心的規(guī)模與日俱增， 不僅對二層網絡的區(qū)域范圍要求也越來越大，在需求和管理水平上也提出了新的挑戰(zhàn)。

數據中心區(qū)域規(guī)模和業(yè)務處理需求的增加， 對于集群處理的應用越來越多， 集群內的服務器需要在一個二層 VLAN下。同時，虛擬化技術的應用，在帶來業(yè)務部署的便利性和靈活性基礎上， 虛擬機的遷移問題也成為必須要考慮的問題。 為了保證虛擬機承載業(yè)務的連續(xù)性，虛擬機遷移前后的 IP 地址不變，因此虛擬機的遷移范圍需要在同一個二層 VLAN 下。

反過來即，二層網絡規(guī)模有多大，虛擬機才能遷移有多遠。

傳統(tǒng)的基于 STP 備份設備和鏈路方案已經不能滿足數據中心規(guī)模、帶寬的需求，并且STP 協議幾秒至幾分鐘的故障收斂時間， 也不能滿足數據中心的可靠性要求。 因此， 需要能夠有新的技術， 在滿足二層網絡規(guī)模的同時， 也能夠充分利用冗余設備和鏈路， 提升鏈路利用率，而且數據中心的故障收斂時間能夠降低到亞秒甚至毫秒級。

大二層需要有多大

既然二層網絡規(guī)模需要擴大，那么大到什么程度合適 ?這取決于應用場景和技術選擇。

1、數據中心內

大二層首先需要解決的是數據中心內部的網絡擴展問題，通過大規(guī)模二層網絡和 VLAN延伸，實現虛擬機在數據中心內部的大范圍遷移。 由于數據中心內的大二層網絡都要覆蓋多個接入交換機和核心交換機，主要有以下兩類技術。

虛擬交換機技術

虛擬交換機技術的出發(fā)點很簡單， 屬于工程派。 既然二層網絡的核心是環(huán)路問題， 而環(huán)路問題是隨著冗余設備和鏈路產生的， 那么如果將相互冗余的兩臺或多臺設備、兩條或多條鏈路合并成一臺設備和一條鏈路， 就可以回到之前的單設備、 單鏈路情況， 環(huán)路自然也就不存在了。 尤其是交換機技術的發(fā)展， 虛擬交換機從低端盒式設備到高端框式設備都已經廣泛應用， 具備了相當的成熟度和穩(wěn)定度。 因此， 虛擬交換機技術成為目前應用最廣的大二層解決方案。

數據中心網絡架構三層分析

虛擬交換機技術的代表是H3C公司的IRF、Cisco公司的VSS，其特點是只需要交換機軟件升級即可支持，應用成本低，部署簡單。目前這些技術都是各廠商獨立實現和完成的，只能同一廠商的相同系列產品之間才能實施虛擬化。 同時， 由于高端框式交換機的性能、密度越來越高， 對虛擬交換機的技術要求也越來越高， 目前框式交換機的虛擬化密度最高為 4：1.虛擬交換機的密度限制了二層網絡的規(guī)模大約在 1萬～ 2萬臺服務器左右。

隧道技術

隧道技術屬于技術派，出發(fā)點是借船出海。二層網絡不能有環(huán)路，冗余鏈路必須要阻塞掉，但三層網絡顯然不存在這個問題，而且還可以做 ECMP( 等價鏈路 )，能否借用過來呢 ?

通過在二層報文前插入額外的幀頭， 并且采用路由計算的方式控制整網數據的轉發(fā)， 不僅可以在冗余鏈路下防止廣播風暴，而且可以做 ECMP.這樣可以將二層網絡的規(guī)模擴展到整張網絡，而不會受核心交換機數量的限制。

隧道技術的代表是 TRILL 、 SPB，都是通過借用 IS-IS 路由協議的計算和轉發(fā)模式，實現二層網絡的大規(guī)模擴展。 這些技術的特點是可以構建比虛擬交換機技術更大的超大規(guī)模二層網絡 (應用于大規(guī)模集群計算 )，但尚未完全成熟，目前正在標準化過程中。同時傳統(tǒng)交換機不僅需要軟件升級，還需要硬件支持。

2、跨數據中心

隨著數據中心多中心的部署， 虛擬機的跨數據中心遷移、 災備， 跨數據中心業(yè)務負載分擔等需求， 使得二層網絡的擴展不僅是在數據中心的邊界為止， 還需要考慮跨越數據中心機房的區(qū)域，延伸到同城備份中心、遠程災備中心。

一般情況下， 多數據中心之間的連接是通過路由連通的， 天然是一個三層網絡。 而要實現通過三層網絡連接的兩個二層網絡互通，就必須實現“ L2 over L3 ”。

L2oL3 技術也有許多種， 例如傳統(tǒng)的 VPLS(MPLS L2VPN) 技術，以及新興的 Cisco OTV 、H3C EVI 技術，都是借助隧道的方式，將二層數據報文封裝在三層報文中，跨越中間的三層網絡，實現兩地二層數據的互通。這種隧道就像一個虛擬的橋，將多個數據中心的二層網絡貫穿在一起。

另外，也有部分虛擬化和軟件廠商提出了軟件的 L2 over L3 技術解決方案。 例如 VMware的VXLAN 、微軟的NVGRE，在虛擬化層的 vSwitch 中將二層數據封裝在 UDP 、GRE報文中，在物理網絡拓撲上構建一層虛擬化網絡層，從而擺脫對網絡設備層的二層、三層限制。

這些技術由于性能、擴展性等問題，也沒有得到廣泛的使用。

數據中心之間的互聯方式

網絡三層互聯。 也稱為數據中心前端網絡互聯， 所謂 "前端網絡 "是指數據中心面向企業(yè)園區(qū)網或企業(yè)廣域網的出口。不同數據中心 (主中心、災備中心 )的前端網絡通過 IP 技術實現互聯， 園區(qū)或分支的客戶端通過前端網絡訪問各數據中心。 當主數據中心發(fā)生災難時， 前端網絡將實現快速收斂，客戶端通過訪問災備中心以保障業(yè)務連續(xù)性 ;

網絡二層互聯。也稱為數據中心服務器網絡互聯。在不同的數據中心服務器網絡接入層，構建一個跨數據中心的大二層網(VLAN) ，以滿足服務器集群或虛擬機動態(tài)遷移等場景對二層網絡接入的需求 ;

SAN 互聯。

也稱為后端存儲網絡互聯。借助傳輸技術 (DWDM 、 SDH 等 )實現主中心和災備中心間磁盤陣列的數據復制。

數據中心二層互聯的業(yè)務需求

服務器高可用集群

服務器集群 (Cluster) ，是借助集群軟件將網絡上的多臺服務器關聯在一起，提供一致的服務，對外表現為一臺邏輯服務器。多數廠商 (HP、IBM 、微軟、 Veritas 等 )的集群軟件需要各服務器間采用二層網絡互聯。 將集群中的服務器部署于不同數據中心， 可實現跨數據中心的應用系統(tǒng)容災。

服務器搬遷和虛擬機動態(tài)遷移

數據中心進行擴建或搬遷時，需要將物理服務器從一個數據中心遷至另一個數據中心。

在此過程中，考慮以下兩個因素，需要在數據中心間構建二層互聯網絡：

當服務器被遷至新機房， 如未構建新老中心間的二層互聯網絡，則面臨重新規(guī)劃新中心服務器 IP 地址的問題，同時還需修改DNS ，或修改客戶端應用程序配置的服務器 IP.因此，構建跨中心的二層互聯網絡可保留被遷移服務器的 IP 地址，進而簡化遷移過程 ;

在服務器搬遷期間， 經常在給定的時間內， 只能將服務器群的一部分服務器遷至新中心，為保證業(yè)務連續(xù)性， 需建立跨中心的服務器集群， 構建跨越中心的二層互聯網絡可實現服務器平滑遷移。

與服務器搬遷類似的情況是 "虛擬機遷移 ".當前，一些服務器虛擬化軟件可實現在兩臺虛擬化的物理服務器之間對虛擬機做動態(tài)遷移。遷移至另一中心的虛擬機不僅保留原有 IP地址，而且還保持遷移前的運行狀態(tài) (如 TCP 會話狀態(tài) )，所以必須將涉及虛擬機遷移的物理服務器接入同一個二層網絡 (虛擬機在遷移前后的網關不變 )，這種應用場景要求構建跨中心的二層互聯網絡。

數據中心二層互聯設計要點

1、前提要素——現網狀態(tài)

選擇數據中心二層互聯方案的前提要素是明確用戶在多個數據中心之間具有哪些網絡資源。網絡資源的不同直接決定了用戶將采用何種組網方案：

運營商、大型互聯網企業(yè)：裸光纖或 DWDM 傳輸資源，對應 RRPP 環(huán)網方案或HUB-SPOKE 方案 ;

運營商、大企業(yè)、金融、政府機構： MPLS 網絡，對應 VPLS 組網方案 ;

中小企業(yè)客戶： IP 網絡，對應 VPLSoverGRE 組網方案

2.核心要素——性能

時延

數據中心之間二層互聯是為了實現虛擬機的異地調度和集群異地應用，為了實現這一點，必須滿足虛擬機 VMotion 和集群存儲異地訪問的時延要求。第一個限制是 VMotion 同步會話距離。第二個要求是存儲網絡。 DC 之間的存儲必須實現同步訪問或是鏡像訪問。

需要注意的是，在 VPLS 或是 IP 網絡環(huán)境中，由于網絡中存在大量復雜的應用，所以必須通過部署全網 QoS 來保證 DCI 互聯數據流的服務質量。流量環(huán)境越復雜，則 QoS 配置工作量越大，時延指標越難以滿足。 VPLS 網絡通常應用于企業(yè)或是行業(yè)的專用業(yè)務，流量環(huán)境相對于 IP 網絡較簡單，所以在部署 QoS 方面有一定優(yōu)勢。

帶寬

數據中心互聯的核心需求之一就是保證虛擬機跨 DC 的遷移。 vSphere5.0之前的版本，VMotion 對于遷移鏈路的帶寬有明確的要求 -帶寬不小于 622M;vSphere5.0 的版本， VMotion對于遷移鏈路的帶寬不小于 250M.

從帶寬資源的分配情況來看，裸光纖或DWDM 的帶寬資源最為充足，VPLS 和 IP 網絡的帶寬資源相對緊張，必須部署全網端到端的 QoS 優(yōu)先級來保證 DCI 業(yè)務流量的帶寬要求。

3、關鍵要素—— HA

數據中心二層互聯的關鍵因素就是如何提高可用性。 提高 HA 的一個最有效的方式就是設計備份鏈路、 備份節(jié)點。 如果結合提高互聯帶寬的需求， 則建議設計負載分擔的互聯路徑，在提高互聯帶寬的同時，也能夠保證系統(tǒng)異常時能夠實現業(yè)務的快速收斂，提高 HA 指標。

以 DWDM 網絡為例，建議利用 IRF 實現 DCI 鏈路的高 HA 和鏈路負載分擔設計方案。

在裸光纖或是 DWDM 互聯組網方案中，DCI互聯的兩端PE設備必須支持 IRF，將PE之間的兩條 (或多條 )鏈路通過聚合(LACP) 技術形成一條邏輯鏈路，會極大的簡化 DCI 的組網拓撲。同時，這兩條 HA 鏈路的帶寬會得到 100%的利用，達到 1： 1的負載分擔效果。

數據中心二層互聯方案設計

1、基于裸光纖或 DWDM 線路的二層互聯

裸光纖或 DWDM 二層互聯方案需要用戶在現網中擁有光纖或傳輸資源， 對用戶要求較高，但從使用的角度來看，裸光纖或 DWDM 方案的性能是最優(yōu)的。

基于裸光纖或 DWDM 線路的二層互聯方案有兩種選擇：HUB-SPOKE 方案和 RRPP環(huán)網方案。前者的優(yōu)點是基于最短路徑轉發(fā)，所以轉發(fā)效率高 ;后者的優(yōu)點則是環(huán)網天然的轉發(fā)路徑冗余設計，所以HA性能較高。

Hub-Spoke 組網方案

通過裸光纖或是 DWDM 將多個 (例如 4個 )數據中心互聯。 為了方便擴展更多的數據中心節(jié)點，一個最常用的方案就是采用 HUB-SPOKE 組網模型，即通過一個核心節(jié)點與各數據中心的匯聚層互聯。在邏輯結構上，多個中心與核心節(jié)點構成了一個 Hub-Spoke 的星形拓撲，其中核心節(jié)點為 HUB ，各中心匯聚層為 Spoke.

在 Hub-Spoke 組網環(huán)境中，核心節(jié)點是最重要的，關系到全網是否能正常運轉，是保證多數據中心 HA 的關鍵因素。如何提高核心節(jié)點的HA性能 ?一個最重要的設計理念就是在核心節(jié)點應用 IRF 技術，將兩臺設備通過 IRF 技術形成一臺設備，將核心設備故障異常的收斂時間從幾十秒降低到毫秒級， 也就是說可以將系統(tǒng)的 HA 性能提高將近兩個量級。 這一點對于 Hub-Spoke 組網方案是非常重要的。