摘自：中国教育网络
随着IT技术的发展，尤其是虚拟化和云计算技术的日渐成熟与广泛应用，传统的数据中心因为IT资源置备慢、资源利用率低下、电能消耗过高、物理空间有限、服务质量低下等问题，而无法适应当今绿色IT的节能减排、低碳、智能先进的管理理念，也无法满足IT资源高效交付、运维成本和投资成本节俭等新型数据中心要求。
国内高校已经开始从传统物理数据中心向虚拟化数据中心过渡，进而向软件定义的数据中心过渡，这是数据中心发展的一种趋势。据不完全统计，大部分高校已经实现了服务器虚拟化，部分高校已经实现存储虚拟化，但是网络虚拟化还在摸索和测试中。
上海海事大学于2017年7月在已有的服务器、存储虚拟化、VRA云管平台的基础上，对数据中心的网络进行了改造，利用NSX技术实现了网络虚拟化，助力数据中心从传统的数据中心彻底转型为软件定义的数据中心。本文总结了我校数据中心网络改造的过程和经验，供大家参考。
1. 数据中心现状
上海海事大学从2009年开始自主建设服务器虚拟化，截至目前，我们利用业内较成熟的虚拟化产品，已经实现了计算虚拟化、存储虚拟化，并且利用vRealize Automaition 平台实现了IT资源的自动化部署与交付，利用vRealizeOperations实现了智能化运维。数据中心正朝着软件定义的数据中心转型，这其中网络虚拟化是关键环节。势必要求传统的数据中心网络向软件定义的网络转变。
2. 数据中心网络现状
数据中心已经基本实现软件定义数据中心功能，但数据中心网络还是处于原来的传统网络模式。从网络拓扑结构而言，数据中心起到了其所在楼宇的校园网汇聚的作用。其内部网络有三部分组成：一部分是托管服务器网络，主要用于各二级学院和二级部门的服务器；一部分是核心业务网络，主要用于信息化办公室为学校建设的核心业务物理服务器；最后一部分是虚拟机网络，主要用于信息化办公室为学校建设的虚拟机网络。其中虚拟机网络可看做是校园网的一个VLAN，与校园网络交织在一起，通过同一个核心交换机进行数据交换（如图1）。
这种网络结构给网络管理带来了一定复杂度。数据中心的物理服务器与虚拟机是由专门的数据中心管理员来管理，而数据中心的网络则是由校园网络管理员负责。数据中心对网络的需求，通常是在之前事先划定给数据中心服务器专用的网段之内的，预先配置好校园网核心交换机及服务器接入交换机，日常使用通常只是在既定的规划范围内正常使用，例如每次新增服务器，仅可使用既定的网络分段，在已有的VLAN内确定一个IP。但是在数据中心网络日常的使用中，必然会存在因业务而发生的网络变更，先前规划的网络已经不能满足当前的需求。例如新增网段，需征求校园网络管理员意见，等待网络管理员调整交换机配置后，数据中心管理员方可测试使用。
随着数据中心虚拟化程度越来越高，业务需求越来越多，安全性、灵活性及交付的时效性要求越来越高，传统网络已无法适应新的发展需求，其弊端也慢慢显现。
1. 传统网络架构之管理弊端
(1) 以硬件为中心：特定于供应商的管理，存在多种配置命令；
(2) 网络架构复杂，维护工作量大：每个接入交换机都需要做相关配置，完全手工配置，难以保证网络配置的一致性，配置复杂且易出错；
(3) 对新业务部署上线支持缓慢。网络追赶业务，而无法与业务同步；
(4) 虚拟网络与物理网络协调困难：服务器管理员无法管理网络，网络管理员也无法管理虚拟机的网络，出现网络故障需要协调网络管理员解决，排障效率低下；
(5) 网络调整不够灵活：涉及VLAN，IP等新增或者调整时，需要网络管理员确认并调整。
(6) 网络管理界面划分不清：原有架构下，服务器网络特别是虚拟机网络与校园网络交织在一起。虚拟机的网络可以在虚拟网卡中做一定的限制，故对于网络管理员而言，虚拟机的网络应该归虚拟机管理员来负责。而对于虚拟机管理员而言，网络的问题应该由网络管理员来负责，管理界限模棱两可。
2. 校园网与数据中心网络相互影响
目前校园网与数据中心网络是二层互联，在网络安全问题上相互影响，如广播风暴，环路等。
3. 内部安全控制不足
传统的数据中心网络安全防护一般部署在数据中心的边界防火墙设备，数据中心内部缺少东西向的安全控制（如图2）。黑客一旦突破了边界防火墙，就可以在数据中心内部畅通无阻，造成数据非常容易泄露。如果通过部署传统物理防护墙的形式，实现数据中心内部成百台虚拟机的东西向流向的安全，势必会成本很高，同时运维管理十分复杂。
鉴于传统网络的弊端，为了适应新型数据中心的要求及业务对网络的需求，我们对数据中心的网络进行了自主升级改造。本次改造通过实现数据中心网络可独立规划、按需分配、灵活调整、减少耦合，最终实现数据中心网络可在一定的范围内独立规划、设计、可根据需要自主分配网络、因业务需求可实现网络灵活调整、减少与校园网络之间的相互关联性、管理界限分明、排障简单的目标，彻底建成软件定义的数据中心。
1. 整体改造规划
根据数据中心的网络情况，我们制定了不同的改造策略。从长远角度看，我们主要是针对虚拟机网络进行虚拟化改造，其他网络采用逐步过渡到虚拟化网络的方法。具体如下：
(1) 托管物理服务器网络：托管服务器是历史遗留问题，目前数据中心已经不再接受托管，对于已有的这部分服务器，网络保持现状，物理服务器不再进行升级、更新等业务，采用逐步淘汰的原则。
(2) 服务器等硬件管理网络：使用重新规划的新网络地址，单独划分一个VLAN用于物理硬件的管理IP，其中包括了NAS，iSCSI等地址。
(3) 虚拟机网络：对于虚拟机的网络主要涉及两类地址，一类是教科网地址，一类是内网地址。教科网：如邮件、DNS等部分虚拟机使用了教科网，而且后续仍然存在业务需要使用教科网地址，故这部分网络保持原有状态。设置特定集群，单独放置使用教科网的虚拟机。仍然是桥接方式。内部网络：使用新规划网络，进行虚拟化网络改造，实现NSX网络虚拟化。
2. 网络虚拟化方案设计要点
(1) 数据中心使用单独一个B类地址，实现虚拟机网络与校园网相对独立；
(2) 新增两台数据中心核心交换机，与校园网三层互联，避免虚拟机网络环路对校园网产生影响；
(3) 管理网络与生产网络分隔；
(4) 不同的应用使用不同的地址段；
(5) 虚拟机增加南北向及东西向安全控制；
3. 新建网络虚拟化结构
整个数据中心实现网络虚拟化后，网络划分为三部分：
(1) 物理设备网络：划分两个C类地址，直接用于物理设备如物理服务器、存储、交换机等以及NAS、iSCSI的IP地址；
(2) Web生产网络：通过NSX，划分微分段，单独用于Web服务器网络，实现与一般生产的网络隔离，此部分的服务器网络防火墙有严格限制，默认只开放80及443端口；
(3) 一般生产网络：通过NSX，划分微分段，用于一般的非Web服务器。
无论是传统的网络结构还是利用verlay技术的虚拟化网络结构，作为传输的底层设备，物理交换机是必不可少的。此次数据中心网络虚拟化改造，首先升级了底层网络交换机。新增加两台核心交换机，清空了底层接入网络交换机的配置，并把MTU值改为大于1600。新建NSX虚拟化网络，部署虚拟化管理平台，控制器及数据平面的各个插件。各集群安装配置VXLAN、分布式逻辑交换机、逻辑路由器、分布式防火墙及Edge防火墙。
NSX网络虚拟化架构建设完成之后，两种网络并存，一种是原有的传统VLAN、一种是大二层VXLAN。对于新增的虚拟机，使用全新的VXLAN网络。对于已经存在的虚拟机，通过设置物理主机同时连接两种网络，更改虚拟机IP地址，同时切换到VXLAN网络，逐步实现生产虚拟机从VLAN转化到VXLAN，最终完全实现NSX网络虚拟化。
数据中心实现NSX网络虚拟化之后，网络的架构、使用便捷性、安全性、管理便利性等都得到了极大的提升。
1. 数据中心的网络实现软件定义，不再以硬件为中心。
2. 网络结构简化，与校园网之间的安全可控，有效防止回路，便于管理。
改造后虚拟化的物理网络与校园网三层互联，屏蔽二层故障的相互影响，安全可控；另外，网络虚拟化后无需关心底层物理网络，通过大二层技术，网络与底层网络设备的关系不再紧密，满足IP可达即可，只需要将底层物理交换机的MTU值设为1600以上即可，无需再使用多种命令，做复杂的端口或者路由配置。同时允许底层网络设备异构。
3. 新增网络变得简单灵活，虚拟机管理员在统一的管理界面，增加虚拟交换机及虚拟路由器即可快捷完成，不再需要校园网管理员在物理交换机上进行繁杂的手工配置。
4. 虚拟机的网络安全设置可由虚拟机管理员根据需要对虚拟机配置，无需网络管理员参与。
5. 责权分明，校园网络与数据中心网络管理边界清晰，故障排查简单。
6. NSX提升数据中心网络安全
(1) 传统的数据中心的网络安全，对于东西向的安全限制有限，实施NSX后，南北向及东西向安全限制，都可以做到较好的控制；
(2) 不同的网络之间可以完全隔离，例如我们的Web网站服务与一般生产服务隔离；
(3) 可设置不同的安全组如SSH安全组，RDP安全组等，实现依据安全策略通讯。
(4) 安全策略跟随虚拟机。
安全策略支持 IP、 Port范围、安全组和vCenter管理对象。安全策略自动跟随虚拟机，安全粒度到虚拟机。例如学校的MAIL服务器仅允许开放HTTP、HTTPS、IMAP_SSL、POP3_SSL，SMTP_SSL等协议，无论该邮件服务器迁移到哪台主机，策略始终有效。
(5) 对于安全的控制，通过vCenter软件平台即可设置，无需对硬件配置进行更改。
7. NSX助力云计算自动化和自助式IT，IT资源需求服务实现无人干预。
NSX与vRealize Automation云计算自动化平台结合，实现包含网络和安全策略的按需应用交付、自动化部署网络安全微分段。在这两大平台的保障下，学校的网站服务器实现自助式申请、自动化部署交付，无人干预。
在信息化的时代，数据及服务呈现爆炸式增长，对于数据中心提出更高的要求，需要更大的灵活性，敏捷性和更好的安全性。软件定义的数据中心是当前应对信息高速发展的最好方案。软件定义的数据中心设施内部运作将不再专注于硬件和物理设备，而会更多地侧重于软件。网络虚拟化成为完全实现软件定义数据中心的必经之路。
云不是一个地方，而是一种方法，在那里一切都是软件定义的，基础设施就是代码。
