VXLAN学习资料

qiupengcheng

VLAN
·概况 
    VLAN (Virtual Local Area Network)意为虚拟局域网，是在交换机实现过程中涉及到的概念，由802.1Q标准所定义。由于交换机是工作在链路层的网络设备，连接在同一台交换机的终端处于同一个三层网中，同时也处于同一个广播域。当交换机接入较多的终端时，任意一台终端发送广播报文时（例如：ARP请求），报文都会传遍整个网络。对于规模较大的组网场景，广播报文的泛滥对于网络通信将会造成较大的影响。VLAN技术为这一问题提供了解决方案，VLAN将同一网络划分为多个逻辑上的虚拟子网，并规定当收到广播报文时，仅仅在其所在VLAN中进行广播从而防止广播报文泛滥。VLAN技术在链路层的层次中实现了广播域的隔离。
·标准
    VLAN标准涉及到的RFC文献有2个：rfc3069、rfc5517。rfc3069阐述了利用VLAN技术来优化子网划分并节省IP地址数目的方案；rfc5517则给出了Cisco提出的私有VLAN的标准以满足网络安全方面的需求。
    802.1Q标准所定义的以太网帧格式在基于传统以太网帧格式中添加了描述VLAN信息的字段，帧格式如下：
 
   802.1Q标准的以太网帧格式增加了802.1Q字段，该字段包含了Type、PRI、CFI和VID 4个部分，各个部分的含义如下：
·Type：长度为2 bytes，表示帧类型，802.1Q tag帧中Type字段取固定值0x8100，如果不支持802.1Q的设备收到802.1Q帧，则将其丢弃。
·PRI：priority字段，长度为3 bit，表示 以太网帧的优先级，取值范围是0~7，数值越大，优先级越高。当交换机/路由器发生传输拥塞时，优先发送优先级高的数据帧。
·CFI：Canonical Format Indicator，长度为1bit，表示MAC地址是否是经典格式。CFI为0说明是经典格式，CFI为1表示为非经典格式。该字段用于区分以太网帧、FDDI帧和令牌环网帧，在以太网帧中，CFI取值为0
·VID：VLAN ID，长度为12 bit，取值范围是0~4095，其中0和4095是保留值，不能给用户使用。
    这里需要关注的是VID字段，该字段唯一标识了一个VLAN，12bit长度的VID可以表示4096个不同的值，除去两个保留值，一个以太网最多可以划分为4094个VLAN。
    笔者工作中主要关注的是VXLAN技术，因此对于VLAN的介绍不再详述，详细标准可参见rfc文档。
VXLAN
·概况 
    VXLAN(Virtual eXtential LAN)意为虚拟可拓展局域网。随着大数据、云计算技术的兴起以及虚拟化技术的普及，VLAN技术的弊端逐渐显现出来，具体表现为如下3个方面：
    (1) 虚拟化技术的发展促使大数据、云计算技术公司采用单个物理设备虚拟多台虚拟机的方式来进行组网，随着应用模块的增加，对于支持VLAN数目的要求也在提升，802.1Q标准中的最多支持4094个VLAN的能力已经无法满足当下需求。
    (2) 公有云提供商的业务要求将实体网络租借给多个不同的用户，这些用户对于网络的要求有所不同，而不同用户租借的网络有很大的可能会出现IP地址、MAC地址的重叠，传统的VLAN仅仅解决了同一链路层网络广播域隔离的问题，而并没有涉及到网络地址重叠的问题，因此需要一种新的技术来保证在多个租户网络中存在地址重叠的情况下依旧能有效通信的技术。
    (3) 虚拟化技术的出现增加了交换机的负担，对于大型的数据中心而言，单台交换机必须支持数十台以上主机的通信连接才足以满足应用需求，而虚拟化技术使得单台主机可以虚拟化出多台虚拟机同时运行，而每台虚拟机都会有其唯一的MAC地址。这样，为了保证集群中所有虚机可以正常通信，交换机必须保存每台虚机的MAC地址，这样就导致了交换机中的MAC表异常庞大，从而影响交换机的转发性能。
    基于以上需求，VXLAN技术被提出。
    VXLAN技术是网络Overlay技术的一种实现，对于Overlay技术，笔者的理解是：在基于物理网络拓扑的基础上通过一定的技术来构建虚拟的、不同于物理网络拓扑的逻辑网络，而物理网络的拓扑结构对于Overlay终端而言是透明的，终端不会感知到物理网络的存在，而仅仅能感知到逻辑网络结构。对于终端的视角，网络的情况和直接通过物理设备实现逻辑拓扑的效果是相同的。VXLAN技术可以基于三层网络结构来构建二层虚拟网络，通过VLAN技术可以将处于不同网段网络设备整合在同一个逻辑链路层网络中，对于终端用户而言，这些网络设备似乎“真实地”部署在了同一个链路层网络中。
·标准
    文档rfc7348详细地介绍了VXLAN的实现机制。本质上VXLAN是一种隧道技术。通过将虚拟网络中的数据帧封装在实际物理网络中的报文中进行传输。具体实现方式为：将虚拟网络的数据帧添加VXLAN首部后，封装在物理网络中的UDP报文中，然后以传统网路络的通信方式传送该UDP报文，到达目的主机后，去掉物理网络报文的头部信息以及VXLAN首部，将报文交付给目的终端。整个通信过程目的终端不会感知到物理网络的存在。
    利用VXLAN技术组网的方法可以用下图来描述：

    图中两台终端T1和T2位于不同的网络中，二者通过路由器来实现互通，通过VXLAN可以使得这两台终端在“逻辑上”位于“同一个”链路层网络中而与两台终端直接相连的路由器也在逻辑上构建了一条在虚拟链路中的通道vxlan tunnel，这样的路由器我们称之为“vxlan隧道终端”(VXLAN Tunnel End Point, VTEP)。在包含VXLAN的网络中，VXLAN的实现机制仅仅对VTEP节点可见。
    需要说明的是，VTEP节点可以由实现了VXLAN功能的交换机、路由器等硬件设备充当，但在更多的基于虚拟化技术实现的网络拓扑的应用中，VTEP节点的角色更多由部署了多台虚拟机的主机中的hypervisor进程来担任，如下图：
 
    接下来介绍VXLAN的通信原理。VXLAN通过将逻辑网络中通信的数据帧封装在物理网络中进行传输，封装和解封装的过程由VTEP节点完成。VXLAN将逻辑网络中的数据帧添加VXLAN首部后，封装在物理网络中的UDP报文中传送，VXLAN首部的格式如下：
 
VXLAN首部由8个字节组成，第1个字节为标志位，其中标志位I设为1表示是一个合法的VXLAN首部，其余标志则保留，在传输过程中必须置为0；第2-4字节为保留部分，第5-7字节为VXLAN标识符，用来表示唯一的一个逻辑网络；第8个字节同样为保留字段，暂未使用。
    VXLAN传输过程中，将逻辑链路网络的数据帧添加VXLAN首部后，依次添加UDP首部，IP首部，以太网帧首部后，在物理网络中传输，数据帧的封装格式可以用下图来描述：
 
需要注意的是，外部UDP首部的目的端口号为4789，该数值为默认VXLAN解析程序的端口，外层IP首部中的源IP和目的IP地址均填写通信双方的VTEP地址，协议的其余部分和传统网络相同。
·通信过程
    下面简要说明VXLAN网络中的通信过程。对于处于同一个VXLAN的两台虚拟终端，其通信过程可以概括为如下的步骤：
① 发送方向接收方发送数据帧，帧中包含了发送方和接收方的虚拟MAC地址。
② 发送方连接的VTEP节点收到了数据帧，通过查找发送方所在的VXLAN以及接收方所连接的VTEP节点，将该报文添加VXLAN首部、外部UDP首部、外部IP首部后，发送给目的VTEP节点。
③ 报文经过物理网络传输到达目的VTEP节点。
④ 目的VTEP节点接收到报文后，拆除报文的外部IP首部和外部UDP首部，检查报文的VNI以及内部数据帧的目的MAC地址，确认接收方与本VTEP节点相连后，拆除VXLAN首部，将内部数据帧交付给接收方。
⑤ 接收方收到数据帧，传输完成。
    通过以上的步骤可以看出：VXLAN的实现细节以及通信过程对于处于VXLAN中的发送方和接收方是不可见的，基于发送方和接收方的视角，其通信过程和二者真实处于同一链路层网络中的情况完全相同。 
    以上通信方式可以用下图来描述：
 
其中VTEP2中收到的报文和VTEP1中发送的报文相同，接受者收到的报文和发送者发出的报文也完全相同，这里为了便于描述，图中将其略去。
    需要说明的是，VTEP1同样需要将上述封装好的IP报文封装在以太网帧中才能进行传输，这里称之为“外层以太网帧(Outer Ethernet Frame)”,外层以太网帧中数据字段值取决于实际物理网络的实现，因此笔者为在图中给出。在VXLAN的实际实现中，VTEP1和VTEP2可以处于不同的物理网络中，只要保证VTEP1和VTEP2可以通信即可，而对于二者通信所经过的路径，我们不必关心。

·VTEP节点工作机制
    通过以上通信步骤的描述可以看到，VTEP节点在VXLAN网络通信中起到了至关重要的作用。在VXLAN网络通信中，VTEP节的职责主要有3项：
    (1) 将虚拟网络通信的数据帧添加VXLAN头部和外部UDP和IP首部。
    (2) 将封装好的数据包转发给正确的VTEP节点。
    (3) 收到其他VTEP发来的VXLAN报文时，拆除外部IP、UDP以及VXLAN首部，然后将内部数据包交付给正确的终端。
&nbsp; &nbsp; 对于功能(1)和(3)只要按照上文中给出的封装和拆解规则进行处理即可，这里主要说明功能(2)的实现，即VXLAN数据包的转发过程。当VTEP节点收到一个VXLAN数据包时，需要根据内部以太网帧的目的MAC地址找到与拥有该目的地址的终端直接相连的VTEP地址，因此，这里需要一个目的MAC地址和VTEP节点IP地址的映射关系，VTEP节点利用一个转发表来存储此映射关系。转发表的格式为：<VNI, Inner Dst MAC, VTEP IP>，即给定VNI和目的MAC地址后映射到一个VTEP IP地址。
&nbsp; &nbsp; 需要说明的是，映射VTEP节点IP地址时，之所以需要VNI的信息，是因为当存在多租户的情况下，各个租户将会独立组网，此时，多个租户设定的MAC地址有一定的概率会出现重叠，此时我们必须保证每个租户的网络都能独立地正常通信，因此，在为每个租户配置唯一的一个VNI的情况下，给定VNI和目的MAC地址，唯一确定一个VTEP地址。
&nbsp; &nbsp; 下图是一个样例，对于下图中的网络拓扑，分别给出了两个VTEP节点的转发表：
&nbsp; &nbsp;&nbsp;
&nbsp; &nbsp;&nbsp;上图中给出了6个终端，分别属于2个租户，其中，终端T1、T2和T4属于租户1，分配VNI为1，终端T3、T5和T6属于租户2，分配VNI为2，两个VTEP节点的转发表已在图中给出。
&nbsp; &nbsp; 每一个VTEP节点都必须拥有完整的转发表才可以正确地进行转发的功能，转发表的学习过程可以基于这样一种简单的策略：通过ARP报文学习，当收到终端发送的数据帧时，首先根据收到数据的端口判定数据发送方的VNI值，根据VNI和数据帧中的目的MAC查找对应的VTEP节点，如果查找成功，则转发，否则，在当前VXLAN网络中广播ARP请求报文，这样，连接目的MAC终端的VTEP节点就会发送ARP回答报文，这样就学习到了新的转发表项。
&nbsp; &nbsp;需要说明的是，在多租户的环境下，基于信息安全等因素，各个租户的流量必须实现隔离，因此在发送广播ARP请求报文时，不可以直接在多租户的环境中广播，必须保证只有当前VXLAN网络的终端可以收到广播报文，因此，和物理网络中的ARP广播请求的实现有所不同，这里需要通过IP组播机制来模拟广播，IGMP等相关组播协议这里会用到。
&nbsp; &nbsp;因此，VTEP节点还需要保存对应于每个租户的VNI值的组播域，即对于每一个VNI值，存储包含当前VXLAN网络中终端的所有VTEP节点的IP，用于ARP广播时的组播操作。对于上文中的网络拓扑，两个VTEP的广播表如下图：
&nbsp; &nbsp;
&nbsp; &nbsp; 最后，当一个VTEP节点收到其他VTEP节点的ARP请求报文时，需要在自己连接的虚拟网络中发送，此时，仅仅发送给当前VNI对应的终端，因此，VTEP中还需要保存当前接入设备的VXLAN网络情况，因此，上图中还给出了每个VTEP节点的设备表，该表中记录了每个VNI对应的设备。这样，当需要广播ARP请求时，首先根据设备表将ARP请求报文发送给VNI值对应的设备，然后根据广播表，将ARP请求发给VNI值对应的VTEP节点；而当收到其他VTEP节点发来的ARP请求时，根据设备表转发给对应的终端即可。这样就实现了基于ARP请求的VTEP转发的学习。而对于广播表，在VTEP配置组网时可以完成设置，对于设备表，则在终端接入VTEP时可以完成配置，得到广播表和设备表后，转发表可以基于ARP的通信中逐步学习和构建。
·VXLAN网关
&nbsp; &nbsp; 接下来简要说明一下VXLAN网关节点。VXLAN网关节点适用于这样一种应用场景：当一台处于VXLAN网络中的终端要和一台处于非VXLAN网络中的节点进行通信时，由于VXLAN网络中的终端使用的都是虚拟网络地址，而非VXLAN中的设备使用的是实际的物理地址，此时，VXLAN网关将起到地址转换的作用，通信时，临时将VXLAN终端的虚拟地址转换为物理地址，然后再与外网进行通信。地址转换的方式可基于NAT机制。关于网VXLAN网关的实现详细细节，笔者暂不明白，因此，这里仅简要描述。
·VXLAN技术的优势和局限性
&nbsp; &nbsp; 相比VLAN技术，VXLAN技术具有以下的优势：
&nbsp; &nbsp; (1) 24位长度的VNI字段值可以支持更多数量的虚拟网络，解决了VLAN数目上限为4094的局限性的问题。
&nbsp; &nbsp; (2) VXLAN技术通过隧道技术在物理的三层网络中虚拟二层网络，处于VXLAN网络的终端无法察觉到VXLAN的通信过程，这样也就使得逻辑网络拓扑和物理网络拓扑实现了一定程度的解耦，网络拓扑的配置对于物理设备的配置的依赖程度有所降低，配置更灵活更方便。
&nbsp; &nbsp; (3) VLAN技术仅仅解决了二层网络广播域分割的问题，而VXLAN技术还具有多租户支持的特性，通过VXLAN分割，各个租户可以独立组网、通信，地址分配方面和多个租户之间地址冲突的问题也得到了解决。
&nbsp; &nbsp; 为了保证VXLAN机制通信过程的正确性，rfc7348标准中规定，涉及到VXLAN通信的IP报文一律不允许分片，这就要求物理网络的链路层实现中必须提供足够大的MTU值，保证VXLAN报文的顺利传输，这一点可以理解为当前VXLAN技术的局限性。&nbsp;&nbsp;