VxLAN extra’s
In de vorige topics hebben wij VxLAN op drie manieren geïmplementeerd, nu dat de basis staat kunnen we extra functies gaan toevoegen aan VxLAN. Hieronder worden deze functies per stuk behandeld.
Anycast gateway
Om de fabric verder op te kunnen schalen en verkeer zo veel mogelijk lokaal af te handelen op de leaf gaan we gebruik maken van anycast gateway. We moeten echter wel zorgen dat elke leaf hetzelfde MAC adres gaat gebruiken voor de gateway. Indien VM van leaf naar leaf verplaatst wordt dan zal er voor de VM niets veranderen m.b.t. de ARP informatie (MAC + IP) van de gateway.
fabric forwarding anycast-gateway-mac 6000.6000.6000
!
interface Vlan66
ip address 192.168.66.1/24
fabric forwarding mode anycast-gateway
!
interface Vlan67
ip address 192.168.67.1/24
fabric forwarding mode anycast-gateway
We gebruiken hier het MAC adres 6000.6000.6000 voor de gateway maar het is mogelijk om elk MAC adres te gebruiken (er zijn mogelijk wat uitzonderingen). Verder zetten we anycast gateway aan onder de SVI. Verder krijgen alle SVI’s op alle leafs hetzelfde ip adres.
Routing in VxLAN
Het is mogelijk om de routing van VxLAN VNI naar VxLAN VNI op de leaf af te handelen, in onderstaand voorbeeld hebben we twee SVI’s (66 en 67) die in een VRF geplaatst worden. Voor routing in een VRF dient er een speciaal L3VNI aangemaakt te worden, deze VNI krijgt ook een bijbehorend VLAN evenals SVI. Dit is de manier dat een leaf lokaal het netwerkverkeer kan afhandelen. In onderstaand voorbeeld gebruiken we VLAN 600 met VNI 6000.
vlan 600
vn-segment 6000
!
vrf context VPN-6
vni 6000
!
interface Vlan600
no shutdown
vrf member VPN-6
ip forward
!
interface nve1
member vni 6000 associate-vrf
Indien er meerdere VRF’s aanwezig zijn dient er per VRF een L3VNI aangemaakt te worden. In onderstaand voorbeeld zetten we de client/server SVI’s in het juiste VRF evenals dat we BGP informeren over het nieuwe VRF.
interface Vlan66
vrf member VPN-6
ip address 192.168.66.1/24
!
interface Vlan67
vrf member VPN-6
ip address 192.168.67.1/24
!
router bgp 65000
vrf VPN-6
We kunnen met onderstaande commando’s verifiëren dat de L3VNI online is gekomen en dat deze gekoppeld is aan het VRF.
NXOS-3# show nve vni
Codes: CP - Control Plane DP - Data Plane
UC - Unconfigured SA - Suppress ARP
SU - Suppress Unknown Unicast
Xconn - Crossconnect
MS-IR - Multisite Ingress Replication
Interface VNI Multicast-group State Mode Type [BD/VRF] Flags
nve1 6000 n/a Up CP L3 [VPN-6]
nve1 6600 239.66.66.66 Up CP L2 [66]
nve1 6700 239.67.67.67 Up CP L2 [67]
NXOS-3# show nve vrf
VRF-Name VNI Interface Gateway-MAC
VPN-6 6000 nve1 5000.0003.0007
Alle leafs leren op dit moment ook de ip adressen van de hosts via BGP:
NXOS-3# show l2route evpn mac-ip all det
Flags -(Rmac):Router MAC (Stt):Static (L):Local (R):Remote (V):vPC link
(Dup):Duplicate (Spl):Split (Rcv):Recv(D):Del Pending (S):Stale (C):Clear
(Ps):Peer Sync (Ro):Re-Originated (Orp):Orphan
Topology Mac Address Host IP Prod Flags Seq No Next-Hops
66 0050.7966.6806 192.168.66.11 HMM -- 0 Local
Sent To: BGP
L3-Info: 6000
66 0050.7966.6808 192.168.66.13 BGP -- 0 44.44.44.44
67 0050.7966.6805 192.168.67.10 HMM -- 0 Local
Sent To: BGP
L3-Info: 6000
67 0050.7966.6807 192.168.67.12 BGP -- 0 44.44.44.44
HMM is het proces wat lokale informatie zoals ARP, NDP (IPv6) of VDP inventariseert en doorgeeft aan BGP, door middel van BGP komt deze informatie beschikbaar op de andere leaf’s.
Wat verder opvallend is dat in de routes in het VRF alle ip adressen van alle clients / servers worden toegevoegd:
NXOS-3# show ip route vrf VPN-6
IP Route Table for VRF "VPN-6"
'' denotes best ucast next-hop '*' denotes best mcast next-hop
'[x/y]' denotes [preference/metric]
'%' in via output denotes VRF
192.168.66.0/24, ubest/mbest: 1/0, attached
*via 192.168.66.1, Vlan66, [0/0], 00:18:37, direct
192.168.66.1/32, ubest/mbest: 1/0, attached
*via 192.168.66.1, Vlan66, [0/0], 00:18:37, local
192.168.66.11/32, ubest/mbest: 1/0, attached
*via 192.168.66.11, Vlan66, [190/0], 00:02:42, hmm
192.168.66.13/32, ubest/mbest: 1/0
*via 44.44.44.44%default, [200/0], 00:53:47, bgp-65000, internal, tag 65000 (evpn) segid: 6000 tunnelid: 0x2c2c2c2c encap: VXLAN
192.168.67.0/24, ubest/mbest: 1/0, attached
*via 192.168.67.1, Vlan67, [0/0], 00:18:37, direct
192.168.67.1/32, ubest/mbest: 1/0, attached
*via 192.168.67.1, Vlan67, [0/0], 00:18:37, local
192.168.67.10/32, ubest/mbest: 1/0, attached
*via 192.168.67.10, Vlan67, [190/0], 00:02:54, hmm
192.168.67.12/32, ubest/mbest: 1/0
*via 44.44.44.44%default, [200/0], 00:53:47, bgp-65000, internal, tag 65000 (evpn) segid: 6000 tunnelid: 0x2c2c2c2c encap: VXLAN
VxLAN met vPC
Indien er gebruik wordt gemaakt van vPC als VTEP dient er extra configuratie geplaatst te worden. Hierbij dient de vPC zich als één VTEP te identificeren. Dit doen we door een secondary IP adres te plaatsen op de Loopback welke gebruikt wordt door de NVE interface. Dit secondary ip adres dient voor beide vPC members gelijk te zijn.
interface loopback1
ip address 151.151.151.151/32
ip address 150.150.150.150/32 secondary
Verder dient er een koppeling gemaakt te worden zodat bij het verliezen van een uplink het netwerkverkeer nog steeds blijft functioneren. We hebben het hier over de underlay koppeling evenals de multicast PIM koppeling.
interface Ethernet1/4
no switchport
! LEAF 51: ip address 5.5.5.51/24
! LEAF 52: ip address 5.5.5.52/24
ip ospf network point-to-point
ip router ospf 10 area 0.0.0.0
ip pim sparse-mode
no shutdown
NXOS-4# show nve peer
Interface Peer-IP State LearnType Uptime Router-Mac
--------- --------------- ----- --------- -------- -----------------
nve1 150.150.150.150 Up DP 00:02:05 n/a
NXOS-51# show nve peer
Interface Peer-IP State LearnType Uptime Router-Mac
--------- --------------- ----- --------- -------- -----------------
nve1 44.44.44.44 Up DP 00:02:13 n/a
Indien we één van de uplinks van de vPC down brengen dan blijft het verkeer functioneren, er zal dan gebruik worden gemaakt van de L3 koppeling tussen biede vPC members.
Een andere optie is gebruik te maken van een SVI en deze in te stellen als NVE infra-vlan
vlan 50
!
interface Vlan50
no shutdown
no ip redirects
! LEAF 51: ip address 5.5.5.51/24
! LEAF 52: ip address 5.5.5.52/24
no ipv6 redirects
ip ospf network point-to-point
ip router ospf 10 area 0.0.0.0
!
system nve infra-vlans 50