1.nsx management 배포
2.host preparation
3.edge cluster 배포
4.segment
5.gateway(tier 0,tier 1)
- sr 사용유무
- single tier vs. multi tier
- 라우팅 구성
6.패킷 필터링(DFW,GFW)
7.네트워크 서비스
- nat
- slb -> nsx alb
- dhcp
- dns forwarder
Tier 0 외부 네트워크와의 통신을 위한 네트워크
Tier 1 내부 네트워크와의 통신을 위한 네트워크
컨트롤 플레인:경로 계산등의 역할(OSPF Vmware 에서는 NSX Manager)
데이터플레인: 패킷의 포워딩 밑 제어(NAT,DHCP VMware에서는 Host의 NSX Edge Node,Transport Node) 경로계산은 컨트롤플레인이 하고 데이터플레인은 해당정보를 저장하여 table을 만듬
관리 플레인: 패킷제어 밑 경로계산 이외의 네트워크 운영에 대한 영역 ( NTP 등)
LCP(Local Control Plane): 호스트 내부에 존재하는 컨트롤플레인 영역
해당 영역을 NSX Manager Cluster(CCP역할을 수행)를 통해 중앙집중형 제어 가능
NSX-Proxy: 호스트가 컨트롤플레인(NSX Manager)과 통신하기 위한 역할 LCP 기능
NSX-MPA(management plane Agent):호스트가 매니지먼트플레인과 통신하기 위한 역할(policy+manager)
CCP(Central Control Plane) : 호스트의 데이터플레인을 중앙집중형 관리 역할
Manager Cluster 생성 > second Manager Cluster 생성 > 클러스터 매칭 > VIP 설정
TED(Tunnel End Point) : 오버레이 네트워크의 헤더가 반캡슐화되는 지점
Tunnel Endpoint(TEP): 터널을 통해 전달된 패킷에서 Outer IP 헤더가 벗겨지는(Decapsulation) 지점
GENEVE(overlay protocol):L2 over L3 (VXLAN과 비슷한 overlay 네트워크 역할) 기본포트는 udp 6081
8바이트의 UDP 헤더 추가 24비트의 VNI 사용(segment 구분자)
VXLAN과 다르게 가변길이 옵션을 가지어 호환성을 가진다
eth | ip | udp | geneve | eth(dm | sm+dot1q | type) | ip | L4 | data
Distributed router : 복수의 라우터를 하나의 라우터로 묶는 것 분산스위치와도 비슷한 의미
Segment : VMware에서의 L2영역을 의미
NSX 시행방법
1.OVF 템플릿을 통해 NSX 매니저 배포
2.NSX UI 접속
3.NSX Manager에 Vserver 등록
4.추가적인 NSX 매니저를 배치하여 클러스터 구성
5.전송 존을 구성
6. ESXI 호스트를 연결하기 위한 전송포트 설정
7.NSX 엣지노드 배포
8.NSX 엣지 클러스터 생성
NSX 생성시 고려사항
NSX Manager은 vcenter server로 제어되는 ESXI host에 반드시 배치되어야 한다.
NSX 매니저 추가배포시에 UI 또는 API를 사용 CLI도 사용가능
NSX 계정
admin : 모든 권한
root : 기술지원용(히든커맨드 사용가능)
audit : 감사
NSX Manager Cluster 구성을 위해 가상아이피 구성
접속을 위해서는 CA 인증이 권장되며 Manager 노드마다 다른 CA 인증서 발급 필요
NSX UI
NSX UI는 정책 모드와 관리 모두 두가지를 제공
NSX UI로 보안 설정시 Gateway Firewall(Tier 0)인지 Distribution(Tier 1) Firewall인지 구분하여 설정
Policy mode
신규설치 기본모드
Federation Global Manager 지원
NSX 추천모드 구성
Manager modefine tunning
Transport node : 데이터플레인의 일종 전송포트는 VDS가 있어야 하며 데이터 플레인의 일종이다.
내부 네트워크의 VM 간의 통신에 사용되는 노드이며 데이터플레인의 트래픽을 포워딩한다.
Transport zone : 물리 네트워크에 논리 네트워크를 확장 (overlay)
Transport zone 생성 > Transport zone이 vlan인지 overlay인지 결정 > IPV4/V6 설정 > Ip Pool 설정
Transport node 구성시 주의사항
노드 설정 이전 전송 존을 생성해야 한다.
관리포트와 전송포트 모두 물리적인 전용포트를 구성해야 한다
전송포트 설정 전 사용할 IP 영역에 대한 IP POOL을 생성해야 한다.
물리적인 NIC는 관리 및 전송 트래픽 모두에 대해 물리적 NIC를 공유
Transport zone 특성
하나의 전송존은 모든 타입의 호스트 유형에 연결 가능하다.
전송노드는 다수의 전송존에 속할 수 있다.
만약 특성 전송노드가 VLAN 기반 전송존과 오버레이 기반 전송존을 가질 경우 해당 전송노드는 VLAN 영역과 오버레이 영역 통신이 둘다 가능하다.
Port mirroring : 가상 스위치 특정 포트의 In/Out Mac 트래픽을
해당 트래픽이 흐르지 않는 다른 포트가 확인할 수 있도록 미러링
트래픽의 복사본 자체를 전달하므로 해당 트래픽이 흐르는 경로는 다른 포트가 트래픽을 열람하는것을 인지불가
Trace flow : 소스와 목적지주소를 지정하고 해당 경로 사이의 패킷을 검사 traceroute와 비슷하나 가상장치의 IP도 확인할 수 있다.
VDS : NSX에서 지원되는 분배 스위치 세그먼트 네트워크를 위해 사용 N-VDS는 NSX Edge 노드 또는 베어메탈을 지원
VDS는 ESXI 기반에서 preparing을 하기 위한 가상 스위치이고 N-VDS는 엣지 또는 베어메탈 영역에서의 preparing을 하기 위해 사용되는 가상 스위치이다. VDS는 Vsphere에서 설정되고 N-VDS는 NSX에서 설정된다.
VDS Optional mode
Standard mode : 표준고객 네트워크 분배
Enhanced Datapath - Performance : 금융권 등의 우선도가 높은 고객 네트워크 분배
Enhanced Datapath - Standard : 서비스사 등의 우선도가 표준고객보다 높고 금융권보다 낮은 고객 네트워크 분배
NSX-Proxy : CCP와 같은 컨트롤플레인에게서 트래픽을 받으며 모든 전송노드에서 동작 컨트롤플레인과 데이터플레인을 중계하는 역할
NCI: 세그먼트 영역(오버레이)에서의 가상 IP 대역
VLAN과의 매칭을 위해서 Tier 1 gateway를 통해서 East-West통신을 수행한다.
PoC (Proof Of Concept)
Transport Node profiles 필수사항
전송 존
VDS 스위치 구성
업링크 프로파일
IP 등록
물리적 NIC 매핑
segment 구성
세그먼트 생성 > 전송존에 매칭 > VM 매칭 >서브넷 매칭 > 게이트웨이 매칭 > 상호연동 확인
vlan을 오버레이 vci에 매칭vni를 vni에 매칭
NSX Controller Table
- TEP Table : 호스트가 가진 TEP IP 바인딩(VNI)
- ARP Table : 가상머신의 MAC과 IP를 매핑
- MAC Table : TEP과 MAC 간의 매핑
TEP Table의 Update
1.가상머신이 세그먼트와 매칭
2.가상머신들은 자신의 VNI와 TEP IP가 매칭되고 TEP Table에 저장되며 해당내용을 CCP에 전송
3.CCP는 TEP Table에 VM의 MAC을 매칭시켜 저장
4.CCP는 TEP Table 내용을 전송 노드에 전송함
ARP Table의 Update
1.각각의 전송노드는 VNI VM MAC VM IP TEP IP를 지역 테이블에 저장
2.해당 내용을 CCP에 전송
3.CCP는 전송받은 내용을 갱신
4.CCP는 갱신한 내용을 같은 VNI 전송포트에 전송
유니캐스트 동작
1. VM1이 VM2에 트래픽 보냄
2. ARP테이블에서 해당 내용을 조회 후 상대주소 확인
3.Geneve로 캡슐화되어 VM2가 존재하는 호스트로 이동(오버레이)
4.VM2의 호스트에서 Geneve헤더 확인 후 자신의 트래픽이 맞는 것을 확인 후 반캡슐화 후 VDS로 보냄
NSX Contoller Table 통신의 경우 CCP가 통신에 문제가 생기더라도 기존의 CCP가 전송한 테이블 내용이 존재하는 이상은 해당 네트워크로 지속적인 통신 가능단, VM이 새로 추가된 경우 CCP에서 해당 테이블 기록 후 다시 전달해줄 수 없으므로 통신 불가능
BUM Traffic 관리
Head Replication
알 수 없는 유니캐스트를 받을 시 헤드 리플리케이션은 한 VNI내 존재하는 TEP 전체에 전송 (디폴트 상태)
Two-Tier Replication
알 수 없는 유니캐스트에 대한 트래픽은 특정 TEP에만 전송(MTEP) 대규모 데이터센터 환경에서 주로 사용
CLI
get cluster status
get cluster config
get logical-switch [uuid] nsx의 가상스위치 정보 확인