AHV 網路深入技術剖析 J U LY 2 0 1 9 | IVAN TUNG 為何網路最佳化部屬如此重要？ 可靠性 效能 能見度 可擴充性 Nutanix Controller VM 網路架構 一般需求 所有的對外溝通都透過eth0 Hypervisor及CVM在同一網段 eth1 是內部網路(192.168.5.0) 進階 CVM預設為Access VLAN，也 可以帶 VLAN Tag 內部 Storage Public Management DR ABS (iSCSI) RF Replication VMWARE VSPHERE網路最佳化設定 Standard vSwitch Route based on Originating Virtual Port Distributed vSwitch Route based on Physical NIC Load (Load Based Team) Hyper-V網路最佳化設定 建議的預設值 Switch independent LBFO team w/ dynamic load balancing DVMQ Enabled by default AHV網路最佳化設定 • 預設 NUTANIX AHV 所有的網卡在一個Bridge Active/backup 模式 建議 請將1G/10G網卡分開 AHV網路最佳化設定（續） • 建議設定 NUTANIX AHV 4 Port ，切成兩個Bridge，br0 是走Nutanix服務的流量，br1走 虛擬機的網路 Active/backup 模式 vnet0 br0 補充說明 br0 br0-up tap0 tap1 br1 br1-up OVS 較為大型網路環境 通常br1會帶服務的VLAN 加vlan到br1時請用指令 AHV網路設定的三種架構 預設（建議） Active-Backup (A/B) • 優點：簡單，容易管理 • 缺點：頻寬較少 支援 Balance-slb (A/A) • 優點：頻寬加倍 • 缺點：單台虛擬機只會單條網路 進階設定（依據需求） LACP Balance-tcp (A/A) • 優點：頻寬加倍 • 缺點：Switch要額外設定 AHV Bridge 管理 • GUI介面預計在後續版本推出，目前需用指令設定 LACP 設定參數說明 Mode: Active • 預設開啟為Active • 若要為passive模式，則不需設定 Timer: Fast (1 sec) • 加速錯誤的偵測速度 • 提高反應時間 Fallback: • 避免Switch設定錯誤 Priority: • Defaults - no need to change AHV進階Bridge設定（Command Line） 以下指令皆在 CVM 下執行 • 先新增Bridge ，如前範例所提，新增br1 allssh 'manage_ovs --bridge_name br1 create_single_bridge’ • 執行以下指令，將 br0 進行更新，使用 eth2 及 eth3 介面，此時將會釋放出eth0及eth1 allssh 'manage_ovs --bridge_name br0 --bond_name br0-up --interfaces eth2,eth3 --require_link=false update_uplinks' • 執行以下指令，將 br1 進行更新，使用 eth0 及 eth1 介面 allssh 'manage_ovs --bridge_name br1 --bond_name br1-up --interfaces eth0,eth1 --require_link=false update_uplinks' LACP設定（Command Line） 以下指令皆在 CVM 下執行 • 透過以下指令，分別在每台CVM各執行一遍，以下為針對 br0執行，若 br1也需要設定，一樣 ovs-vsctl set port br0-up lacp=active ovs-vsctl set port br0-up bond_mode=balance-tcp ovs-vsctl set port br0-up other_config:lacp-fallback-ab=true ovs-vsctl set port br0-up other_config:lacp-time=fast 新增VLAN於br1（Command Line） 以下指令皆在 CVM 下執行 • 透過以下指令，只需於執行一次便可，會於 br1上新增 VLAN 99 ，同時命名為 VM_TEST acli net.create VM_TEST vswitch_name=br1 vlan=99 • 因為透過GUI產生VLAN時，只會新增於br0上 AHV及CVM設定帶VLAN Tag（Command Line） 以下指令在 CVM 下執行 • 調整CVM的VLAN，需要於所有的CVM裡分別各執行一次， 這範例為變更至 VLAN 200 change_cvm_vlan 200 • 全部CVM都改完之後，執行以下指令，讓設定生效 allssh ‘genesis restart’ 以下指令在 AHV Host 下執行 • 調整AHV Host的VLAN，需要於所有的AHV裡分別各執行一次， 這範例為變更至 VLAN 200 ovs-vsctl set port br0 tag=200 • 改完後，執行以下指令，讓設定生效， 需要於所有的AHV裡分別各執行一次 service network restart 網路拓樸圖 • 盡量設定 Uplink Switch的SNMP，可看到更多細節 Configured Virtual Networks AHV設定最佳建議 • KEY TAKEAWAYS 保持簡單 簡單設定 簡單管理 簡單做故障排除 切開CVM/Host與虛擬機網段 請將CVM / AHV Host所在的 網段與客戶的服務虛擬機 分開 IPMI 在管理網段 分開在不同網路，盡量是 Access Mode，當設備故障 時，能保有最後連線 Core-Aggregation-Access Network • HIGHLIGHTS 成熟的設計 核心網路設計參考架構，以 運行超過15年 避免網路發生Loop 透過Spanning Tree，避免網路 Loop發生 靈活且有彈性 獨立修改每一層設計 Scaling Core-Aggregation-Access 使用 Link Aggregation 簡單 (預設值) 單獨的連線 • 優點：簡單就可以運行 • 缺點：頻寬比較少 More Advanced (不推薦) Port-Channel • 優點：頻寬較多 • 缺點：單點故障（單台Switch） Advanced (推薦) Multi-Switch Port-Channel • 優點：速度更快，頻寬更高 • 缺點：Switch設定較複雜 Leaf-Spine Model • 特點 HIGHLIGHTS 每個leaf都能連接到每個spine L2 或 L3 允許多重路徑 優點 不會發生 STP blocking Host to host 最多3個節點 東西向擴充容易 Scaling Leaf-Spine Switch Topology 比較 傳統架構 進階架構 Core-Aggregation-Access • 優點 - 標準網路設定 模組化架構 • 缺點 - 東西向擴充時，會造成效能瓶頸 Leaf-Spine • 優點 - 最佳化頻寬 不用考慮東西向擴充問題 • 缺點 - 需要額外的進階Switch設定 增進效能的小技巧 Spanning Tree PortFast 30 sec Line-rate switches（不 要Oversubscription） 更快網路速度 10 GB 0 sec 25 GB 40 GB 進階設定 Active / Active 固定東西向的流量 MLAG / vPC 設定 Jumbo frames 成功關鍵！ 讓環境簡單化 任何Switch廠牌我們都支持 測試 failover 和故障模擬 運行 NCC，確保環境健康 謝謝 任何問題嗎？歡迎發問