UCS(统一计算系统)[1]
时间:2023-02-08 23:00:00
1 介绍UCS
服务器的发展趋势
可扩展性:服务器创新
scale up庞大服务器
scale out 普通服务器 服务器使用效率低
scale in 刀片式服务器 管理复杂 可扩展性有限
CPU内存扩展问题
单核CPU(CPU瓶颈)->多核CPU(CPU利用率低)->多核虚拟化环境(内存是瓶颈)
硬件迁移问题
服务器管理问题
UCS:存储相关 网络相关
刀片式服务器的优点:
1.省电
2.制冷节约
3.减少对冗余设备的投资
4.共享交换,降低接线的复杂性
5.硬件供应快
刀片服务器缺陷:
1.增加物理密度和电力和制冷的挑战
2.增加了计算密度带宽和接线需求增加
3.每个机架及其本地交换机都增加了额外的管理点
服务器革命UCS
机架式部署
-优化塔式服务器
-ToR或EoR交换机布线
好处
-提高空间利用率
-增加部署灵活性
缺点:
-布线
-供电效率
-供冷效率
ToR:Top of Row 优点:机架间的线比较简单 缺点:每一个sw都需要一个IP地址,网管难度大
EoR:End of Row 优点:网管简单 缺点:机架之间的线太复杂了
cisco Fex(一个模块) 融合了tor和eor的优点
服务器接入Fex,Fex注册到SW 只需登录管理SW可以一起管理
SW有5k 6k 7k 9k FI
刀片式服务器
-集成交换机
-背板连接
好处
-空间利用率提高(半宽)
-连线聚合
-提高电源效率
缺点
-I/0灵活性(无物理网卡)
-管理问题
机箱管理
- 增加管理设备
好处
- 保持机箱内的一致性
- 共享机箱基础设施
缺点
- 增加管理费用
- 需要机箱汇聚管理
应用部署
-每个OS单一应用
好处
- 独立
- 简单
- 方便
缺点
- 效率低
- 电源、制冷
- 设备数量大幅增加
服务器部署虚拟化
1000v虚拟有效管理 安全性
专门为数据中心设立的UCS
- 内嵌管理器
- 统一交换网络
- 优化服务器虚拟化特性
- 拆除不必要的设备
- 交换机
- 适配器
- 管理模块
-减少1/3-1/2基础设施,完成相同工作
两FI
一个单一的系统集成:
网络:统一交换
存储:多种连接方式
优化的虚拟化
降低成本:管理设备、服务器、交换机、布线
统一管理 动态资源部署
UCS的优势
去除不必要的设备,实现以太网交换机、存储交换机和管理模块
嵌入式管理一:嵌入式管理
内部管理处理器不需要单独的管理服务器
重要创新二:统一Fabric(统一交换矩阵)
整合网络
省钱
三是重要创新 虚拟环境的优化
vic可编程硬件,可以虚拟很多(256)网卡,性能和硬件一样
革新之四 内存扩展
革新之五 无状态服务器
无状态=除了硬件,里面什么都没有 开机开不了 得先定义service profile
如果这个服务器坏了 直接关掉 插入另一个服务器 再调用service profile又好使了
革新之六 混合服务器
2 UCS组件介绍和硬件安装
一 、UCS组件
UCS E系列 又有路由器 又有服务器
UCS B系列整体架构
FI(内嵌UCS manager网管软件)
Fex(B系列嵌入其中,C系列正常Fex)
机箱(半宽 全宽 高性能)
CPU
内存
C可独立使用系列机架 也可以这样通过2232pp(也是一个Fex)串到FI同时管理两者。
chassis 机框
Expansion slots 扩展槽 可扩展16个UP(unified port)口
6248UP 1U 32个模块 可扩展
6296UP 2U 最多96个口
口可以是以太网 可以是FC 可以是FCoE(多)
当服务器出来时,它必须聚集网络
管理内建中心
Nexus os(NX-OS)是交换机的操作系统
支持VM-FEX
FI6120XP支持扩展模块 6140XP支持两个扩展模块
6300(UCS mini)
下面四个黑色是10G的口 旁边的黑色是40G的口
又能连B又能连C
Fabric Extender(Fex) 必买 考虑冗余买两个
中间不能交叉!
1 2 4 8根可以 没有其他选项
也不能这样
买几个FI就几个Fex
两个FI是并行工作 数据层面双A 只有一个管理层
FE2104XP 4就是4个10G的上联口 8个连接服务器背板端口 4根上联 1根连服务器 4根下联
FE2204XP 4就是4个10G的上联口 16根10G端口 4根上联 2根连服务器 8根下联
FE2208XP 8就是8个10G的上联口 上联80G 8根上联 4根接服务器 32根下联
UCS 2104XP Fex有3个子系统
1.IO混合单元(The Redwood IO_MUX)
2.机架管理控制器(The Chassis Management Controller(CMC))
3.机架管理交换机(The Chassis Management Switch(CMS))
上图CMC有管理芯片flash、内存,简单CPU
I/O混合芯片(2104为例)4根10G上联 8根10G接服务器 1个10G连到CMS 1个100Mbps连到CMC
CMS有8个100Mbps去服务器CIMC(主板上的管理芯片)
100Mbps CIMCs带外网管口
这样子连
PC连接FI,FI再连到Fex,Fex再通过IO,再到CMS,再通过100Mbps连接带外网管口CMC,CMC然后返回图形界面PC
右下角Downlink ports 右上角uplink ports
2104 8 4
2204 16
2208 32
CMC(The Chassis Management Controler)是内置FE处理器,和CIMC、aka BMC进行交互,管理员不需要直接管理,而是通过上面FI实现统一管理
功能:提供整体chassis discovery和management,报告结果给UCS manager,同时为Redwood management software提供platform services
主要功能:提供机框的发现,找出你是什么服务器,然后向你报告manager
上连FI下连服务器
CMS是交换机,连接服务器8个百兆CIMC,1个G连接IO
FI、Fex和Server三者连接关系图
FI里面的Intel Xeon里面有管理芯片NXOS(Nexus OS),UCSM
RS232可以连console口 CLI
连NIC是图形界面
FI有互联的嘴 L1 L2 心跳线 L1接L1 L2接L2
为什么是 1 2 4 8 要均分
B系列服务器(Blade Servers:UCS B-Series)
5108框架,简单框架,内部无交换机(Fex不是内部交换机,因为内部没有交换,只有上去回来)
最多支持8个半宽 四个全宽 支持混合配置
支持4个电源(为冗余)
支持8个风扇,每个风扇有两个
背面支持插入两个2100或2200系列FEX模块
cisco所有产品基本都是热插拔,插电也可以拧开螺丝插拔
正常配置
1个Fex只能接1个FI 如上图 左边FEX接左边FI 右边FEX接右边FI
左边的B200是半宽 所以一边一边
右边的B440是全宽 所以一边两个
虚拟机的卡是左边还是右边
接线 1 2 4 8
服务器
B22 m3 第3代 B后数代表型号 内存槽位置一般定义 越大越高级 要看是否nb看两个数字
CPU E5240 12个槽位
B200 M3
CPU E5260v2 24个槽位 M向上插两张卡 M1 M只能插一张卡
B200 M4
CPU E5240v3 24个槽
B230 m2
CPU E7-2800 32个槽位
B260 M4
一个全宽的 CPU E7v2 48个槽 15T内存
B420 M3
B460 M4
两层全宽 E7v2 96个槽 3T内存
Server Adaper网卡
B系列接背板 没有物理口 C系列有物理口
使用VIC的VM-FEX技术
M81 KR
适合M1 M2设备 一边一个10G 虚拟出128个虚拟口
M3之后有两个槽,有一个槽专门为1240而留!
Cisco UCS VIC 1240
4个10G口 256个虚拟接口 IO吞吐量90万IOPS 20 20 加个扩展卡40 40
cisco UCS VIC 1280
相较于1240直接40 40 别的没有区别
CPU使用情况(买一个CPU槽位只能使用一半)
内存插得越多内存主频会下降 有一个专门为1240准备的槽 在下面,叠在上面的可以是扩展卡也可以是1240卡
这个口可以插这根线
可以接很多东西 但是一般通过里面的内接网管来控制
内存位从0开始插 前四个可以插A0 B0 C0 D0
上图7处已经有一个1240 在8的地方可以再扣其他的
vic卡连线
可能性很多
1CPU1VIC1240
只能20 20 因为是1240
1cpu 1vic1240+扩展卡
扩展卡不能算正常卡 只是帮忙串线 40 40 不需要第二个CPU 但只能虚出256个虚拟网卡
1CPU1VIC1240 2204XP只能实现10 10
因为是10G一个口 左边没有卡 有扩展卡的话可以20 20
cisco UCS VIC 1340 与1280最大的区别是可以提供40G 有个槽位专门准备
cisco UCS VIC 1380 与1280最大的区别是可以提供40G
C系列服务器
分为几种
①scale-out(独立安装)
C22 M3 类似B系列的分类
跟B22 M3是一样的配置
C220 M3跟B220 M3差不多
性能也是一样的配置
C24 M3 (主要用于阵列)
C3160(360T 主要用于阵列)
可以买来独立安装一个存储系统 直接做阵列 不一定要EMZ
②Entherprise-Class(企业级)
C220 M3
机架式服务器 跟B220M3差不多
…
C系列VIC卡
C不用买任何卡,B必须配卡 C不一定
两个槽 PCle1(CPU1) 全高(一定要插VIC) PCle2(CPU2)半高
VIC 1225
singleconnect 类似于1240 10 10
cisco UCS VIC 1227
VIC卡的优势在于虚拟化 网管一定要VIC
如果想从FI控制,上联的线必须从VIC卡出,接到FEX,才能从FI进行网管
UCS M系列 模块化Modular
也可被FI管理
UCS M4308
UCS E系列
3 初始化配置UCS Manager
命令行初始化
MDS 多层交换矩阵交换机(Multilayer Fabric Switch)
cisco 2960s基本配置
将1 2 3口划入vlan5
清空配置
初始化配置
高可用性FI连接
两个FI互联
每个FI是一个分离的实体,都在运行NX-OS(CLI)和UCSM(UI 多),在同一时间只有一个FI的UCSCM是active的,每个FI的I/O都是active的
每个FI的管理口需要被连接到相同的2层网络 每个FI都有自己的管理IP
一个FEX只能被连接到一个FI
两个FI的配置
(登录其中一个FI A配置)
B上配置:很少 能检测到对端的FI 需要配FI A的 和B的IP地址
初始化配置后可通过网页网管
KVM管理键盘鼠标
点击会下载一个应用程序 再进行登录
UCSM面板介绍
Rack机架式服务器
定义的service profile
有颜色的框表示有问题
ucs基本配置
连线这里要选实际机箱连接最低的数量,因为第一个选项意思是通过几根链路来发现你的机箱 选项只有1 2 4 8
Power Policy
Non Redundant没有冗余 n+1(n个工作负载均衡,1个备用)Grid(拿一半备用)
配置DNS
配置时区和NTP(时间)
连FEX
接服务器:server port
上连交换机:uplink port
PC或服务器直连FI:application port
接FCoE直连存储:FCoE storage port
这里竖直第一列server port 第二列uplink port
4 UCS LAN配置
FI工作原理
FI不是一个交换机
FI是两个tor设备 机柜顶头摆两个FI来接机箱里的设备
1.提供网络连接
2.提供FC上联到存储
3.在UCS机箱内没有交换功能(必须要通过FI才能互相通讯)
两种网络操作模式
1.EHM-Ethernet End Host Mode(默认模式)终端主机模式 推荐
2.ESM-Ethernet Switching Mode 交换模式
FI就像一个拥有很多MAC地址的主机
不运行生成树
较少的网络问题
所有链路都可使用(没有STP阻挡)
有一个默认的策略方式环路:同一个上行链路来的不可能再从这个上行链路回去
仅需学习服务器端的MAC地址,减少控制层的负担
(服务器的地址记住,不认识的地址直接往上传就行了)
两个FI不会因为交换数据而互相连接
:L1-L1 L2-L2的集群连接,仅仅用于管理
他只能这样
不能这样
不同vlan只能借助外面的3层才能通
如果不用pinned,则服务器传输会使用轮巡模式上传 按顺序一个一个
有pinned:强制只走某个上行链路或者某个port channel
RPF(Reverse Path Forwording)检查反向检测:如果pinned固定了一个上行的port channel 那么下来的信息(也可以是访问服务器的信息)也只能从固定的port channel下来否则会被丢弃
如果从服务器来的unknown包 会泛洪到上行链路、其他服务器
如果从网络来的unknown 直接丢了
known包(只可能跟服务器有关)
网络来的known 转发到服务器
服务器来的known 根据目的转发 到其他服务器
known组播 看IGMP
unknown组播 从服务器来 泛洪到其他服务器和上层链路
从网络来 泛洪到所有服务器
从上行链路来的 要么去服务器 要么丢了 不可能回去
EHM学到MAC地址会老化
如果A坏了 会自动切换到B
服务器MAC地址可以静态配置
ESM模式切换(一般不会切换)会重启FI
会像普通交换机一样 引入STP 上行链路阻碍
但很多交换机的配置没有
若俩FI要交换数据用这个
配置uplink
配这俩口
要先配上行交换机 再到FI上进行配置
一般要配:
1.接口trunk
2.spanning-tree portfast trunk
3.指定trunk的Vlans
4.创建port-channels(必须使用LACP(链路聚合控制协议) active(LACP主动在配置的链路上发送Frame) mode)并添加接口
如果被连接到分离的二层,需要使用pin group技术分离(比如 上行链路是分离的DMZ和生产网)
vlan可以是全局的(多),也可以是基于某一个FI来配置
创建vlan
设置俩10G口active
下面的FI同样也要创建VLAN
102packet nexus1kv用
创建port channel
一定要记得激活port channel
就绿了
顺序:
交换机:vlan port-channel
UCS:vlan port-channel 激活port-channel
5 UCS SAN配置
存储基本概念
UCS可使用的存储方式:
1.Local
2.Fibre Channel(FC)
3.iSCSI
4.NFS
UCS:SANBOOT
一般用FC存储(要用FI)
RAID ( Redundant Array of Independent Disks )即独立磁盘冗余阵列,简称为「磁盘阵列」,其实就是用多个独立的磁盘组成在一起形成一个大的磁盘系统,从而实现比单块磁盘更好的存储性能和更高的可靠性。
https://zhuanlan.zhihu.com/p/51170719
提高速度 提供容错
一对一的连接不靠谱 就想到了以太网交换式网络 中间嫁接存储交换机,这样一个服务器可以访问很多阵列,一个阵列可以为多个服务器服务
cisco存储交换机是MDS
FC的WWN就近似MAC地址 但是需要单独购买FC交换机 FC存储卡
iscsi:通过TCP/IP来承载scsi 效率比FC差 但是便宜
NFS:文件共享
UCS使用存储的好处
UCS使用Service Profiles这个概念提供了灵活性和可移动性(因为刀片不需要硬盘、存储分离)
使用SANBOOT才能让UCS获得更大优势:本地硬盘有很多限制、不支持通过NFS启动
启动使用的存储不等同于只能用那种存储方式(可以与起机的存储方式不同)
SanBoot网络存储管理系统,是一套基于微软.vhd虚拟磁盘的数据存储管理系统,采用微软的.vhd标准,支持从hyper-v , oracle vm virtualbox,物理计算机磁盘启动和物理计算机的网络启动。
Fivre Channel(FC)工作速率在1 2 4 8 G
提供对物理硬盘的“block level access",存储整列
要用FC 一定要创建FC的HBA(Host Bus Adapters)卡连接到FC(使用光纤进行连接)
FC地址
服务器:发起者initiators
存储阵列:目的targets
两个接口通的前提:
1.在同一个VSAN
2.在一个zoning(额外考虑安全性,默认俩口无法通讯)
WWNN(world wide node name):一个设备或者一个HBA的地址
WWPN(world wide port name):一个特殊端口的地址(用的多)
WWNN和WWPN,类似MAC地址,出厂时被固化到HBA
每一个设备有一个WWNN,每一个口有一个WWPN
FC端口类型
N_Ports-Node Ports,一个终端设备的端口(服务器或者阵列)
E_Ports-Expansion Ports,FC交换机对联接口
F_Ports-Fabric Ports,交换机连接N_Ports的接口
NPV(N_Port Virtualization)
NPIV(N_Port ID Virtualization)
默认UCS使用NPIV,允许在N_Port身后存在很多initators发起者
需要FC交换机(MDS)工作在NPIV模式
因为就像上图的第二个 一个N_Port里面有很多虚拟的VM 就需要很多FCID
FI使用NPV(下面多个服务器的N_Port虚拟成一个N_Port)技术
核心交换机FC启用NPIV而不是NPV
MDS(核心FC网络)会把FI认为是一个拥有多个ports和FC IDs的FC节点:
1.cisco UCS FI工作在NPV模式
2.上联端口(uplink port)工作在Proxy N_Ports(NP_Ports)模式
3.刀片服务器端口工作在F_Ports
cisco NPV详细介绍
1.每一个服务器接口都被pinned到一个边界端口
2.所有的流量都通过pinned的端口来转发
pinning是通过循环的方式来实现的
服务器接口支持NPIV
核心交换机也需要支持NPIV
现在的UCSM FI支持两个模式
1.FC End-Host Mode
2.FC Switching Mode
End-Host是默认模式
1.使用HPV
2.FI就像一个拥有很多WWPNs的主机