QEMU+OCFS2: 使用OCFS2作为虚拟机磁盘文件的SAN存储文件系统

本文介绍OCFS共享集群文件系统，如何配置，如何在线扩容。

什么是OCFS2文件系统？

OCFS2是 Oracle Cluster File System Version 2 的缩写，是Oracle2011年共享磁盘文件系统于2011年开源使用GNU GPL协议。

共享磁盘文件系统是什么？以下是三个概念的比较：

• 磁盘文件系统

本地磁盘(块存储，Block Storage）上面。通过磁盘文件系统，以文件目录的形式组织磁盘上的内容，方便用户有效利用磁盘上的存储空间。磁盘文件系统的例子如下：ext4, xfs等。

• 共享文件系统

共享文件系统通过远端服务器上运行的服务程序访问挂载在远端服务器上的文件系统。例子为：NFS（Network File System），Samba（CIFS）。

• 共享磁盘文件系统

共享磁盘文件系统又称集群文件系统（Cluster File System），是专门在网络共享磁盘上建立的文件系统。通过网络共享磁盘SAN（Storage Area Network）与磁盘文件系统相比，共享磁盘文件系统不仅要解决磁盘空间的有效管理问题，还要解决多个主机同时访问的并发修改问题。因此，分布式锁机制是共享磁盘文件系统的共同机制。

从使用场景来看，三个文件系统的区别非常明显：磁盘文件系统直接访问本地磁盘，共享文件系统需要访问服务器上挂载的文件系统，而共享磁盘文件系统直接访问共享磁盘。

因此，通过共享磁盘文件系统访问网络共享场景SAN存储可以直接访问共享存储设备。访问路径短，效率高，可以解决多主机并发访问共享存储的问题。

QEMU通过OCFS2使用共享SAN存储

QEMU使用共享SAN存储多种方案。常见的方案是在需要新建虚拟机磁盘时使用。SAN存储的管理API，分配出卷（LUN）之后直接将卷挂载QEMU使用虚拟机。该方案的优点是QEMU直接访问虚拟机LUN，损耗低，性能好。缺点是需要使用特定的存储设备API，与设备绑定，不够通用。

本文介绍通过OCFS2共享磁盘文件系统，大容量SAN存储卷作为存储QEMU存储虚拟机虚拟磁盘文件，实现QEMU使用共享存储的目的。

OCFS文件系统的配置

• 准备环境

这一步安装配置软件

• 下载和安装ocfs2-tools的rpm包安装（也依赖net-tools）

$ wget http://public-yum.oracle.com/public-yum-ol7.repo -O /etc/yum.repos.d/public-yum-ol7.repo $ rpm --import http://public-yum.oracle.com/RPM-GPG-KEY-oracle-ol7 $ yum install yum-plugin-downloadonly -y $ mkdir /tmp/ocfs2 && cd /tmp/ocfs2/ $ yum install --downloadonly --downloaddir=/tmp/ocfs2/ ocfs2-tools net-tools -y 

具体操作步骤见官方文件：

https://docs.oracle.com/cd/E52668_01/E54669/E54669.pdf, Chapter 23 Oracle Cluster File System Version 2

• 安装Cloudpods内核，自带编译ocfs2文件系统的核心模块

由于OCFS2使用场景较少，不会在常见发行版的核心中使用OCFS2核心模块。我们提供了预先编译的启用OCFS2内核安装包：

$ yum install -y yum-utils # 添加 yunion Cloudpods rpm 源 $ yum-config-manager --add-repo https://iso.yunion.cn/yumrepo-3.6/yunion.repo $ yum install -y kernel-3.10.0-1062.4.3.el7.yn20191203 

同时，在部署时将配置文件写到/etc/modules-load.d/ocfs2.conf，确保内核的ocfs自动加载模块

# Load ocfs2.ko at boot ocfs2 

内核安装后需要重启生效，重启后检查新内核生效

$ uname -r 3.10.0-1062.4.3.el7.yn20191203.x86_64

• OCFS2配置文件

OCFS2.配置简单，每个都需要挂载OCFS相同的配置文件配置在2的节点上，可以说明成员节点。

以下是配置文件的示例：

$ cat /etc/ocfs2/cluster.conf  cluster:         node_count = 3            <== 集群节点数量         name = ocfs2              <== 集群名字  node:         ip_port = 7777         ip_address = 192.168.7.10         number = 0                <== 节点编号         name = client01           <== 节点名字         cluster = ocfs2 node:         ip_port = 7777         ip_address = 192.168.7.11         number = 1         name = client02         cluster = ocfs2 node:         ip_port = 7777         ip_address = 192.168.7.12         number = 2         name = client03 

cluster = ocfs2

• 初始化ocfs2的配置

$ o2cb.init configure      第一项选yes，在上述配置文件中填写集群名称，默认为ocfs2 

• 确保o2cb ocfs服务启动并设置为启动自启动

systemctl enable o2cb ocfs2 

至此，OCFS2.完成软件和配置。下一步是挂载格式化磁盘OCFS2文件系统

• 挂载OCFS2文件系统

这一步使用OCFS2.格式化网络共享磁盘，并挂载各宿主机上。

在此之前可能需要配置SAN多路径存储multipath(由于写作原因，这里省略了细节)parted分区，格式化ocfs2(只有一台机器分区格式化，其他机器partprobe格式化后的分区可以看到)并挂载到多台机器上。

第一节点执行以下命令：

# 查看多路径multipath磁盘情况 $ multipath -l 

使用mkfs.ocfs2格式化分区

$ parted /dev/dm-0 $ mkfs.ocfs2 /dev/dm-1 $ mount /dev/dm-1 /data

持久化磁盘挂载到/etc/fstab

# /etc/fstab /dev/dm-1  /opt/cloud/workspace/disks  ocfs2     _netdev,defaults  0 0

在其他节点，只需执行partprobe探测分区变化，并挂载分区。也应修改/etc/fstab，挂载持久分区。

Cloudpods使用OCFS2文件系统

/p>

在Cloudpods中，通过OCFS2挂载的共享文件系统可以作为GPFS类型的共享存储类型进行管理。通过以下步骤将OCFS2的共享存储注册到Cloudpods，并且用来存储虚拟机用的虚拟磁盘文件。

• 注册OCFS2块存储

在【存储-块存储】界面，新建一个GPFS类型的共享存储。

存储记录创建成功后，选择该存储的“管理宿主机”菜单按钮，在关联存储的宿主机列表，选择“关联宿主机”，将挂载该存储的宿主机节点都注册关联，让Cloudpods平台知道这个共享存储挂载到哪些宿主机的哪个目录下。

• 使用OCFS2创建主机虚拟磁盘

以上配置完成后，在新建虚拟机时，就可以选择新建的OCFS2存储作为虚拟磁盘的存储。

OCFS2文件系统的扩容

首先需要将OCFS2只挂载在第一个节点，将其他节点都卸载。以下操作都只在第一个节点上执行。

首先，需要在SAN存储扩容该物理卷，这一步在SAN设备上操作，在此不详叙述。

其次，针对multipath设备，需要rescan该设备下的每个磁盘，让操作系统感知到设备的扩容。

# 首先执行 multipath -l 查看multipath设备底层的磁盘设备
$ multipath -ll
Jun 24 15:09:16 | ignoring extra data starting with '}' on line 16 of /etc/multipath.conf
Jun 24 15:09:16 | sdi: alua not supported
Jun 24 15:09:16 | sdb: alua not supported
Jun 24 15:09:16 | sdc: alua not supported
Jun 24 15:09:16 | sdd: alua not supported
Jun 24 15:09:16 | sde: alua not supported
Jun 24 15:09:16 | sdf: alua not supported
Jun 24 15:09:16 | sdg: alua not supported
Jun 24 15:09:16 | sdh: alua not supported
Jun 24 15:09:16 | sdq: alua not supported
Jun 24 15:09:16 | sdj: alua not supported
Jun 24 15:09:16 | sdm: alua not supported
Jun 24 15:09:16 | sdn: alua not supported
Jun 24 15:09:16 | sdo: alua not supported
Jun 24 15:09:16 | sdp: alua not supported
Jun 24 15:09:16 | sdk: alua not supported
Jun 24 15:09:16 | sdl: alua not supported
36488eef100d71ed122ace06c00000001 dm-0 HUAWEI  ,XSG1
size=15T features='1 queue_if_no_path' hwhandler='0' wp=rw
`-+- policy='service-time 0' prio=-1 status=active
  |- 1:0:7:1 sdi 8:128 active ready running
  |- 1:0:0:1 sdb 8:16  active ready running
  |- 1:0:1:1 sdc 8:32  active ready running
  |- 1:0:2:1 sdd 8:48  active ready running
  |- 1:0:3:1 sde 8:64  active ready running
  |- 1:0:4:1 sdf 8:80  active ready running
  |- 1:0:5:1 sdg 8:96  active ready running
  |- 1:0:6:1 sdh 8:112 active ready running
  |- 2:0:7:1 sdq 65:0  active ready running
  |- 2:0:3:1 sdj 8:144 active ready running
  |- 2:0:6:1 sdm 8:192 active ready running
  |- 2:0:0:1 sdn 8:208 active ready running
  |- 2:0:2:1 sdo 8:224 active ready running
  |- 2:0:5:1 sdp 8:240 active ready running
  |- 2:0:1:1 sdk 8:160 active ready running
  `- 2:0:4:1 sdl 8:176 active ready running

对每个设备执行：

echo 1 > /sys/class/block/sdi/device/rescan

再执行下面的命令，让操作系统感知到multipath设备的容量变化：

$ multipathd -k
# multipathd> resize map 36488eef100d71ed122ace06c00000001
# ok
# multipathd> exit

经过上面步骤，操作系统已经感知到设备的容量变化，这时候需要使用parted扩大分区表，方法是使用parted删除分区再重建分区

$ parted /dev/dm-0
(parted) unit s
(parted) p
Model: Linux device-mapper (multipath) (dm)
Disk /dev/dm-0: 32212254720s
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:
 
Number  Start  End           Size          File system  Name   Flags
 1      2048s  10737416191s  10737414144s               disks
 
(parted) rm 1
(parted) mkpart
Partition name?  []?
File system type?  [ext2]?
Start? 2048
End? 100%
device-mapper: create ioctl on 36488eef100d71ed122ace06c00000001p1 part1-mpath-36488eef100d71ed122ace06c00000001 failed: Device or resource busy
(parted) p
Model: Linux device-mapper (multipath) (dm)
Disk /dev/dm-0: 32212254720s
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:
 
Number  Start  End           Size          File system  Name  Flags
 1      2048s  32212252671s  32212250624s
 
(parted) quit

扩容分区表之后，再使用 tunefs.ocfs2 扩容文件系统

# 扩容文件系统
# tunefs.ocfs2 -S /dev/dm-1

经过以上步骤后，文件系统扩容完毕。最后，在其余节点执行partprobe感知设备的容量变化，再重新挂载分区就可以了。

点击进入GitHubhttps://github.com/yunionio/cloudpods