创建快照：
master 作为源：
## 对 master 进行读锁定
mysql> flush tables with read lock;

## 在新终端中（退出锁会失效）创建 MySQL 数据 逻辑卷 的快照
modprobe dm-snapshot
lvcreate -l 486 -s -n mysql_snap /dev/vg/mysql

## 记录当前 binlog 名称及 POS
mysql> show master status;
+------------------+-----------+
| File | Position |
+------------------+-----------+
| mysql-bin.000018 | 235667001 |
+------------------+-----------+

## 解锁
mysql> unlock tables;

slave 作为源：

## 停止 slave 复制进程
mysql -e 'slave stop'

## 创建 MySQL 数据 逻辑卷 的快照
modprobe dm-snapshot
lvcreate -l 486 -s -n mysql_snap /dev/vg/mysql

## 记录当前 master binlog 名称及 POS
mysql -e 'show slave status\G'
Master_Log_File: mysql-bin.000018
Read_Master_Log_Pos: 235667001

## 启动 slave 复制进程
mysql -e 'slave start'

## 同步数据库文件
mount /dev/vg/mysql_snap /mnt
rsync -ae ssh --delete --exclude "mysql-bin.*" /mnt/ mysql2:/mysql/ &

## 在源上删除快照
umount /mnt
lvremove -f /dev/vg/mysql_snap
rmmod dm-snapshot

## 在新的 slave 上启动数据库及复制进程
/etc/init.d/mysqld start
mysql -e 'slave stop'
mysql -e 'change master to master_host="192.168.0.201", master_user="slave", master_password="slave", master_log_file="mysql-bin.000018", master_log_pos=235667001'
mysql -e 'slave start'

作为试验，先在 ISCSI Target 创建 3 个 LUN ，大小分别为 2G/4G/8G

使用 udev 规则固定设备号
使用 udevinfo 得到设备信息：
udevinfo -ap /sys/block/sdb
looking at device '/block/sdb':
KERNEL=="sdb"
SUBSYSTEM=="block"
DRIVER==""
ATTR{range}=="16"
ATTR{removable}=="0"
ATTR{size}=="8388608"
ATTR{capability}=="12"
ATTR{stat}==" 45 175 1760 144 0 0 0 0 0 104 144"
...

根据容量大小固定设备号：
vi /etc/udev/rules.d/10-persistant-iscsi.rules
KERNEL=="sd*", ATTR{size}=="4194304", NAME="sdb"
KERNEL=="sd*", ATTR{size}=="8388608", NAME="sdc"
KERNEL=="sd*", ATTR{size}=="16777216", NAME="sdd"

在 /dev/sdc 创建两个分区： sdc1 sdc2

fdisk -l 查看正常：
Disk /dev/sdb: 2147 MB, 2147483648 bytes
67 heads, 62 sectors/track, 1009 cylinders
Units = cylinders of 4154 * 512 = 2126848 bytes
Disk identifier: 0x00000000

Disk /dev/sdb doesn't contain a valid partition table

Disk /dev/sdc: 4294 MB, 4294967296 bytes
133 heads, 62 sectors/track, 1017 cylinders
Units = cylinders of 8246 * 512 = 4221952 bytes
Disk identifier: 0xefe87fb7

Device Boot Start End Blocks Id System
/dev/sdc1 1 25 103044 83 Linux
/dev/sdc2 26 121 395808 83 Linux

Disk /dev/sdd: 8589 MB, 8589934592 bytes
64 heads, 32 sectors/track, 8192 cylinders
Units = cylinders of 2048 * 512 = 1048576 bytes
Disk identifier: 0x00000000

Disk /dev/sdd doesn't contain a valid partition table

但分区的块设备还是混乱的：
ll /dev/sd*
brw-rw---- 1 root disk 8, 32 Jul 20 14:11 /dev/sdb
brw-rw---- 1 root disk 8, 17 Jul 20 14:11 /dev/sdb1
brw-rw---- 1 root disk 8, 18 Jul 20 14:11 /dev/sdb2
brw-rw---- 1 root disk 8, 16 Jul 20 14:11 /dev/sdc
brw-rw---- 1 root disk 8, 48 Jul 20 14:11 /dev/sdd

/dev/disk 下相应的链接也就是混乱的。

创建文件系统也会出错：
mkfs -t ext3 /dev/sdc1
mke2fs 1.41.3 (12-Oct-2008)
Could not stat /dev/sdc1 --- No such file or directory

The device apparently does not exist; did you specify it correctly?

使用 LVM 测试：
ll /dev/sd*
brw-rw---- 1 root disk 8, 16 Jul 20 14:26 /dev/sdb
brw-rw---- 1 root disk 8, 48 Jul 20 14:26 /dev/sdc
brw-rw---- 1 root disk 8, 32 Jul 20 14:26 /dev/sdd

pvcreate /dev/sdb /dev/sdc /dev/sdd
vgcreate test /dev/sdb /dev/sdc /dev/sdd
lvcreate -L 2G -n /dev/test/test
mkfs -t ext3 /dev/test/test

/etc/init.d/open-iscsi restart
ll /dev/sd*
brw-rw---- 1 root disk 8, 48 Jul 20 14:27 /dev/sdb
brw-rw---- 1 root disk 8, 16 Jul 20 14:27 /dev/sdc
brw-rw---- 1 root disk 8, 64 Jul 20 14:27 /dev/sdd

mount -t ext3 /dev/test/test /mnt
mount: wrong fs type, bad option, bad superblock on /dev/mapper/test-test,
missing codepage or helper program, or other error
In some cases useful info is found in syslog - try
dmesg | tail or so

结论：使用 udev 规则固定 iscsi 设备号是不可行的。

使用 DMIO(multipath I/O) 固定设备号
apt-get install multipath-tools
The following NEW packages will be installed:
dmsetup kpartx libaio1 multipath-tools

multipath -v3 得到设备信息后修改 /etc/multipath.conf ，如下：
blacklist {
devnode "^sda"
}

defaults {
user_friendly_names yes
udev_dir /dev
path_grouping_policy multibus
failback immediate
no_path_retry fail
}

multipaths {
multipath {
wwid 149455400000000000000000001000000c10600000d000000
alias mpath0
path_grouping_policy multibus
path_checker tur
path_selector "round-robin 0"
}
}

multipaths {
multipath {
wwid 149455400000000000000000002000000f20600000d000000
alias mpath1
path_grouping_policy multibus
path_checker tur
path_selector "round-robin 0"
}
}

multipaths {
multipath {
wwid 149455400000000000000000003000000060700000d000000
alias mpath2
path_grouping_policy multibus
path_checker tur
path_selector "round-robin 0"
}
}

devices {
device {
vendor "IET"
product "VIRTUAL-DISK"
path_grouping_policy multibus
}
}

/etc/init.d/multipath-tools restart

multipath -l
mpath2 (149455400000000000000000003000000060700000d000000) dm-4 IET ,VIRTUAL-DISK
[size=8.0G][features=0][hwhandler=0]
\_ round-robin 0 [prio=0][active]
\_ 3:0:0:3 sdc 8:32 [active][undef]
mpath1 (149455400000000000000000002000000f20600000d000000) dm-5 IET ,VIRTUAL-DISK
[size=4.0G][features=0][hwhandler=0]
\_ round-robin 0 [prio=0][active]
\_ 1:0:0:2 sdd 8:48 [active][undef]
mpath0 (149455400000000000000000001000000c10600000d000000) dm-3 IET ,VIRTUAL-DISK
[size=2.0G][features=0][hwhandler=0]
\_ round-robin 0 [prio=0][active]
\_ 2:0:0:1 sdb 8:16 [active][undef]

/etc/init.d/open-iscsi restart

multipath -l
mpath2 (149455400000000000000000003000000060700000d000000) dm-5 IET ,VIRTUAL-DISK
[size=8.0G][features=0][hwhandler=0]
\_ round-robin 0 [prio=0][active]
\_ 6:0:0:3 sdd 8:48 [active][undef]
mpath1 (149455400000000000000000002000000f20600000d000000) dm-3 IET ,VIRTUAL-DISK
[size=4.0G][features=0][hwhandler=0]
\_ round-robin 0 [prio=0][active]
\_ 4:0:0:2 sdb 8:16 [active][undef]
mpath0 (149455400000000000000000001000000c10600000d000000) dm-4 IET ,VIRTUAL-DISK
[size=2.0G][features=0][hwhandler=0]
\_ round-robin 0 [prio=0][active]
\_ 5:0:0:1 sdc 8:32 [active][undef]

ll /dev/mapper/mpath*
brw-rw---- 1 root disk 254, 4 Jul 20 14:55 /dev/mapper/mpath0
brw-rw---- 1 root disk 254, 3 Jul 20 14:55 /dev/mapper/mpath1
brw-rw---- 1 root disk 254, 5 Jul 20 14:55 /dev/mapper/mpath2

对 mpath 块设备操作即可。

为方便各操作系统下的阅读，转成了 pdf 文件。下载地址如下：

网站集群架构.pdf

添加 yum 源
cd /etc/yum.repos.d/
wget http://mirror.centos.org/centos/4/csgfs/CentOS-csgfs.repo

更新系统
yum -y update

安装 Red Hat Cluster Suite with DLM 所需要的包：
yum install ccs cman-kernel-smp dlm dlm-kernel-smp fence iddev magma magma-plugins gulm perl-Net-Telnet

安装 Red Hat GFS 所需要的包：
yum install GFS GFS-kernel-smp lvm2-cluster

配置 cluster
vi /etc/cluster/cluster.conf

配置 fence
cd /sbin
mv fence_manual fence_manual~
vi /sbin/fence_manual
#!/bin/sh
exit 0

在集群开始前插入模块
vi /etc/sysconfig/cluster
modprobe lock_dlm
modprobe gfs

启动 cluster
service ccsd start
service cman start
service fenced start

检查一下是否正常
ccs_tool lsnode

Cluster name: alpha_cluster, config_version: 1

Nodename Votes Nodeid Iface Fencetype
centos4-1 1 human
centos4-2 1 human

ccs_tool lsfence

Name Agent
human fence_manual

cman_tool services

Service Name GID LID State Code
Fence Domain: "default" 3 2 run -
[2 1]

配置 clvm
vi /etc/lvm/lvm.conf
locking_type = 3

service clvmd start

设置开机自启动
ntsysv
选中 clvmd
可以把不用的 lock_gulmd 和 scsi_reserve 去掉。

只在一个节点上执行如下操作：
pvcreate /dev/sda
vgcreate vg /dev/sda
lvcreate -l 18431 -n lv1 vg
gfs_mkfs -j 2 -p lock_dlm -t alpha_cluster:gfs /dev/vg/lv1

挂载后即可使用
mount -t gfs /dev/vg/lv1 /mnt
可以写入 /etc/rc.local 开机自动挂载。

创建 RAID1
mdadm -C /dev/md0 -l1 -n2 -c128 /dev/sd[a,b]1
mdadm -C /dev/md1 -l1 -n2 -c128 /dev/sd[a,b]2

创建 VG
lvm pvcreate /dev/md1
lvm vgcreate vg0 /dev/md1

然后 Alt+F1 切换回安装界面继续使用 Disk Druid 进行分区操作：
编辑 /dev/md0 ，格式化为 ext3 ，挂载点设为 /boot
在 vg0 上添加逻辑卷挂载根 swap 及其它目录。

安装完成进入系统后执行如下操作：
grub
> device (hd0) /dev/sda
> root (hd0,0)
> setup (hd0)
> device (hd1) /dev/sdb
> root (hd1,0)
> setup (hd1)

如果不能引导，重新用光盘引导系统， linux rescue 进入修复模式执行以上操作。

更换从盘 sdb ：
进入系统后执行 fdisk /dev/sdb ，创建和安装系统时一样的分区结构。

然后重新加入 RAID
mdadm /dev/md0 --add /dev/sdb1
mdadm /dev/md1 --add /dev/sdb2

再把 grub 写入 MBR
grub
> device (hd1) /dev/sdb
> root (hd1,0)
> setup (hd1)

更换主盘 sda 需要互换 sda 和 sdb 的数据线接口再进行上述操作。

在 VMware 上模拟了一下。因为需要模拟 SATA 硬盘，建立虚拟机时用了 SCSI 硬盘。要选择 RedHat Enterprise 版才能支持 SCSI 硬盘。
使用 VMware-gsx-server-3.2.1 发现在较大的（试验了 160G/250G）虚拟硬盘上的 RAID5 recovery 到尾声时会死机，重启后又要从头再来，但依然会死机，周而复始。换成 VMware-server-1.0.3 后就没有问题了。
在 hda 安装了 CentOS 5.1 ，最小化安装。安装过程没有对 sda, sdb, sdc 进行分区。

用 mdadm 创建 RAID
# mdadm -C /dev/md0 -l5 -n3 -c128 /dev/sd[a,b,c]
参数所代表的意思可以用 man mdadm 查看。
基本命令
# mdadm -A /dev/md0 #启动阵列
# mdadm -S /dev/md0 #停止阵列（停止前必须先 umount）
# mdadm -D /dev/md0 #显示阵列详细信息

# watch "cat /proc/mdstat"
可以看到 RAID 的 recovery 过程。
此时 RAID 已经可以使用了。

LVM 初始化
# vgscan
创建 PV
# pvcreate /dev/md0
创建 VG
# vgcreate vga /dev/md0
创建 LV
# lvcreate -l 40959 -n lv1 vga
在 LV 上建立文件系统
# mkfs -t ext3 -L /data /dev/vga/lv1
挂载
# mkdir /data
# mount -t ext3 -o defaults /dev/vga/lv1 /data
测试
# cd /data
# dd if=/dev/zero of=test bs=1024k count=1k
# dd if=test of=/dev/null

recovery 结束后，生成 /etc/mdadm.conf 文件，在系统重启后自动启用 RAID
# mdadm -Ds > /etc/mdadm.conf
编辑 /etc/mdadm.conf 文件，在顶部加入如下一行：
DEVICE /dev/sd*

在 /etc/fstab 尾部加入一行
LABEL=/data /data ext3 defaults 0 0
重启后自动挂载。

接着，模拟这样一种状况：为了扩容，要给 RAID 加入一块硬盘。
关机，给 VM 添加一块 80G 的 SCSI 硬盘后启动。
给 RAID 添加硬盘
# mdadm /dev/md0 -a /dev/sdd
此时，新添加的硬盘会被作为 spare
把 RAID 设备设置为4个，使用新硬盘
# mdadm -G /dev/md0 -n4
扩充 PV
# pvresize /dev/md0
扩充 LV
# lvextend -l +20480 /dev/vga/lv1
扩大文件系统大小
# resize2fs /dev/vga/lv1
此命令可在 mount 时操作。并且同时 dd 模拟写入和读取文件，除了速度变慢，没有发现异常。

再来模拟这样一种情况：空间又被用完了，需要更大的存储空间，再找来3块 160G 的硬盘扩容。为了安全，还是把这三块硬盘组成 RAID5 。
关机，给 VM 添加三块 160G 的 SCSI 硬盘后启动。
CentOS5(RHEL5) 使用了 udev 来管理系统设备文件名，/dev 目录下只有 md0，需要手动建立 RAID 设备。
# mknod /dev/md1 b 9 1
# chown root:disk /dev/md1
# chmod 640 /dev/md1
为了在重启后能自动创建 md1 ，还需如下设置
# mkdir /etc/udev/devices
# cp -a /dev/md1 /etc/udev/devices/

建立 RAID
# mdadm -C /dev/md1 -l5 -n3 -c128 /dev/sd[e,f,g]

创建 PV
# pvcreate /dev/md1
扩充 VG
# vgextend vga /dev/md1
扩充 LV
# lvextend -l +81919 /dev/vga/lv1
扩充分区大小：
# resize2fs /dev/vga/lv1
此间，继续使用 dd 模拟读写，没有问题。
把第二个 RAID 的配置也写入配置文件
# mdadm -Ds | grep md1 >> /etc/mdadm.conf

模拟设备损坏的情况
将 /dev/sdb 标记为已损坏的设备
# mdadm /dev/md0 -f /dev/sdb
移除损坏的设备
# mdadm /dev/md0 -r /dev/sdb
此时可用 dd 模拟读写。
更换设备并重新添加到 RAID 中
# mdadm /dev/md0 -a /dev/sdb
会重新 recovery ，同样，可以 dd 模拟下读写。

如果发现缺失某个设备后 RAID 不能启动，可以使用剩余设备启动 RAID
# mdadm -A --run /dev/md1 /dev/sde /dev/sdf

此后又再给 md1 添加了一块硬盘 sdh 进行相应测试，还是正常的。

特殊情况，去掉一个 PV
# umount /data
# resize2fs -f /dev/vga/lv1 240G
# lvreduce -l -81919 /dev/vga/lv1
# vgreduce vga /dev/md1
不建议在生产系统上减小 LV
这本来是想用来试验大 PV 替换小 PV 的，但为了安全，还是把老 LV 的数据复制到新的 LV 后再做打算。

有了更大的硬盘（250G*4, VMware 只能创建小于 256G 的虚拟硬盘）用来扩容，为了留出机箱空间并降低电力消耗，需要把老硬盘上的数据转移到新硬盘。
先用新硬盘组成的 RAID5
# mknod /dev/md2 b 9 2
# chown root:disk /dev/md2
# chmod 640 /dev/md2
# cp -a /dev/md2 /etc/udev/devices/
# mdadm -C /dev/md2 -l5 -n4 -c128 /dev/sd[i,j,k,l]
# mdadm -Ds | grep md2 >> /etc/mdadm.conf

依然使用 LVM
# pvcreate /dev/md2
# vgcreate vg0 /dev/md2
# lvcreate -l 191999 -n lv1 vg0
# mkfs -t ext3 /dev/vg0/lv1

把 /dev/vg0/lv1 挂载上后便可以复制数据了，cp, rsync 都行。

当有大量小文件时，用 dd 复制，并把块设置的大些，速度会非常快。
为保证数据同步，先卸载
# umount /data
然后复制
# dd if=/dev/vga/lv1 of=/dev/vg0/lv1 bs=16MB
用 dd 复制还可以跳过 mkfs 的过程。
在 VMware 中，就算没有使用预分配空间的磁盘模式，也会进行完全复制填满磁盘空间。可以在复制开始一会儿后就结束 dd 进程，节约空间和时间。

挂载，检查一下数据完整性
# mount -t ext3 -o defaults /dev/vg0/lv1 /mnt

用 dd 复制会把新的 LV 容量变成和老的一样大，需要调整容量
# resize2fs /dev/vg0/lv1

没有问题的话，就修改 LV 卷标，以便系统重启后能挂载新的 LV
# e2label /dev/vga/lv1 /backup
# e2label /dev/vg0/lv1 /data

如果要把老的 LV 转移到另外的机器上，需要备份 LVM 卷组信息以及 mdadm 的配置
先查看一下 /etc/lvm/backup/vga 是否存在，没有的话就创建备份
# vgcfgbackup
把 /etc/lvm/backup/vga 和 /etc/mdadm.conf 备份到远程主机上。
这还可以用于恢复存储服务器操作系统崩溃而导致的 LVM 不可用。比如 hda 损坏了。

重装系统时，千万不要对 sd* 进行操作—重建分区表，这会导致 LVM 信息的丢失。
在真实设备上操作时，为了安全，可以先安装完系统再给硬盘通电。

先恢复 RAID
把 mdadm.conf 恢复到新系统的 /etc 目录下，启动 RAID
# mdadm -A /dev/md0
# mdadm -A /dev/md1
再恢复 LVM
# vgcfgrestore -f vga vga
第一个 vga 是备份的文件名，第二个是要还原的 Volume Group Name 。如果 vga 这个卷组名被占用了，需要重命名。
# vgscan
# pvscan
然后启动 VG
# vgchange -a y vga
再扫描 LV
# lvscan
恢复完成，可以挂载并使用了。

至此，VMware 试验完成，可在真实硬件设备上试验了。

恢复的时候：

tar -xjpvf /mnt/winh/linux.tar.bz2 -C /

使用 rsync 备份目录时也用 --exclude="/sourcedir/tmp" 发现并没有排除掉呢。

还是得用 --exclude "tmp"，路径为相对路径。

rsync -a --exclude "tmp" --exclude "temp" /sourcedir/ /backup/$(date +%Y%m%d --date='1 days ago')

建立 PV ：
# pvcreate /dev/sdb1
# pvcreate /dev/sdb2
# pvcreate /dev/sdb3
# pvcreate /dev/sdb4
查看 PV：
# pvdisplay /dev/sdb1

创建 VG ：
# vgcreate vga /dev/sdb1 /dev/sdb2 /dev/sdb3 /dev/sdb4
查看 VG ：
# vgdisplay vga
 
创建 LV ：
# lvcreate -l 28899 -n vga1 vga
或者，
# lvcreate -L 112890M -n vga1 vga
-l 以 PE 为单位划分大小，-L 以 MB 为单位划分大小。
查看 LV ：
# lvdisplay /dev/vga/vga1
 
格式化 LV ：
# mke2fs -j -L /backup /dev/vga/vga1
 
挂载：
加入 /etc/fstab ，
LABEL=/backup           /backup                 ext3    defaults        1 2
# mount -a
 
把原来用来备份的分区 (/dev/sda5) 上的数据复制到 /backup 。
 
顺便试了试 LV 改名：
# umount /backup
# lvrename /dev/vga/vga1 /dev/vga/lv1
# lvdisplay /dev/vga/lv1
# e2label /dev/vga/lv1 /backup
# mount -a
LV 上的数据不会受到影响。
 
最后，把 /dev/sda5 也加入 VG ，以扩大容量。
# fdisk /dev/sda
把 /dev/sda5 的 Id 改为 8e ，再把 /dev/sda5 也做成 PV ：
# pvcreate /dev/sda5
扩充 VG ：
# vgextend vga /dev/sda5
扩充 LV ：
# lvextend -l +4765 /dev/vga/lv1
扩充分区大小：
# ext2online /dev/vga/lv1
从 ext2online 这个命令的名字就可以知道，扩容是不需要 umount 的。