蓝色数据 » mysql

MySQL 复制集群动态添加 slave

Bluedata — Thu, 13 Aug 2009 01:37:01 +0000

MySQL 数据文件需要存放在 LVM 逻辑卷上才能进行如下操作。

创建快照：
master 作为源：
## 对 master 进行读锁定
mysql> flush tables with read lock;

## 在新终端中（退出锁会失效）创建 MySQL 数据逻辑卷的快照
modprobe dm-snapshot
lvcreate -l 486 -s -n mysql_snap /dev/vg/mysql

## 记录当前 binlog 名称及 POS
mysql> show master status;
+------------------+-----------+
| File | Position |
+------------------+-----------+
| mysql-bin.000018 | 235667001 |
+------------------+-----------+

## 解锁
mysql> unlock tables;

slave 作为源：

## 停止 slave 复制进程
mysql -e 'slave stop'

## 创建 MySQL 数据逻辑卷的快照
modprobe dm-snapshot
lvcreate -l 486 -s -n mysql_snap /dev/vg/mysql

## 记录当前 master binlog 名称及 POS
mysql -e 'show slave status\G'
Master_Log_File: mysql-bin.000018
Read_Master_Log_Pos: 235667001

## 启动 slave 复制进程
mysql -e 'slave start'

## 同步数据库文件
mount /dev/vg/mysql_snap /mnt
rsync -ae ssh --delete --exclude "mysql-bin.*" /mnt/ mysql2:/mysql/ &

## 在源上删除快照
umount /mnt
lvremove -f /dev/vg/mysql_snap
rmmod dm-snapshot

## 在新的 slave 上启动数据库及复制进程
/etc/init.d/mysqld start
mysql -e 'slave stop'
mysql -e 'change master to master_host="192.168.0.201", master_user="slave", master_password="slave", master_log_file="mysql-bin.000018", master_log_pos=235667001'
mysql -e 'slave start'

用 MySQL-Proxy 实现 MySQL 主从模式下的读写分离

Bluedata — Sun, 13 Jul 2008 14:48:51 +0000

准备所需的软件：
读写分离脚本是由 lua 语言编写的，需要安装 lua
http://www.lua.org/
下载适合的 MySQL-Proxy 版本
http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/

安装依赖的库：
yum -y install readline-devel
Installing for dependencies: libtermcap-devel

安装 lua:
tar zxvf lua-5.1.3.tar.gz
cd lua-5.1.3
make linux
make install

安装 MySQL-Proxy:
tar zxvf mysql-proxy-0.6.1-linux-rhel4-x86-32bit.tar.gz
cd mysql-proxy-0.6.1-linux-rhel4-x86-32bit
mv sbin/mysql-proxy /usr/local/sbin/
mv share/mysql-proxy /usr/local/share/
strip /usr/local/sbin/mysql-proxy

创建一个启动脚本，方便管理：
vi /etc/init.d/mysql-proxy

#!/bin/sh
export LUA_PATH=/usr/local/share/mysql-proxy/?.lua

case "$1" in
start)
/usr/local/sbin/mysql-proxy --daemon \
--proxy-address=:3306 \
--proxy-backend-addresses=192.168.0.9:3306 \
--proxy-read-only-backend-addresses=192.168.0.10:3307 \
--proxy-lua-script=/usr/local/share/mysql-proxy/rw-splitting.lua
;;
stop)
killall mysql-proxy
;;
*)
echo "Usage: mysql-proxy {start|stop}"
exit 1
esac

chmod +x /etc/init.d/mysql-proxy

参数解释：
--proxy-address=:3306 代理监听在本机所有 IP 的 3306 端口。
--proxy-backend-addresses=192.168.0.9:3306 写入操作连接 master - 192.168.0.9 的 3306 端口。
--proxy-read-only-backend-addresses=192.168.0.10:3307 读取操作连接 slave - 192.168.0.10 的 3307 端口。
--proxy-lua-script=/usr/local/share/mysql-proxy/rw-splitting.lua 使用的读写分离脚本。

因为 MySQL-Proxy 还是 Alpha 版的，实际使用中并不稳定，运行一段时间后 mysql-proxy 的进程就会死掉。
所以，用 daemontools 来管理 mysql-proxy 进程比较保险。

在 Redhat 9 和 CentOS 3.x 上用源码编译安装 daemontools 是可以的，但在 CentOS 4.x 上就不行了。
可以下载 RPM 包安装：
http://www.qmail.org/rpms/daemontools.html
http://untroubled.org/supervise-scripts/

wget http://www.qmail.org/rpms/RPMS/daemontools-0.76-112memphis.i386.rpm
wget http://untroubled.org/supervise-scripts/supervise-scripts-3.5-1.noarch.rpm

rpm -Uvh daemontools-0.76-112memphis.i386.rpm supervise-scripts-3.5-1.noarch.rpm

注意：
Daniel J. Bernstein 的软件包不是依照 FHS(Filesystem Hierarchy Standard) 标准创建的。
rpm -ql daemontools 可以看到那“怪异”的文件分布状况。

安装 supervise-scripts 包会在 /etc/inittab 的 si::sysinit:/etc/rc.d/rc.sysinit 行下添加如下两行：
SV:2345:respawn:/usr/bin/svscan-start /service
SX:S016:wait:/usr/bin/svscan-stopall /service

重新检查 /etc/inittab 文件：
telinit q

应该可以看到 svscan 进程了：
ps -ef | grep svscan
root 2269 1 0 21:25 ? 00:00:00 svscan /service

创建 mysql-proxy 运行脚本：
mkdir /service/mysql-proxy
vi /service/mysql-proxy/run

#!/bin/sh
export LUA_PATH=/usr/local/share/mysql-proxy/?.lua
/usr/local/sbin/mysql-proxy \
--proxy-address=:3306 \
--proxy-backend-addresses=192.168.0.9:3306 \
--proxy-read-only-backend-addresses=192.168.0.10:3307 \
--proxy-lua-script=/usr/local/share/mysql-proxy/rw-splitting.lua

chmod 755 /service/mysql-proxy/run

马上就可以看到 mysql-proxy 进程被启动了，并且是由 supervise 管理的：

ps -ef | grep mysql-proxy
root 2309 2269 0 21:27 ? 00:00:00 supervise mysql-proxy
root 29442 29441 32 21:27 ? 00:00:00 /usr/local/sbin/mysql-proxy --proxy-address=:3306 --proxy-backend-addresses=192.168.0.9:3306 --proxy-read-only-backend-addresses=192.168.0.10:3307 --proxy-lua-script=/usr/local/share/mysql-proxy/rw-splitting.lua

杀死 mysql-proxy 进程再查看：

killall mysql-proxy
ps -ef | grep mysql-proxy
root 2309 2269 0 21:27 ? 00:00:00 supervise mysql-proxy
root 29640 29639 36 21:31 ? 00:00:01 /usr/local/sbin/mysql-proxy --proxy-address=:3306 --proxy-backend-addresses=192.168.0.9:3306 --proxy-read-only-backend-addresses=192.168.0.10:3307 --proxy-lua-script=/usr/local/share/mysql-proxy/rw-splitting.lua

可以看到，mysql-proxy 进程依然还在，不过 PID 已经变了。

iconv 解决 MySQL 乱码问题

Bluedata — Thu, 27 Jul 2006 09:03:13 +0000

从 Windows 下的 MySQL 导出的 sql 文件再导入到 Linux 下的 MySQL ，所有字段的中文内容都变成了乱码。

$ file -i sql1.sql
sql1.sql: text/plain; charset=utf-8

发现 sql 文件的编码是 utf-8 ，这与 Linux 下 MySQL 数据库默认的 gbk 编码不相符。

$ iconv -f utf-8 -t gbk -o sql2.sql sql1.sql
生成编码为 gbk 的 sql 文件再导入就可以了。

不过，发现个问题：
$ file -i sql2.sql
sql2.sql: text/plain; charset=unknown

看来，file 不支持 gbk 编码。

mtop 实时监控 MySQL

Bluedata — Mon, 17 Jul 2006 03:30:52 +0000

Requires the following perl modules:

    Module             Available At
    ------------     --------------------------------------------------------
    Curses              http://cpan.linuxforum.net/authors/id/G/GI/GIRAFFED
    DBI                  Distributed as Bundle::DBI: http://www.cpan.org/authors/id/TIMB
    DBD::mysql        http://www.cpan.org/modules/by-module/DBD
    Getopt::Long     (Distributed with Perl 5)
    Net::Domain      Part of libnet: http://www.cpan.org/authors/id/GBARR

# perl -e 'use Curses'
# perl -e 'use DBI'
# perl -e 'use DBD::mysql'
# perl -e 'use Getopt::Long'
# perl -e 'use Net::Domain'

没有输出就是模块已经安装了，有错误就是相应的模块没有安装。
可以在上面给出的地址下载相应模块的最新版本。

安装所需的 Perl 模块：
# tar zxvf Curses-x.xx.tar.gz
# cd Curses*
# perl Makefile.PL
# make
# make install

yum 仓库里有 perl-DBI ，所以直接 yum 安装，
# yum -y install perl-DBI

因为是编译安装的 MySQL ，所以需要把 lib 的路径加入 ld.so.conf ，
# vi /etc/ld.so.conf
/usr/local/mysql/lib/mysql
# ldconfig

虽然 yum 仓库里有 perl-DBD-MySQL ，但其依赖 mysql ，所以还是编译安装，
# tar zxvf DBD-mysql-x.xxxx.tar.gz
# cd DBD-mysql*
# perl Makefile.PL --mysql_config=/usr/local/mysql/bin/mysql_config
# make
# make install

安装 mtop ：
# tar zxvf mtop-0.6.6.tar.gz
# cd mtop-0.6.6
# perl Makefile.PL
# make
# make install

添加相应的 MySQL 数据库用户：
# mysql -uroot -pPASSWORD
mysql> GRANT RELOAD,PROCESS,SUPER ON *.* TO 'mtop'@'localhost' IDENTIFIED BY 'mtop';
mysql> FLUSH PRIVILEGES;
mysql> exit

运行：
因为自定义了 mysql.sock 的位置，所以需要做个链接 mtop 才能运行，
# ln -s /var/run/mysqld/mysql.sock /tmp/mysql.sock

# mtop --dbuser=mtop --password=mtop

参考资料：http://mtop.sourceforge.net/

ProFTPD & MySQL 4.0 的超时中断连接问题

Bluedata — Thu, 18 May 2006 14:57:28 +0000

MySQL 的 interactive timeout 缺省设置为 28800 秒，这个值实在太大了，根据程序与数据库交互的状况把这个值改小了，结果使用 MySQL 4.0 的 ProFTPD 频繁断线。
SHOW PROCESSLIST;
发现操作 ProFTPD 数据库进程的运行时间在不停增加，直到达到 interactive timeout 参数定义的时间后才断开，这时，客户端与 ProFTPD 的连接也就断开了。

其它使用 MySQL 4.1 的 ProFTPD 没有这样的问题，看不到操作 ProFTPD 数据库的进程。（ProFTPD 的版本都是相同的）

也就是说，ProFTPD 使用 MySQL 4.0 验证用户时是建立的“持久”连接，只要客户端有操作就会去查询数据库，对客户端身份进行验证；而在使用 MySQL 4.1 时，只是在登陆时查询数据库验证身份，成功登陆后便由 ProFTPD 自己维护这个 session ，不再查询数据库了。

修改 MySQL 4.0 的 interactive timeout ，改为和 ProFTPD 设定的 TimeoutIdle 时间同一值后解决问题。