2012年12月24日月曜日

DRBD 8.4.x  設定(初回フル同期スキップ)

前回作成したRPMをインストールし、設定を行っていきます。


(注意)OSインストール時にパーティションを切る場合、DRBDで利用する領域は”未割り当て”
    な状態としておく必要があります     
    →マウントポイントを作成しない or フォーマットもしない”空き領域”としておきます
    

今回の検証環境は、VMware上に稼動系と待機系の2台を用意して行っています。

■稼動系
ホスト名: node01
OS: CentOS6.3(x86_64)
DRBD: Ver8.4.2
OS領域: /dev/sda
DRBD領域: /dev/sdb
ネットワークインターフェース: 3つ

■待機系
ホスト名: node01
OS: CentOS6.3(x86_64)
DRBD: Ver8.4.2
OS領域: /dev/sda
DRBD領域: /dev/sdb
ネットワークインターフェース: 3つ



<構成概要図>


インストール

●node01とnode02で実施

# rpm -ivh *.rpm
Preparing...                ########################################### [100%]
   1:drbd-utils             ########################################### [ 17%]
   2:drbd-bash-completion   ########################################### [ 33%]
   3:drbd-pacemaker         ########################################### [ 50%]
   4:drbd-udev              ########################################### [ 67%]
   5:drbd                   ########################################### [ 83%]
   6:drbd-km-2.6.32_279.19.1########################################### [100%]
#


※ここでインストールしたdrbd-bash-completionパッケージにより、drbdadmコマンドのサブコマンドにTAB補完が効くようになるので以下のようにすると楽ができます。

# echo "source /etc/bash_completion.d/drbdadm" >> ~/.bash_profile
# source ~/.bash_profile




DRBD領域の用意

●node01とnode02で実施
※以下では、/dev/sdbを全てDRBDの領域に割り当てています

# fdisk /dev/sdb
Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel
Building a new DOS disklabel with disk identifier 0xa235ee65.
Changes will remain in memory only, until you decide to write them.
After that, of course, the previous content won't be recoverable.

Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)

WARNING: DOS-compatible mode is deprecated. It's strongly recommended to
         switch off the mode (command 'c') and change display units to
         sectors (command 'u').

Command (m for help): n    ←★新しいパーティションを作成
Command action
   e   extended
   p   primary partition (1-4)
p                 ←★プライマリパーティションとして指定
Partition number (1-4): 1       ←★パーティションの1番目を指定
First cylinder (1-652, default 1):  ←★そのままEnterを押す
Using default value 1
Last cylinder, +cylinders or +size{K,M,G} (1-652, default 652): ←★そのままEnter
Using default value 652

Command (m for help): p    ←★作成したパーティションを確認表示

Disk /dev/sdb: 5368 MB, 5368709120 bytes
255 heads, 63 sectors/track, 652 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0xa235ee65

   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1               1         652     5237158+  83  Linux

Command (m for help): w    ←★問題なければディスクに書き込み
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.
#



設定ファイルの作成

●node01とnode02で実施
※以下は、最低限必要となるパラメータで作成しています
※パラメータの説明はここではしませんので、man 5 drbd.confやドキュメントで確認してください

/etc/drbd.d/global_common.conf:


global {
        usage-count no;
}
common {
        net {
                protocol C;
        }
        syncer {
                rate 100M;
        }
}




/etc/drbd.d/r0.res:


resource r0 {
  volume 0 {
     device    minor 0;
disk      /dev/sdb1;
  meta-disk internal;
   }
on node01 {             ←★"uname -n"の値をon以下に指定
address   10.0.0.91:7789;
}
on node02 {
address   10.0.0.92:7789;
}
}





metaデータの領域を作成

●node01とnode02で実施
もし、「'r0' not defined in your config (for this host).」のようなエラーが表示されたら、
 設定ファイルに”uname -n”で出力されたホスト名を指定しているか再確認を


# drbdadm create-md r0 (もしくは drbdadm create-md r0/0)
Writing meta data...
initializing activity log
NOT initializing bitmap
New drbd meta data block successfully created.
#



DRBDの起動

●node01とnode02で実施

# /etc/rc.d/init.d/drbd start
Starting DRBD resources: [
     create res: r0
   prepare disk: r0
    adjust disk: r0
     adjust net: r0
]
.....
#

この作業後、DRBDの状態を確認すると

[root@node01 ~]# cat /proc/drbd
version: 8.4.2 (api:1/proto:86-101)
GIT-hash: 7ad5f850d711223713d6dcadc3dd48860321070c build by user01@node01.example.com, 2012-12-22 01:11:07
 0: cs:Connected ro:Secondary/Secondary ds:Inconsistent/Inconsistent C r-----
    ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:5236960
[root@node01 ~]#

もしくは、

[root@node01 ~]# drbd-overview
  0:r0/0  Connected Secondary/Secondary Inconsistent/Inconsistent C r-----
[root@node01 ~]#



となる。



初回フル同期スキップを実施

●どちらかのノードで実施(以下では、node01で実施)
※DRBDは、初回利用時に各ノードのDRBD領域をフル同期する必要があるが、同期する容量
 によっては同期が完了するまでに非常に時間がかかってしまうので、、ここではフル同期を
 スキップさせる方法をとってみる。
なお、このスキップの方法はver8.4系のものなので、それ以外のバージョンを利用する場合は、
 そのバージョンのドキュメントを確認してください

[root@node01 ~]# drbdadm new-current-uuid --clear-bitmap r0/0



この作業後、DRBDの状態を確認すると

[root@node01 ~]# cat /proc/drbd
version: 8.4.2 (api:1/proto:86-101)
GIT-hash: 7ad5f850d711223713d6dcadc3dd48860321070c build by toshiaki@node01.do-style.com, 2012-12-22 01:11:07
 0: cs:Connected ro:Secondary/Secondary ds:UpToDate/UpToDate C r-----
    ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0
[root@node01 ~]#

もしくは、

[root@node01 ~]# drbd-overview
  0:r0/0  Connected Secondary/Secondary UpToDate/UpToDate C r-----
[root@node01 ~]#


となる。
 →DiskのStatusが、InconsistentからUpToDateな状態へ遷移する


(余談)初回フル同期スキップをver8.3の時のようにをvolume idを指定しないで実施した
    ところ以下のようなエラーが表示された。

[root@node01 ~]# drbdadm new-current-uuid --clear-bitmap r0
new-current-uuid requires a specific volume id, but none is specified.
Try 'new-current-uuid minor-<minor_number>' or 'new-current-uuid r0/<vnr>'
[root@node01 ~]#

ドキュメントには<resouce>としか書いてないので、不親切ですね。



DRBD領域のマウントまで

●稼動系にしたいノードで実施(以下では、node01で実施)
※DRBD領域を/dataにマウントする


[root@node01 ~]# drbdadm primary r0
[root@node01 ~]# mkfs.ext4 /dev/drbd0  ←★ext4でフォーマット
mke2fs 1.41.12 (17-May-2010)
Filesystem label=
OS type: Linux
Block size=4096 (log=2)
Fragment size=4096 (log=2)
Stride=0 blocks, Stripe width=0 blocks
327680 inodes, 1309240 blocks
65462 blocks (5.00%) reserved for the super user
First data block=0
Maximum filesystem blocks=1342177280
40 block groups
32768 blocks per group, 32768 fragments per group
8192 inodes per group
Superblock backups stored on blocks:
        32768, 98304, 163840, 229376, 294912, 819200, 884736

Writing inode tables: done
Creating journal (32768 blocks): done
Writing superblocks and filesystem accounting information: done

This filesystem will be automatically checked every 26 mounts or
180 days, whichever comes first.  Use tune2fs -c or -i to override.
[root@node01 ~]#
[root@node01 ~]# tune2fs -c 0 -i 0 /dev/drbd0
tune2fs 1.41.12 (17-May-2010)
Setting maximal mount count to -1
Setting interval between checks to 0 seconds
[root@node01 ~]#
[root@node01 ~]# mkdir /data
[root@node01 ~]# mount /dev/drbd0 /data
[root@node01 ~]#
[root@node01 ~]# df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/sda3              18G  1.3G   16G   8% /
tmpfs                 939M     0  939M   0% /dev/shm
/dev/sda1             194M   63M  122M  34% /boot
/dev/drbd0            5.0G  138M  4.6G   3% /data
[root@node01 ~]#
[root@node01 ~]# drbd-overview
  0:r0/0  Connected Primary/Secondary UpToDate/UpToDate C r----- /data ext4 5.0G 138M 4.6G 3%
[root@node01 ~]#








2012年12月16日日曜日

DRBD 8.4.x RPM作成

2014/08/04追記: 「DRBD 8.4.x コミュニティバイナリでセットアップ」も参照ください



今回の環境は、CentOSの6.3です。
CentOS5.xではextrasに存在していたはずのdrbd8xパッケージが(探し方が悪いのか)見つからないので、自分で作る事にしました。

以下、その手順(ドキュメントはここ)。


事前準備


今回、RPMを作成するにあたり、以下のパッケージが必要だったので、事前にインストールした。

・flex
・kernel-devel
・libxslt



SPECファイルの作成


RPMを作成するにあたり、極力必要のないパッケージは作りたくないし、インストールもしたくないので先にSPECファイルを作成する。
※自分には、drbd-xenパッケージが必要ない


[user01@node01 ~]$ wget http://oss.linbit.com/drbd/8.4/drbd-8.4.2.tar.gz
[user01@node01 ~]$ tar zxf drbd-8.4.2.tar.gz
[user01@node01 ~]$ cd drbd-8.4.2
[user01@node01 drbd-8.4.2]$ ./configure --enable-spec --with-km

(snip)

config.status: creating drbd.spec
config.status: creating drbd-km.spec
config.status: creating drbd-kernel.spec
[user01@node01 drbd-8.4.2]$


これで、3つのspecファイルが生成される。



カーネルモジュール以外のRPMの作成



[user01@node01 drbd-8.4.2]$ cd ..
[user01@node01 ~]$ cp drbd-8.4.2.tar.gz rpmbuild/SOURCES/
[user01@node01 ~]$ rpmbuild --define="dist .el6" --without xen \
> -bb drbd-8.4.2/drbd.spec

(snip)

Wrote: /home/toshiaki/rpmbuild/RPMS/x86_64/drbd-8.4.2-2.el6.x86_64.rpm
Wrote: /home/toshiaki/rpmbuild/RPMS/x86_64/drbd-utils-8.4.2-2.el6.x86_64.rpm
Wrote: /home/toshiaki/rpmbuild/RPMS/x86_64/drbd-udev-8.4.2-2.el6.x86_64.rpm
Wrote: /home/toshiaki/rpmbuild/RPMS/x86_64/drbd-pacemaker-8.4.2-2.el6.x86_64.rpm
Wrote: /home/toshiaki/rpmbuild/RPMS/x86_64/drbd-heartbeat-8.4.2-2.el6.x86_64.rpm
Wrote: /home/toshiaki/rpmbuild/RPMS/x86_64/drbd-bash-completion-8.4.2-2.el6.x86_64.rpm
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.mLoAdQ
+ umask 022
+ cd /home/toshiaki/rpmbuild/BUILD
+ cd drbd-8.4.2
+ rm -rf /home/toshiaki/rpmbuild/BUILDROOT/drbd-8.4.2-2.el6.x86_64
+ exit 0
[user01@node01 ~]$




カーネルモジュールを含むRPMの作成



[user01@node01 ~]$ rpmbuild --define="dist .el6" -bb drbd-8.4.2/drbd-km.spec

(snip)

Wrote: /home/toshiaki/rpmbuild/RPMS/x86_64/drbd-km-2.6.32_279.14.1.el6.x86_64-8.4.2-2.el6.x86_64.rpm
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.hGEqVw
+ umask 022
+ cd /home/toshiaki/rpmbuild/BUILD
+ cd drbd-8.4.2
+ rm -rf /home/toshiaki/rpmbuild/BUILDROOT/drbd-km-8.4.2-2.el6.x86_64
+ exit 0
[user01@node01 ~]$




以上で、今後の作業に必要なRPMが作成できた。


[user01@node01 ~]$ ls -l rpmbuild/RPMS/x86_64/
total 2368
-rw-rw-r-- 1 user01 user01   25670 Dec 15 17:47 drbd-8.4.2-2.el6.x86_64.rpm
-rw-rw-r-- 1 user01 user01    5917 Dec 15 17:47 drbd-bash-completion-8.4.2-2.el6.x86_64.rpm
-rw-rw-r-- 1 user01 user01    7822 Dec 15 17:47 drbd-heartbeat-8.4.2-2.el6.x86_64.rpm
-rw-rw-r-- 1 user01 user01 1973374 Dec 15 17:49 drbd-km-2.6.32_279.14.1.el6.x86_64-8.4.2-2.el6.x86_64.rpm
-rw-rw-r-- 1 user01 user01   22448 Dec 15 17:47 drbd-pacemaker-8.4.2-2.el6.x86_64.rpm
-rw-rw-r-- 1 user01 user01    4626 Dec 15 17:47 drbd-udev-8.4.2-2.el6.x86_64.rpm
-rw-rw-r-- 1 user01 user01  371090 Dec 15 17:47 drbd-utils-8.4.2-2.el6.x86_64.rpm
[user01@node01 ~]$

2012年12月10日月曜日

CentOS5でrsyslog ver7.xを使う

rsyslog ver7.2.3のリリースノートを覗いたらRPMのリポジトリが用意されたようなので、利用してみる。
なお、今回の環境はCentOS5.8で、普通のsyslogが稼動している状態から検証している。

以下、その手順。


リポジトリの作成


ここの記述どおりに、/etc/yum.repos.d/rsyslog.repo として 作成した。



インストール


[root@cent5 ~]# yum install rsyslog
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
 * base: www.ftp.ne.jp
 * extras: www.ftp.ne.jp
 * updates: www.ftp.ne.jp
Setting up Install Process
Resolving Dependencies
--> Running transaction check
---> Package rsyslog.i386 0:7.2.3-1.el5.centos set to be updated
--> Processing Dependency: libjson.so.0 for package: rsyslog
--> Processing Dependency: libestr.so.0 for package: rsyslog
--> Processing Dependency: libee.so.0 for package: rsyslog
--> Running transaction check
---> Package json-c.noarch 0:0.9-4.el5.centos set to be updated
---> Package libee.i386 0:0.4.1-1.el5.centos set to be updated
---> Package libestr.i386 0:0.1.3-1.el5.centos set to be updated
--> Finished Dependency Resolution

Dependencies Resolved

========================================================================
 Package           Arch             Version                         Repository            Size
========================================================================
Installing:
 rsyslog           i386             7.2.3-1.el5.centos              rsyslog_v7           885 k
     replacing  sysklogd.i386 1.4.1-46.el5

Installing for dependencies:
 json-c            noarch           0.9-4.el5.centos                rsyslog_v7            37 k
 libee             i386             0.4.1-1.el5.centos              rsyslog_v7            22 k
 libestr           i386             0.1.3-1.el5.centos              rsyslog_v7           7.9 k

Transaction Summary
========================================================================
Install       4 Package(s)
Upgrade       0 Package(s)

Total size: 952 k
Total download size: 922 k
Is this ok [y/N]: y
Downloading Packages:
(1/2): json-c-0.9-4.el5.centos.noarch.rpm                               |  37 kB     00:00
(2/2): rsyslog-7.2.3-1.el5.centos.i386.rpm                              | 885 kB     00:02
-------------------------------------------------------------------------
Total                                                          181 kB/s | 922 kB     00:05
Running rpm_check_debug
Running Transaction Test
Finished Transaction Test
Transaction Test Succeeded
Running Transaction
  Installing     : libestr                                                                 1/5
  Installing     : libee                                                                   2/5
  Installing     : json-c                                                                  3/5
  Installing     : rsyslog                                                                 4/5
  Erasing        : sysklogd                                                                5/5

Installed:
  rsyslog.i386 0:7.2.3-1.el5.centos

Dependency Installed:
  json-c.noarch 0:0.9-4.el5.centos                libee.i386 0:0.4.1-1.el5.centos
  libestr.i386 0:0.1.3-1.el5.centos

Replaced:
  sysklogd.i386 0:1.4.1-46.el5

Complete!
[root@cent5 ~]#



起動


後は起動するだけだが、”-c”オプションがobsoleteになっている(man rsyslogdで確認を)ようで、単純に起動すると以下のようにerrorがでる。

[root@cent5 ~]# /etc/rc.d/init.d/rsyslog start
Starting system logger: rsyslogd: error: option -c is no longer supported - ignored
                                                           [  OK  ]
[root@cent5 ~]#


なので、/etc/sysconfig/rsyslogの記述を以下のように修正し、rsyslogを再起動する。

SYSLOGD_OPTIONS=""


(備考)


なお、/etc/rsyslog.confは特にいじらなくても普通に起動できるが、v6 formatというのもあるらしい。
こちらはおいおい・・・