気づいたら年が明けた。
twitterやfacebookやらに情報を投げるようにしていると全然blogがかけなくなってしまうのは良くない傾向、ちょっとアウトプット先について見直したりするべきかもしれない。

さて、昨年末からうちのNASがそろそろ不調だなぁと思っていたところ、突然panicで落ちてしまって上がらなくなってきてしまった。シングルユーザモードでなら起動したので、dumpadmでクラッシュログを出すようにしてもう一度クラッシュするのを待って、クラッシュした後再度シングルユーザモードで/var/crash/マシン名/vmdump.0 (0のところは数字) ができているのを確認。savecore -vf /var/crash/マシン名/vmdump.0 /var/crash/ 的なことをしてvmcore.0とunix.0を生成する。
vmcore.0とunix.0ができたら、mdb -k vmcore.0 unix.0などしてmdbを起動してログを見る。シングルユーザモードだとmdbのページャが動かないので、頭に TERM=vt100;などとつけてやると良い感じ。

ログを一通りあさってみると、どうもrecursive mutex_enterなどというログが出ているのを見つける。調べてみると、
http://dlc.sun.com/osol/on/downloads/b136/on-changelog-b136.html
このあたりで、

BUG/RFE:6786704recursive mutex_enter from si3124:si_tran_reset_dport caused by bus reset

と、これっぽい問題が解決されている様子。うちのNASはopensolaris snv_134でそのままにしていたせいでこの問題を見事に踏み抜いたようだ。

ここからが面倒で、opensolaris snv_134などという古いものをそのままにしていたせいで、opensolaris.orgはもう無くなっているし、openindianaのhow to upgradeの通りに試してみてもpython関係の依存関係かエラーでアップグレードもできない。

そこで、大変おすすめできないのだけど、下記の方法でドライバを差し替えた。

** 以下の方法はうっかりすべてのデータを失うおそれもあります。 **

1. とりあえずopenindianaのlive DVDを落としてくる
2. VMWareでそのlive DVDから起動する
3. /kernel/drv/amd64/si3124をどうにかして取り出す(私は自分のサーバにアップロード)
4. シングルユーザモードで起動した状態で、壊れたサーバの/kernel/drv/amd64/si3124に書き込む。元ファイルは念のためバックアップを取る
5. 再起動

ちなみに、openindiana147のドライバで置き換えたところ、クラッシュまで一瞬時間が延びた気がするがやはり駄目。そこで最新のopenindiana151a8のドライバで置き換えたところ、クラッシュしなくなりアクセスできるようになった。つまり、si3124のドライバは最新のものでどうやらこの辺のバグをついにfixしきったということのようだ。

おそろしいことに、そのあとscrubをかけたところ、チェックサムエラーが山のように・・・。片っ端からディスクがDEGRADEしていって、最終的に全部の玉がDEGRADEしてしまったときの体調の悪さといったら、思い出すだに恐ろしい。

それでもzfsは全部のディスクからがんばってパリティを再生成してどうにかこうにかファイルを保全しようとしてくれる。もちろん欠損したファイルもすべてわかる。
欠損したファイルはzpool status -v tankと-vオプションをつければ一覧で得ることができるので、こういうことになった方はチェックしてみると良いだろう。

・・新年そうそうものすごく胃の痛い思い、ちょっとお祓いにでも行ってくることを検討したくなる。

そんなこんなで、全然更新していませんがunos.bizは死んだわけではないです。
今年もよろしくお願いいたします。

drobo proとVMWareでの実機試験中。都合によりSC430しか空きがなかったので、VMWare ESXi 3(3.5.0, 207095)とDELL Poweredge SC430(Intel Celeron 2.53GHz * 1)にて構築。

間に１つGbEのHUBが挟まっている環境で、iSCSI経由でdrobo proのボリューム(2TB)をマウント、そこに512GB(1MB block)のdatastoreを作成して、その中に32GBのVMを作成した。OSはとりあえずCentOS5.5(i386)。メモリは実装2GB中512MBを割り当てる設定。

OSをインストールして、bonnie++ 1.96をこの辺から拾ってきてインストール、実行してみると、これくらいの結果となった。

正直、このままだと相当遅い。ランダムが遅いのはともかくとして、シーケンシャルでこれはありえない。

で、調べてみるとこの辺に情報が。曰く、Block sizeは8MBにしないとパフォーマンスが出ないよとのこと。それではとボリュームストアをもう１つ作って(こちらは2048GB(8MB block))、そこに同じ物を同じようにインストールしてみた。結果はこちら。

うーん。。ある程度の改善は見られるが、write 27MB/sec rewrite 16MB/sec、Readが48MB/secと、about 85-100Mb/secなどという速度には遙か遠い。読み出しが速い分まだ救いがあるが、ストレージ用途には却って使いづらい。ダブルパリティのRAIDにしているからといって、それってどうなのさ、といいたい感じ。

以前書いたように、drobo proは１台のコンピュータからしかiscsi接続を受け付けない(試しにVMWareで接続中にWindowsから接続してみると認証エラーとなった)。iscsi接続をしていないとdrobo dashboardは動かない(接続準備完了、の画面から進まない)ので、アラートを受け取ることが難しいし、ボリュームの管理もできない。これもちょっとではなく使いづらい。

当初の目論見と違う使い方のほうが都合がよさそうで、もう少し使用法は検討してみる必要がある。場合によっては適当なNASアダプタにUSBでぶら下げてNAS化してしまうのもアリかもしれぬ。だいぶ筐体が大きい割にかっこわるい話ではあるが。もしくはWindowsServer+HyperVというのも手か。

追って調査。

drobo proをVMWareのストレージ用に購入した。早速いじってみたのだが、時間がないのでざくっとレポート。

・proはeliteと違ってiSCSIの設定項目は無い
作成したボリュームがそのまま認証不要で使用可能になる。よってセキュリティが確実でないネットワークで使うわけにはいかなそう。iSCSI用セグメントをつくるべし。ちなみにこのせいかどうかはさておき、proにはVMWare ready certificateはない。

・ボリューム変更は再起動
これは割と落とし穴。ボリュームを削除したり追加するたびに再起動が必要なので、VMWareから使うときは色々気をつかう必要がある。

・BeyondRAIDは結構強固
思い切り簡単なトーチャテストしかしていないが、ダブルパリティに設定後ボリュームを作ってそこに数GBのファイルをiSCSI経由でコピー、コピー中にディスクを１本抜いて少々待ってからもう１本抜いて、その２本を入れ替えて差し込んでリビルドが再開されることを確認したのと、正常状態からディスクを１本抜いて、リビルド中に再度突っ込んでみるということを試してみた。いずれも問題なく認識、データの破損はない。まだ試したいことはあるけれどそれなりに信用していいのではないかと思う。

・転送レートはぼちぼち
NTFS、FAT32いずれでフォーマットしたところで転送レートはさほど変わらず下記のとおり。Windows7よりMS純正iSCSIイニシエータで接続したボリュームにCrystalDiskMark3.0 x64を使って測定。ネットワークはクライアント、droboともにGbE接続、間にはcoregaの安いHUBが挟まっている。Jumbo frameは使っていない。droboはWD20EARS(2TB)が5本、ダブルパリティ。

■NTFS
           Sequential Read :    81.386 MB/s
          Sequential Write :    46.765 MB/s
         Random Read 512KB :    26.711 MB/s
        Random Write 512KB :    22.536 MB/s
    Random Read 4KB (QD=1) :     0.542 MB/s [   132.4 IOPS]
   Random Write 4KB (QD=1) :     0.821 MB/s [   200.3 IOPS]
   Random Read 4KB (QD=32) :     1.397 MB/s [   341.0 IOPS]
  Random Write 4KB (QD=32) :     0.799 MB/s [   195.1 IOPS]


■FAT32
           Sequential Read :    52.293 MB/s
          Sequential Write :    45.468 MB/s
         Random Read 512KB :    28.503 MB/s
        Random Write 512KB :    22.409 MB/s
    Random Read 4KB (QD=1) :     0.596 MB/s [   145.5 IOPS]
   Random Write 4KB (QD=1) :     0.752 MB/s [   183.5 IOPS]
   Random Read 4KB (QD=32) :     1.661 MB/s [   405.5 IOPS]
  Random Write 4KB (QD=32) :     0.745 MB/s [   182.0 IOPS] 

・総評として

割と良い買い物だったように思う。追ってVMWare ESXiにて試験してレポートしたい。

・追記2010/11/27:

複数のホストから同時につなげない様子。正直ZFSを期待したら負け。