仮想サーバ構築日記
仮想サーバ構築日記
|
2013年に、宅内の根幹となる仮想ホストのサーバをリニューアルして、2年半。特に不満はないのだけど、ふとしたことから構成を一気に見直す機運が高まった・・。ふとしたこととは、10GbE NICを買ったことなのだが・・。 デグレが発生し始めているが、6年経過したHDD/SDDの健康状態を、今後の参考に振り返りたい。    まず、起動ドライブのSeagate Nytro。これは、2019年11月にIntel SSDから交換しているので、まだ稼働3年の状態。このような状態なので、性能・健康状態ともに絶好調となっている。推定残り寿命は755日以上で、元々の寿命は5年くらいで設定されているのかもしれない。    続いてOSのvDiskを格納しているNVMeのSSD、Intel 7600p。これも、当初使っていたPlextorのSSDがRAW化したため、2020年6月に交換している。ただ、交換したドライブは元々会社用のPCで使用していたもので、交換時点でも1年間くらい酷使されていた。交換時点での使用時間は50日程度。そこから2年少々使用して、性能は絶好調で、健康状態は絶好調だが94%となっている。推定残り寿命は837日で、こちらもそもそもの寿命が5年程度のようだ。     そして、SMARTが真っ赤で警告が出ているWDのヘリウム入りHDD。性能は絶好調だが、健康状態は16%の不調となっている。ご臨終の直前なのだろうか。262の不良セクターが発生しているが、きちんと代替処理がされているようだ。セルフテストでも3の不良セクターが見つかっている。代替処理はデグレの一回目の6月下旬と、二回目の10月初旬に跳ね上がっている。  その他、もう一台代替処理が起きているWDのヘリウムドライブ。しかし、これは2019年11月に4つ発生して以降、増加していない。気になる、6年使用後のヘリウムの充填状態だが、問題ないようだ。Hellium Containment Status[22]はOKとなっている。どのドライブも生の値は64だ。 こうして振り返ると、6年稼働し続けたHDDのうち、1/5がエラーが出て死んでしまったことになる。母数が少ないので何とも言えないが、こんなものなのだろうか。もうすぐ新しいサーバに更新する予定だが、やはり、5年前後で4-5台のうち1台は脱落すると想定した方が無難そうだ。 また、SSDについても、寿命は5年程度で想定して運用した方が安心できそうだ。 翌朝、出社前にリビルドの状況を確認。まだ1時間程度時間を要しそうだ。 ここで、あらためてStorage Managerのログや、HDD Sentinelのステータスを見返したら、あらたな事実が判明した。 [Rebuild]中のHDDは、なんと前回SMART異常を発し、RAIDから切り離したHDDとシリアルが一致する。 そして、Unconfigured Badで今現在RAIDから切り離されたHDDは、SMART上は異常は見当たらない。 恐らく、何らかのイベントでSMART上は正常なHDDがUnconfigured Badで切り離され、切り離していたHDDがスペア扱いでリビルド対象として再びRAIDに加わったようだ。 リビルド中のHDDのSMARTはボロボロで、不良セクターが多発している。ここでリビルドが走り全面走査し、RAIDグループの一員として稼働すれば、すぐにまたデグレ状態に陥ってしまうだろう・・。 夜になって自宅に帰ると、リビルドは完了していたが、再びアラート音が鳴り響いていた。これを何とかできないか・・と設定を見直したら、[Silent Alerm]を選択すると、一時的に警告音を止めるだけだが、[Disable Alerm]を選択すると、Enableにしない限り警告音は発さなくなることが分かった。 続いて、[Unconfigured Bad]にマークされた正常なHDDを、RAIDグループのスペアドライブとして登録する。 これが結構悩んだ。   まずは右クリックから[Change to Unconfigured Good]を選択。これで[Unconfigured Good]には変わったが、ここからの操作が限定されていて、先に進めない。右クリックで選べる項目のうち関連しそうなのは[Drive Erase]くらい。これを選ぶと、消去の3択の画面が表示される。しかし、1/3/9passの3択で、どれも時間がかかりそうだし、どこかのサーバメーカーのStorage Managerのマニュアルを参照していたら、[Drive Erase]は選ばないように記載されていた。   悩みつつ、Webで色々な情報を収集すると、ヒントが見つかった。HDDに残っているRAID構成情報のImport/Clearの操作についての情報だ。それを参考に、コントローラを右クリックして表示されるプルダウンから、[Scan Foreign Configuration]を選択した。   すると、Foreign DriveをImportするか、Clearするかの確認画面が表示された。 [Clear]を選択すると、最終確認おメッセージが表示される。一歩間違えるとRAID構成を消失しかねない、重要な操作だ。   暫し悩んだが、意を決し、[Confirm]をチェックし、Yesを押す。すると、Clearが成功したメッセージが表示される。すると、Storage Managerのツリー表示の該当ドライブから、(Foreign)の記載が消えた。ここまでいくと、右クリックメニューから、ホットスペアの割り当てができるようになる。[Assign Global Hot Spare]を選択すると、RAIDグループのグローバルホットスペアに、ドライブが追加された。 よかった、よかった。    この後、SMARTがメタメタなHDDをRAIDから切り離し、スペアドライブで再度リビルドを行うのか、サーバの移行までこのままで運用するのか、悩ましいところだ・・。 更新・構築予定の新しい仮想基盤。SupermicroのマザーボードRMAの進展が思わしくなく、なかなか先に進まない。 そんな折、一泊出張から0時近くに帰宅すると、聞きなれた警告アラート音が自室から鳴り響いている。 またか！  不安は的中。仮想基盤のRAIDコントローラから発せられている。デグレだ！ けたたましく煩いが、警告表示などのスクリーンショットを撮りながら、ゆっくりと対応。エラーメッセージはやはりデグレと表示されている。 Storage Managerからコントローラを選択し、アラート音を停止する。   一体、どのHDDが死んでしまったのか・・。HDD Sentinelを起動し、各HDDのSMARTステータスを確認する。一台、確かに真っ赤になっているHDDがある。 しかし、一台は元々、数か月前のデグレで切り離したHDDの筈だ。おかしいな？   Storage Managerで見ると、RAID構成の4つのHDDの一つに時計アイコンが表示され、[Rebuild]と記載されている。やっぱり、リビルドが走っているような・・。 でも、真っ赤なSMARTのHDDはRAIDから切り離したはずで、何故そのHDDの異常で、再度リビルドが走るのか？しかも、[Rebuild]と表記されているHDDは前回スペアから昇格してRAID構成に追加されたHDDだ。 ちなみに異常が発生したのはこの日の朝10時となっている。   全く理解できない。ダッシュボードでリビルドのステータスを見ると、完了は7-8時間ごとなっている。今晩一晩はかかりそうだ。イベントログを見返してもさっぱり分からない。この日は眠いので、調査は諦めてリビルドの完了を待つことにするが、キツネにつままれたような気分だ・・。 翌朝になってもリビルドはあと数%の状態で完了しておらず、仕事から帰宅したら、何故かまたRAIDコントローラからけたたましいBEEP音が。 また何か新しい障害か・・と慌ててMSMにログインしたが、特段変わった様子はない。 リビルドとっくに朝のうちに完了している。 赤警告のHDDが、リビルド完了したのにそのまま放置なので、警告がなったのか？  一応、障害の起きたHDDを切り離すことにする。 該当のHDDを選択し、右クリックで[Prepare for Removal]を選び、RAIDから切り離す。その後、アラーム音の停止処理を行う。  赤い警告マークは画面から消えて、正常な状態になった。これで、アラーム音が鳴ることはないだろう。サーバ更新までは、この状態で放置しておく予定だ。 それにしても、Supremicroのマザーは一体何時になったら発送されるのだろう・・。 日曜日。自室でPC作業をしていたら、突然けたたましいBEEP音が鳴り響く。な、なんだ、UPSか？と慌てるが、音が出ている方向が違う。棚上の仮想基盤のサーバの方から音が出ている。聞き覚えがあるぞ！これはRAIDコントローラのアラーム音だ！  すぐに仮想基盤の画面を開き、MSM（MegaRaid Storage Manager）のショートカットをダブルクリック。 ログインすると、いきなり警告のメッセージが！デグレだ！HDDが一台死んだのか？   管理画面を開くと、一台HDDが赤い丸が付いていて、Unconfigured Badの表示に。そして、別の一台が黄色の時計アイコンで、Rebuild、と表示されている。 1台のHDDがデグレでRAIDから外されたようだが、きちんとスペアドライブが代わりにRAIDに加わり、リビルドが始まったようだ。まずは少し安心。勿体ないかとも思ったが、スペアドライブを付けておいて良かった。  取り合えず落ち着いて、アラーム音の停止処理を行う。 MSMで[Go To] → [Controller] → [Silence Alarm]を選択する。これで、アラーム音は停止した。  HDD SentinelでHDDの状態を見てみると、1台真っ赤なディスクがある。ステータスを見ると、55の代替処理済みセクターが発生しているようだ。少しずつ増加した訳ではなく、今日、突如この数値になったようだ。ケーブル異常とかで偶発的にデグレになった訳ではなく、このHDDは本当に異常のようだ。使い回しは厳しそうだ。   リビルドは1日近くかかるようで、暫く放置するしか無さそう。  更新予定の仮想基盤は既に全パーツを手配済みで、あとは本丸のマザーボードの到着を待つのみ。この状態で交換用HDDを買う必要は無さそうなので、スペアドライブが昇格した状態で、サーバリプレスまで使い続けよう。 サーバ稼働からそろそろ6年。やはり、5年を超えると故障率は高まっていくんだな・・と、改めて痛感する。  ちなみに、代替処理済みセクターは、この日の午後には、155に増加していた。ご臨終一歩手前なのかもしれない。 ちょっと前から、iOSやmacOSのブラウザで、非SSLのWebサイトを表示すると、[安全ではありません]と表示されるようになった。 WebサイトをSSL対応しなければならないのだが、証明書の取得やら更新やら、手間とコストがかかりそうだ。Let's Encryptというフリーの証明書認証局がある・・というのも数年前から知っていたのだが、面倒そうでこれまで躊躇していた。 今回、お盆休みで時間がある・・ということもあり、この機械にトライしてみることにした。 まず、以下のサイトからWindows用のソフトウェアをダウンロードする。 https://github.com/Lone-Coder/letsencrypt-win-simple/releases  今回はリリース一覧の中から、[win-acme.v2.1.18.1119.x64.pluggable.zip]をダウンロード。pluggable版とtrimed版があり、違いはtrimmed版が最適化されたスリムバージョン、Pluggableが多くのプラグインが使えるように.NETランタイムも含んだバージョンのようだ。 ダウンロードしたzipファイルを、Webサーバにコピーして、解凍したファイルを適当なフォルダ（c:acme）に配置。 解凍したフォルダの中の、wacs.exeを、[管理者として実行する]で起動。 あとはコマンドプロンプトに表示されるメニューを選択して、インストールを進める。  適当なフォルダに解凍  [N]のCreate certificateを選択  [Terms of service]で[y]を選ぶと 使用許諾のpdfファイルを開こうとする  メールアドレスを入力し、[Adding Task..]と [created]が表示されることを確認 以上でインストールは完了。IISマネージャを確認し、証明書がインストールされているか確認。  サーバー証明書を確認  バインドをクリック  443ポートが追加されていることを確認  SSL証明書を確認  証明書更新のタスクが追加されていることを確認  ProgramData下に証明書の実態は格納 これでインストール作業は完了のはず。https://www.tc-engine.comにアクセスしてみる。 しかし、Webページが表示されない。 再度、wacs.exeを実行してセットアップしてみてもダメ。よくよく考えたら、ルータのポートフォワオードの設定が必要なことに気づく。  ルータの設定画面で443ポートを転送  httpsで通信可能になり、保護されていることを確認 ルータはPR-500KIなのだが、ポートフォワード設定を改めてみると、domain（DNS=53）の設定しかない。ちょっと調べてみると、古いファームウェアの設定画面だと、Webサーバを公開、の簡単設定があるので、最新のファームではそれがない。多分、簡単設定で設定してファームを更新すると、転送ポート一覧にWWWの80番が表示されないのかもしれない。これは一種のバグなんだろうな。 この設定画面で、443ポートの転送設定を施したら、問題なく、httpsでサイトが表示できた。 鍵アイコンをクリックすると、きちんと、[接続がセキュリティで保護されています]と表示された。 これで、念願だったWebサーバのSSL通信対応が完了した。 前回の続き。UbuntuでREGZA向けのファイル共有にトライする。巷では、このUbuntuを介して接続する方法を、プロキシ接続とか踏台とか呼ぶそうだ。確かに、その通りだな・・。 実は、2-3日試行錯誤があって、カット&トライを繰り返したが、最終完成系を記載する。 ＜固定IPアドレスを設定＞ ・システムメニュー->[設定]を開く ・[有線]->[IPv4]でIPアドレスを設定  ＜rootパスワードを設定＞ $ sudo passwd root ＜UbuntuからWindowsの共有フォルダをマウント＞ ・cifd-utilsをインストール $ sudo apt install cifs-utils ・マウント先のディレクトリを作成 $ sudo mkdir -p /mnt/video ・共有フォルダをマウント $ sudo mount -t cifs -o username=***,password=*** //192.168.1.5/video /mnt/video ・起動時自動マウント fstabファイルを編集する $ sudo vi /etc/fstab //192.168.1.5/video /mnt/video cifs username=***,password=***,rw,dir_mode=0777,file_mode=0777 0 0 ＜sambaをインストール＞ ・sambaをインストール $ sudo apt install samba  ＜アクセス権限の設定＞ $sudo chown nobody:nogroup /mnt/video $sudo chmod 777 /mnt/video ＜smb.confを編集＞ 最終的に、以下の形になる。 $ sudo vi /etc/samba/smb.conf [global] workgroup = WORKGROUP netbios name = ubuntu-VM unix charset = UTF-8 dos charset = CP932 guest account = nobody map to guest = Bad User unix extensions = no wide links = yes ntlm auth = yes server min protocol = NT1 wins support = yes local master = yes domain master = yes os level = 200 passdb backend = tdbsam load printers = no [REGZA] comment = REGZA REC create mask = 0777 directory mask = 0777 guest ok = yes guest only = yes path = /mnt/video public = yes writable = yes 設定の細かい部分の意味は分かってない部分も多いが、これで何とか接続することができた。不要な記述も含まれていると思う。 最後まで引っ掛かったのは、fstabのアクセス権限の設定で、これを追加すると、REGZAから認識されるようになった。（[rw,dir_mode=0777,file_mode=0777]のあたり・・） また、巷の記事を読むと、以下の辺りの設定が肝になっているようだ。 ・日本語のファイル名の文字化けに対処する unix charset = UTF-8 dos charset = CP932 ・CIFSのUNIX拡張をOFFにする unix extensions = no ・古いNTML v1通信ができるように設定 ntlm auth = yes server min protocol = NT1 以下の記述が必要、という記事も多かったが、これを記述していると、testparm（smb.confのエラーを確認するコマンド）でエラーが出ていたので、コメントアウトした。 # display charset = UTF-8 以上の設定で、ようやく、REGZAからLANハードディスクを探索すると、Ubuntuのファイル共有が表示されるようになった。  中の動画ファイルも一覧表示され、再生もできる。 ただ、期待していたレジューム再生はできない。プレビュー表示も遅い。   表示方法も、全て一覧か、曜日ごとの一覧（あまり意味がない・・）しか選べず、あとは昇順/降順の切替くらい・・。DLNAアクセスと比較して、明確なメリットは感じられなかった。 前々から試してみよう・・と思いつつ、面倒くさそうなのでなかなか踏み切れなかった、UbuntuでのREGZA向けファイル共有にトライすることにした。 やりたい事は・・ ・仮想基盤上にUbuntuのVMを構築 ・TVレコーダの録画先の共有フォルダをUbuntuにマウント ・マウントしたドライブをUbuntuでSamba共有 ・Ubuntuの共有を、REGZAからアクセスできるようにする となる。 現在、PT3ベースのTVレコーダで録画した動画ファイルは、仮想基盤上のDLNAサーバの共有フォルダに保存されている。REGZAからはDLNAアクセスで動画ファイルを再生するのだが、動画再生のレジューム機能が使えなかったり、ファイルの並び順がランダムだったり、使い勝手がイマイチだ。 SMB共有でのファイルアクセスであればこの辺りがある程度解消されるようなのだが、REGZAのSMB共有は、古いWindows7の頃のファイル共有しかサポートしていなくて、Windows 10や最新のWindows Serverの共有にアクセスさせるのは至難の業だ。 それならば、UbuntuなどのLINUXサーバのsamba共有を使って、Windowsサーバの共有にアクセスさせよう・・という事になる。 まずは、Ubuntuのインストール用ISOイメージをダウンロード。Ubuntuも、WindowsのLTSCのように長期サポート版が存在する。今回は、それ（Ubuntu 20.04.1 LTS）をダウンロード。  Hyper-V仮想基盤のマネージャで、新規のVMを作成し、インストールを試みる。  最初、起動用のISOファイルからのブートがうまくいかず陥ったが、セキュアブートが有効のためだった。これをOFFにして起動したところ、うまくセットアップすることができた。    Ubuntuが起動したので、ファイル共有に必要なセットアップを開始する。  （次回に続く） 仮想サーバは復旧できたので、RAW化したSSDを初期化することにした。しかし、フォーマットがいくら待っても完了しない。diskpartでパーテーションを削除してからやってもダメ。これはかなり重篤な死に方だったようだ。 これを教訓に、仮想サーバのVMのCドライブを集めたドライブ（つまり、今回換装したSSD）を、スケジュールバックアップすることにした。 使用するのはMS謹製のWindowsバックアップで、一定の条件を満たせば稼働中のオンラインバックアップもできるようだ。 Windowsバックアップのスケジュールのウイザードで、毎朝4:00にDドライブを、RAIDボリューム上にバックアップするように登録。翌朝ちゃんと動作し、20分ほどで完了していた。バックアップの世代管理はできないので、毎日丸ごと置き換わる。             ちなみに、バックアップウイザードではdailyが一番長い間隔の設定だが、タスクスケジューラの[Microsoft]⇒[バックアップ]にあるタスクの設定から、週一とか月一に変更することも可能だ。  オンラインバックアップについては、もう少し詳しく調べると、以下の条件を満たす仮想ホストについて対応していることが分かった。 1) ゲストOSがVSSバックアップに対応した統合サービスを実行しており、仮想マシンの設定で統合サービスの「バックアップ（ボリュームチェックポイント）」が有効になっていること 2) 仮想マシンに割り当てられている全ての仮想ハードディスクがNTFS形式でフォーマットされたベーシックディスクであること 3) 仮想マシンのゲスト側で全てのボリュームでVSSが有効になっていること 4) 仮想マシンのゲスト側でシャドウコピー用の記憶域がシャドウコピーの対象と同じボリュームに存在すること 1)については全VMが有効になっていることを確認した。 2)もそのようになっている。  3)についてはデータドライブのみ有効で、全てのボリューム・・にはなってない。 4)はVSSが有効になっているものについてはそうなっている。  本当にそうなのかな・・ともう少し調べると、上記はWindows Server 2012無印の頃のもののようで、富士通のServer 2016での資料を確認すると、 1) ゲストOSがVSSバックアップに対応した統合サービスを実行しており、仮想マシンの設定で統合サービスの「バックアップ（ボリュームチェックポイント）」が有効になっていること 2) 仮想マシンが使用しているすべてのディスクが、ゲスト OS 内で NTFS 形式 、ReFS 形式、 または ReFS v2 形式のベーシックディスクとして構成されていること 3) ゲスト OS が Linux の場合は、Linux 上の統合サービスがオンラインバックアップに対応していること に変わっている。VM内でのVSS有効については触れられていない。 また、オンラインバックアップ中の注意事項として、以下も記載されている。 ・オンラインバックアップを実施している間は、バックアップ元の構成されている VHD/VHDX ファイルごとに、チェックポイントファイルが作成される ・バックアップ実施中のディスクの更新はチェックポイントファイル側に書き込まれ、バックアップ完了後にマージ処理が実行され、チェックポイントファイルは削除される ・バックアップ元のディスクには、バックアップ実行中のディスク更新量以上の ディスクの空き容量が必要となり、最大で VHD/VHDX ファイルと同等の空き容量が必要になる これについては、バックアップに要する時間は20分程度で、システムパーテーションはほとんどデータの書き込みがないため、問題にはならないだろう。 実際にオンラインバックアップが動作しているのかは、バックアップの動作する早朝にサーバにアクセスしてみればいいのだが、仮にオンライン動作してないとしても、20分ほどサーバの動作が止まるだけなので、いずれにしても問題にはならない。 仮想サーバの再構築、その後の細かい調整、小トラブルを記載。 ・ドメインログオンできない カメラサーバに続き、VMではないファイルサーバとバックアップサーバでも同じ症状が発生。同様に、ドメイン離脱・再参加を行い事なきを得る。 ・Webサーバコンテンツをアップロード Webサーバのコンテンツが、昨年末の状態（正確に言うと11月あたり）にリセットされたので、再アップロード。パスワード認証付きのディレクトリが、何かの操作ミスか、別のディレクトリに移動されてしまい、再アップロード。そうしたら、アクセス権限が上位フォルダのものが継承されて、おかしくなってしまった。Windowsのフォルダのセキュリティ設定で、正しいアクセス権を設定し直す。 ・DHCPリース情報にBAD ADDRESS DHCPの設定を整理しようと眺めていたら、BAD ADDRESSという謎のエントリーを目にする。払い出したIPアドレスが同一セグメント内に重複していることに起因するらしい。 DHCPサーバの情報が半年前にロールバックしているので、このような事が起きてもおかしくはないだろう。 その後、DHCPの予約や、不要なリース情報を整理していたら、気がついたらこのBAD ADDRESSは消えていた。 ・空白期間中のDLNAサーバのコンテンツが非表示に TVからDLNAサーバにアクセスしてみたら、昨年12月から直近の録画コンテンツが表示されない。実際にデータはあるのだが、DLNAサーバ（TWONKY）に反映されていないようだ。 一度、サーバ内の動画ファイルを別の場所に移動し、TWONKYを再起動、その後、動画ファイルを元に戻し、もう一度TWONKYを再起動。これで動画ファイルがキチンと反映されるようになった。 RAW化したSSDの復旧は困難そうなので、昨年末にバックアップしたイメージファイルから、VMを再登録することにした。 まずは、新しいSSDの実装。昨日も書いた通り、ThinkPadに搭載されていた512GBのIntel製NVMe SSDを取り付けた。会社に置いてあるかと思ったら、自宅に保管していた。  RAW化したPlextorのSSD  交換するIntel 7600p SSD   マザーに実装  ファンを被せる 取り付け後、サーバを起動。SSDはきちんと認識された。ThinkPadで使っていたままのパーテーションが残っていて、ディスクの管理から削除することができなかったので、diskpartを使って全てのパーテーションを削除する。    CrystalDiskInfoのステータス 事前に既存のVMの情報を削除しておこうと、Hyper-Vマネージャを起動して確認すると、リストにはVMは何もアップされていなかった。 新規にパーテーションを作成して、バックアップしてあったVMとconfigをコピーする。このコピーしたVMはUSBハードディスクにバックアップしていたもので、昨年12月の日付で一番新しそうだ。 コピー後、Hyper-Vマネージャを起動すると、リストに無表示だったVMが表示されるようになっていた。試しに、VMの一つ起動してみたが、直後にエラーで止まってしまった。アクセス権絡みのエラーのようだ。   そこで、あらためてVMをリストから一度クリアして、再登録を行う。再登録自体は昨年末に仮想ハイパーバイザを更新した際に行なった手順と同一。       追加HDDのvhdxファイルの格納先を指定する    ただ、それでも、起動しようとすると、アクセス権絡みのエラー（一般のアクセスが拒否されました）が出る。 ちょっとググると、一度登録されているシステムの仮想HDDを削除して、再登録すると良い、というのでその通りにすると、確かに起動するようになった。 この手順で4つのVMを再登録。ようやく全てのVMが揃い、起動するようになった。 しかし、問題発生。ドメインコントローラとDLNAサーバは起動したが、何故かカメラサーバとWebサーバは、Windowsの修復のメニューが表示されてしまい、スタートアップしない。修復を進めてみたが、うまくいかずループに陥る。 仕方ないので、もう一月ほど古いイメージが仮想サーバのRAIDボリューム上にあったので、ここからVMの再登録を行う。 カメラサーバもWebサーバも起動するようになったが、カメラサーバの方は、ログオンに失敗する。 [このワークステーションとプライマリドメインとの信頼関係に失敗しました。] というメッセージだ。こちらもググって調べると、一度ドメインから離脱して、再参加すると良いと書かれている。ドメインのビルトインAadministratorならログインできたので、この状態でドメインから一旦離脱。再起動後ローカルadminでログオンして、ドメインに参加し直した。 この後、無事、ドメインユーザーでドメインログオンができるようになった。 最後に、各VMでWindows Updateをかける。 Webサーバなどの、一部データの更新や、ドメインコントローラのDHCPの設定など見直しが必要そうだが、取り敢えずの復元作業は完了した。 結局一晩待ってもそのままなので、強制電源断に踏み切った。 再起動して見てみたが、Dドライブは全く認識されない状態になっていた。ディスクの管理上は変わらずRAWの表示で、HDD SentinelやCDIでは、SMART情報は、な、なんと正常・・。なってこった・・。SMARTが正常でもこんなことになるのか・・。    仮想サーバをシャットダウンして、PlextorのSSDを抜き取る。以前、こんな時のために・・と買って置いた、NVMe-USB変換アダプタにSSDを装着し、別PCに挿す。状況はサーバと一緒で、RAWとしてしか認識されない。 パパっと検索すると、フリーウェアのTestDiskというソフトで、RAW化のパーテーション情報の復旧を行えることがある、というのを見つけたので、試してみる。 ソフトウェア一式をダウンロードして、その中のTestDisk.exeというのを起動する。             結果、パーテーションは認識されるが、中のデータはリスト化できない。 重症なのかもしれない。 この日は日曜日だが、日中仕事のため、一旦家を出て、戻ったら次の作業に挑んでみる。 ちなみに、SSDは復旧できたとしても交換は必至。しかし、来年には仮想サーバそのもののリニューアルを計画しており、一年のために不要な出費はしたくない。 何か流用できるものはないかな・・と記憶を辿ると、2か月ほど前に社用のThinkPadのSSDを交換しており、その際に余った512GBのIntelのNVMe SSDがある筈なのだが、見当たらない。会社に置いてあるのかもしれない。新しいSSDの実装は、週明けまでお預けだ。 それから、今回死んだSSDの中身は昨年末のシステムドライブの交換時にバックアップを取っているので、最悪その時まではデータを戻すことはできそうだ。 マイドキュメントやマイピクチャのデータの一部を失うことになるが、それでもダメージは最小限だ。 その後、帰宅してもう一度復旧にトライ。AomeiやEaseusも見てみたけど、有償版はサブスク仕様だったり、ちょっと胡散臭そうな感じもするので、Acronis Disk Directorの体験版を試してみた。    結果は、ダメ・・。見かけ上、ディスクやパーテーションは認識するが、中のファイルを確認しようとすると、エラーチェックをかけろ、とメッセージ。エラーチェック＆復元を走らせると、早々に失敗で終了。これは、復旧は無理なのかもしれない・・。 土曜日の夕刻、Internet閲覧をしていたら、突然頁が表示されなくなった。物理的にLANは認識しているが、Internet参照ができない状態。DNS参照ができないようだ。 ふと、頭上のパトライトを見上げると、赤点滅！仮想サーバに異常だ！ この赤点滅、仮想サーバ上の、DLNAのVMがping応答なしだと反応するようになっている。DNS参照できない、ということはドメインコントローラの異常の筈だが、おかしい・・VMがすべて起動停止しているのか？ 慌てて仮想サーバにサインインし、状況を確認。Hyper-Vマネージャを見ると、各VMがほとんど1分以下の稼働時間となっている。ドメインコントローラを開こうとダブルクリックすると、エラーで開けない。 な、なんだ？何が起きているんだ？ 続いて、イベントログを確認。すると、NTFS絡みのエラーが多数記録されている。どうも、数十分前から発生しているようだ。  VMの起動ディスクイメージを格納した、Dドライブを開こうとすると、破損していて開けない、とのダイアログが表示されている。死んでしまったのか！？ HDD Sentinelを開くと、Dドライブに割り当てられたPlextor 512GB SSDは、???の表示になっている。ディスクの管理で見ると、当該ドライブにRAWの表示！ RAW化！これか！  RAW化とは、HDDやSSDのパーテーションテーブルが壊れるなどで、アクセス不能になった状態。噂ではよく聞いていたが、自分の身に降りかかることになろうとは・・。 しかも、前触れ無し。このPlextorのSSDは稼働時間も長いし、一番寿命を気にしていて、SMARTの値もマメにチェックしていたのに・・。 いずれにしても、どうしようもない。RAW化してしまったSSDを復元できるか、試すしかないが、まずはシャットダウンしかない。 シャットダウンを走らすが、なかなか完了しない。Hyper-V Managerのサービス停止で延々と待たされる。3時間くらい待ってようよくこのプロセスはパスし、続けて30分くらいで、[シャットダウンしています]の表示に移行した。 しかし、この後が進まない。次の日仕事なので、取りあえず翌朝までこのまま様子を見ることにした。 週末に時間が取れたので、仮想サーバのRAIDにグローバルホットスペアを追加する作業を実施することにした。 既存の構成がWD Red 8TBx4のRAID5（RAIDコントローラ経由）と、バックアップ用にマザーのSATAポートから同じWD Red 8TB HDDを繋げている。 今回、新たに追加した殻割りElementsから取り出したWD80をバックアップ用に入れ替え、元々のバックアップ用WD RedをRAIDのホットスペアに設定する。          まずは、HDDの搭載。バックアップ用データの移行があるため、追加のWD80もSATAポートに接続する。SATA電源ケーブルは、先人からの教えの通り、3番ピンを除去済みだ。     搭載後、起動。初め、SATA電源延長ケーブルが抜けかけていて、起動時のRAIDのPOST画面でエラーが出たが、原因に気づいて問題なく認識した。新しいディスクはElementsとして認識されているため、ボリュームを削除してディスクをオフラインにする。    そして、ドメインコントローラのVMの設定で、このディスクをダイレクトにマウントさせる。 ドメインコントローラのVMを起動して、ディスクの管理を起動すると、きちんと追加ディスクが認識されている。オンライン後、新規ボリューム作成をして、既存のbackupフォルダを丸々コピーする。当初、エクスプローラでコピーしていたのだが、時々ウイルスチェック系のエラーでコピーが中断する。最近のコピーは、Windows Defenderと連携し、怪しいファイルがあると警告するようだ。  度々コピーが中断すると時間が読めないので、BunBackupでのコピーに方針変更。結局、翌朝には4TB弱のコピーが終わっていた。 コピー後、元々のバックアップHDDをオフラインにして、VMから切り離し。サーバを解体して、接続も変更。元々のバックアップ用HDDをRAIDコントローラに接続する。 サーバを起動して、MegaRAID Storage Managerを起動。新たに認識されたHDDをグローバルホットスペアにアサインするだけ。簡単に作業は完了した。    Intel SSDのRMA交換だが、まず、Intel Toolboxという専用ツールでステータス確認をし、そのスクリーンショットを送れ、とのメールが届いた。 Intel Toolboxで確認すると、詳細テストの1回目で謎のエラーが発生してテストが中断した。2回目以降は問題なく動作したが、このエラーのスクリーンショットとその他のステータス画面をメール送付する。 すると再度Intelから、ファームウェアを更新して再度Toolboxでテストしろ、とのメールが届いた。 ファームウェアを更新すると、エラーが出ないばかりか、代替セクタも0リセットされてしまった・・。  これでは交換は難しいな・・と観念し、Intelにメールを送り、本チケットはクローズした。手間だけかかってしまった・・。 SSDの換装が終わりひと段落ついた状態だが、ふと、このSSD、保証期間は・・・？と、調べてみると、5年間もあった。 IntelのRMA申請ページで確認すると、2021まで保証期間がある。申請フォームを使って、交換の申請をしてみる。エビデンスとしての画面の添付も必要で、HDD Sentinelのステータス画面を送る。代替セクタが発生しているだけで、異常というステータスではないので、交換を受け入れてもらえるかは現時点では不明だ。       SSDが届いたので、いよいよ換装と、OSの入れ替えとマイグレーションだ。    念の為、事前にWindows Backupと、メインドライブのvdiskをコピーバックアップ済みだ。 ちなみに、バックアップの影響か、代替済みセクタはさらに増加した。    また、ユーザープロファイル、フォルダ構造、LAN設定なども記録しておいた。インストールメディアはRefusの最新版で作成。Windows 2019の2019-OctのUpdate済みイメージを使用。 SSDの物理的な交換はささっと完了。  PCをセットして起動。RefusのUSBメディアから起動が始まり、セットアップウイザードが起動。 順調に進むかと思いきや、インストール先のパーテーションを作成し、次へで進んで瞬間にエラーでSTOPした。 選ばれた場所にWindowsをインストールできませんでした。・・・0x80300024 というエラー内容だ。  ちょっと調べると、起動順を変えれば治る、ということがわかり、BIOSのBoot PriorityでSSDを一番にする。 おかげでインストールは進行するようになった。  その後のセットアップ手順は以下。 ・NICの名称変更 ・チーミング設定    ・ストレージのドライブレターの変更（パススルードライブのオフライン設定も） ・ディスプレイドライバ（aspeed）のインストール ・Hyper-Vの役割を追加   ・既存のドライブからHyper-V構成情報をインポート（インポート中に、vdiskや仮想LANアダプタの割り当てを行う）          ・インポート後、VMを最新にアップグレード    ・MegaRAIDのドライバのインストール   ・Storage Managerをインストール  ・Super Doctor 5をインストール  ・PowerAct Proをインストール ・HDD Sentinel Proをインストール 以上で一通りの作業は完了した。 起動した各VMは問題なく機能した。 スムーズにマイグレーション作業が進んでホッとした。 SSDとHDDの更新。どうしようかと悩んだが、結局踏み切ることとなった。 理由は、仮想サーバで使っているIntel 540s SSDのamazonのレビューが酷いからだ。軒並み、壊れたレポートが上がっている。このレビューを見るかぎり自分の仮想サーバも遠からず起動不能に陥りそうだ。のんびりしている猶予はない。もう一つのHDDはまだ大丈夫かな・・とも思えるが、やはりRAID5に若干の不安を感じるので、こちらも追加導入することにした。 SSDは、Seagateのエンタープライズ向け、Nytroが最初に候補に上がった。OLIOSPECに240GBの製品は在庫があるようだが、他の容量は結構品切れになっている。そもそも、あまり需要がないようで、再入荷の見込みもないようだ。 容量は240GBあれば十分なので、もう少し安い店はないかと探すと、amazonでPLUSYOUが12000円弱で販売していた。その他のエンプラモデルも何かないか・・と探すと、IntelのDC 3520シリーズの240GBが12500円で見つかった。   この二つの耐久性をスペックシートから探る。Seagate Nytro XF1551/240GBは768TBW、Intel DC 3520/240GBは599TBW。ちなみにコンスーマ向けSSDとしてV-NAND 3bit MLCで耐久性の評価も高い860 EVO/250GBは150TBWだ。これを見るとスペックシート上のこととは言え、やはりエンプラモデルの耐久性は圧倒的だ。 Seagateは3D TLC、Intelは3D NAND MLCということで、Intelの方が安心感ありそうだが、少し古い製品なのと、amazonでの扱いが聞いたことのないマーケットプレイスの店舗（PC向けはほぼ扱いがない、福岡にある自動車修理会社）で、不安を感じる。諸々加味して、最終的にSeagate Nytroを発注することにした。 HDDの方は、以前米尼でkonozamaを食らったWDの外付け10TBを狙う。しかし、10TBと8TBでは、$180/$120くらいの差があり、流石にその差は・・ということで、8TBのElementsのモデルを購入することにした。こちらは米尼なので、到着まではしばらく時間がかかりそうだ。  あらためて、今回のSMART情報を見ると、以下のことが分かった。 SSDの代替セクターは、今年初頭から、月一回に2-3個ずつ増えている。もしかすると、Windows Update処理時か、その後の再起動時にカウントアップしているのかもしれない。   WD Redの代替セクター発生は一年前で、それ以降は発生していない。 WD RedのCRCエラーはサーバ構築時に発生したもので、運用開始後は発生していない。   また、CrystalDiskInfoで確認したら、ブートのIntel SSDは健康のブルー状態で、黄色にすらなっていない（代替セクタはカウントされているが）。  さらに、HDDSntinelでは温度しか見れなかったPlextorのNVMe SSDが、CDIだと情報取得できるが、特にエラーや以上は記録されていない。  ということで、意外と差し迫った問題はないのかもしれない。 強いて言えば、Intel SSDは予防交換をしてもいいけど、代替セクターもたくさんありそうなので、様子見でも大丈夫かもしれない。 WD Redの一基追加は、冗長性をどこまで高めるか、の判断によると思う。代替セクターの発生は無視してもいいけど、スペアドライブはそれとは別に検討の余地はある。 いずれにしても、もう少し思案することにした。 久しぶりに仮想サーバのHDD Sentinelのステータスを確認したら、健康状態が100%を切っているのを発見した。 一つは起動SSD（Intel製）で、昨年の後半から代替セクターが発生しており、すでに17カウントされている。健康状態も、77%で、このまま代替セクターの増加が進めば赤信号になりそうだ。早めに換装を検討したほうが良いレベルかもしれない。  もう一つは、メインのRAIDボリュームを構成する4台のWD Redのうちの一台。これも、代替セクターが発生し、その他、CRCエラーが結構な頻度発生している。CRCエラーはケーブルなどの接続の問題の可能性も高そうなので、交換を検討してみるのもありかもしれない。  代替セクターについては生の値4で（発生は一回）、HGSTの流れをくむHDDなので、多少は発生しても問題無さそうだ。 しかし、このWD Redのヘリウム充填モデルは既に入手は不可となっている。もしものことを想定すると、内蔵バックアップボリュームで使っている同型機をホットスペアとしてRAIDに参加させ、バックアップ用に新しいHDDを追加投入する、というのもありかもしれない。 ここまでくると、仮想サーバの更新自体も視野に入ってきて悩ましいところだ。現時点で丸3年が経過しているが、結構良い部品を使っているので5年は使いたいな・・と思っていたのであと2年。ここで改修をしてあと2年をもたせるか、あるいは来年、4年経過時点あたりでリニューアルするか・・・。 年末までには方針を決めようと思っている。 オリオスペックで間違って買わされた80mmファンだが、送られてきた交換品は、な、なんと80mmの1200rpm 非PWMが二つ・・。何故・・と不思議に思ったが、どうも早とちりして、通販で先に購入していたファンが間違ったのだと思われたようだ。 もう一度交換品を送ってもらおうと考えたが、面倒なので店頭に交換しに行くことにする。 いい機会なのでファン構成を見直すと、どうせPCIのファンを変えるなら、一つ大きい90mmものでも良いので、そちらに交換しようか・・と思案する。 ふと棚を見ると、な、なんとサーバの改修で余ったNoctuaの90mm PWMのファンが置かれていた。これでいいじゃない・・と早速交換。問題なく動作。ファンの動作音もいい感じだ。    ついでに、ストレージの温度変化を確認。今ままで熱かったNVMe SSDもいい感じに下がっている。CPUや10G NICも悪くない。 騒音レベルも落ちたし、今回のサーバケースの換装は十分な効果が上がったという実感。 仮想サーバのケースを交換したが、静音効果が今ひとつの結果となった。 騒音の主原因はマザーボードに初めから搭載されているCPUファンと思われる。DELTAのEFB0512HHAというCPUファンで50mm/MAX6500rpmのため、PWM制御がかかってもそれなりの音がする。そこで、このファンをより大口径にして静音化を測ることにした。 当初、50mm-80mmの変換マウンタを特注で作ろうかと思っていたが、googleで調べると、同じようなSupermicroのマザーユーザーで、Noctuaの60mmファンをマウンタなしで無理やりつけている人が結構いることが分かった。丁度旧サーバケースで使っていた60mmのNoctuaファンが余っているので、このパターンで静音化にトライすることにした。 はじめ悩んだのはDELTAファンの外し方。外側から見ると、ファンのネジ穴にはネジ頭が見えない。どうやって固定しているのか・・とWebで写真を色々見漁って、ようやく理解できた。ヒートシンクの上にファン用のマウンタが小ネジで固定されていて、ファンはマウンタの裏側からネジで装着されていたのだ。 構造が理解できれば、決行あるのみ。土曜日の朝になり、サーバをシャットダウンしてマザーボードを外す。メモリ、SSDなどの周辺パーツを外した上で、ヒートシンクの4箇所の小ネジを緩め、マウンタごとDELTAのファンを外す。     そして、60mmのNoctuaファンをヒートシンクう上に直接載せる。固定方法をどうするか・・。Noctuaファン付属のゴムの固定パーツで無理矢理固定している写真や、インシュロックで固定している写真もあったが、自分は針金をヒートシンクの裏側に通し、ファンの穴に通して折り曲げて固定する・・という簡易的な手法を選ぶことにした。しかし、意外としっかり固定されている。      準備はできたので、サーバを仮組み状態で起動。起動は問題なく、ファン音も静音化されているようだ。 サーバに天板を取り付け、棚に納める。そして改めて電源ON。   起動後、静音状態に大満足していたが、暫くしたら一度は治まっていたファンの回転UP/DOWNとFail LEDの点滅がまた発生し始めた。 一体どこに原因があるのか・・。SuperDoctor5上のStatusでは、相変わらずFANAが0rpmで真っ赤にエラー表示となっている。 マニュアルを読むと、X10SDVの4番目のファンコネクタ、FAN4は、Dual Cooling Zone用のコネクタとあり、FAN1-3がCPU温度に呼応してPWM制御を行うのに対して、FAN4はSystem温度に呼応するようだ。また、IPMI上ではFAN4はセカンドゾーンのFANAとして機能する、とも記載されている。 だとすればIPMIで何か設定があるのか・・と探してみるが、FAN関連はConfigure >> Fan Modeくらいしか見つからない。ここの設定がOptimalとなっていたので、その他のモードに変えてみる。Standard Speedでは変化なし。Full SpeedとHeavyIO Speedでは、Fail LEDの点滅とファンのUP/DOWNは解消されるが、ファンが全速力で回転してしまう。  全速力回転だと、やはり少々五月蝿いので回避策を探る。FAN4/Aに問題があるのか・・と、FAN3とFAN4/Aに繋がるファンを入れ変えても変化なし。 しかし、実際のファンの動きとLEDの点滅、SuperDoctor5のStatudを見ていたら、問題がFAN1にあることに気がついた。 FAN1の回転がPWMの閾値を下回り、高速回転期に切り替わり、またすぐ回転が落ち・・という繰り返しのようなのだ。 googleで調べると同様の症状に悩むユーザーは少なからず居るようで、解決策としてIPMIToolを用いて、ファン制御の閾値をデフォルトより下げるのが有効なようだと分かった。この手の問題は大口径邸回転のファンとの組み合わせで起きることが多いようだ。 IPMIToolはLINUXのツールで、Windows用はIPMIUtilというフリーウェアを使う必要があるようだ。 IPMIUtilでのセンサー設定はあまり情報がなく苦労したが、カットアンドトライでようやく閾値の設定変更を行うことができた。 まずは、FANのSnumという番号を確認する。 ipmiutil sensor -N 192.168.1.101 -U ADMIN -P ADMIN -c -g fan  これで、SNumが４1-44であることが分かった。 現在のステータスを以下のコマンドで確認。 ipmiutil sensor -N 192.168.1.101 -U ADMIN -P ADMIN -t  これで、既存の4つのファンの閾値設定が、300:500:700 / 25300:25400:25500であることが分かった。 ちなみに、 300 - Lower Non-Recoverable Value 500 - Lower Critical Value 700 - Lower Non-Critical Value ということで、25300 - 25500はHigher Valueだ。 LowerとHigherの閾値の両方を記載しないと、記載がない方は0がセットされる、とあるので注意。 設定は、 ipmiutil sensor -N 192.168.1.101 -U ADMIN -P ADMIN -n 41 -l 300 -h 25300 で、これを4つのファンにすべて実施。 設定値は最小値で良いそうで、他の値は100ずつ自動で設定される。  なので、最終設定は、100:200:300 / 25300:25400:25500となった。  再起動すると、確かにファンのUP/DOWNはなくなり静かになった。  SuperDoctorでエラー表示になるFAN4/Aは、SUperDoctorのConfiguration>>Monitored Itemから非選択状態にしてHealth Infoは出ないようにした。 最後に、ファンの接続コネクタの整理をしていたら、ふとおかしなことに気がついた。 PCI suteini装着した80mmファンはPWMの4PINのはずなのだが、よく見ると3PINなのだ。パッケージを見てみると、ラベルにはPWMとあるが、裏面の商品説明には3PINとあり、PWMの表記はない。これは、購入したオリオスペックの店舗でラベルを貼り間違えたとしか考えられない。 すぐにオリオスペックにメールをすると、代品を昨日発送して、間違い品は着払い返送で良いという。対応が良かったので、よしとしよう。 ファンは到着次第交換する予定だ。 朝から新ケースへの換装作業を始める。 まずは、ケースにファンを装着。今回は40mmを除いて全てNoctuaのRe-duxシリーズで統一した。 底面に120mmを3つ、側面に120mmを2つ、背面に80mmを3つ装着。ケースの確認時にうまく外すことができなかった側面ファンのフィルターカバーも、YouTubeの動画を参考に、手を添えて力任せにスライドさせたら、あっさり外すことができた。          ファンの装着もあっさり完了。続いて、今回新調したCorsairの電源、RM550xを実装。そして、HDDの装着を開始する。   既存サーバをシャットダウンし、ストレージケースのHDD x4基を抜き取り、新ケースのHDD用ユニットにミリネジで固定。本体に装着されていたバックアップ用のHDD、2.5"SSDも固定する。       続いてマザーボードを移設。メモリとNVMe SSDは実装されたまま。    PWM分岐ケーブルを固定し、各ファンのDCケーブルを接続。   続いてRAIDコントローラ。外部ポートSFF8088の9285-8eから内蔵ポートSFF8087の9265-8iに交換。9265は、元々メインPCで使用していたものだ。 どちらのコントローラも、PCIe2.0、LSISA2208 Dual Core ROC、1G 1333MHz SDRAMでスペックは同じようだ。 RAIDコントローラの換装で既存RAIDをそのまま移行できるかが、今回の最大の難関だ。   最後にRAIDコントローラの冷却用に今回追加したPCIe用の80mmファンを取り付け、RAIDチップのクーリングを増強。    電源用ATX24pケーブルを装着し、SFFケーブルやSATAケーブルも接続する。    天板を取り付け、棚に設置。ACケーブルを接続して電源ON。・・・しかし、何も変化無し。起動しない。  何か配線ミスがあったかとサーバを取り出し、中を確認。配線は間違いないようだ。余計な周辺機器やファンを外しても変わらず。電源の不良なのか・・と、予備で持っていた玄人の500Wに交換してみたが状況は改善せず。 マザーが逝ってしまったのか・・とブルーになるが、マザーを取り外し、改めてATX24pケーブルを装着。あれ？何か装着が甘いかな・・ということで、きちんとケーブルをはめ込んだら起動するようになった・・。自作PC歴20年以上なのにこんな初歩的なミスでハマるとは・・。まあしかし、一安心。改めてPCを組み上げて棚に置き、電源ON。問題なく起動した。  起動後の一番の心配事・・RAIDコントローラの交換による、RAID情報の継承。同系統のAVAGOコントローラなので大丈夫では・・と期待しつつ、POST画面を食い入るように見入ると、あっさりVDISKを認識し、起動してくれた。一安心だ。  Windows起動後に、ファンの定期的な急回転が発生。マザーのLEDを確認すると、M.2脇のLEDが点滅している。マニュアルを見ると、Overheat/PWR Fail/Fan Fail LEDとのことだが、点滅はPWRかFanのFailのようだ。問題の箇所を特定しようと、SuperDoctor5とRAID Managerを起動。DEGRADEの表示が出てきてびっくりしたが、以前の履歴が残っていただけだった。 RAIDは全く問題無し、SuperDoctorでは、5V Dualという項目だけ、赤くAlertになっているが、無視しても良いもののようだ。 Fail LEDの点滅とファンの急回転もしばらくしたら治ったので、取り敢えずOKとした。 最後に、今回の目標の一つであった静穏化だが・・夏場の電源のファンのうねりは無くなったが、やはりそれなりのファンの音が響き渡る。メインPCくらいに静音にしたいと思っていたのだが、程遠い。やはり、マザーに標準搭載のCPUファンが五月蝿いのだろうか・・。 午後半休したので、週末の仮想サーバのガワ交換に備えて、新ケースを開梱し、内部構造を確認。 まずは開梱。カラー印刷の化粧箱で、中から黒光りする筐体を引っ張り出す。       側面のファンフィルター。   天板を外し、内部を確認。HDDマウンタの下にファンがある。     HDDマウンタを外す。光学ドライブマウンタ部は片側面が圧着式なので、事実上光学ドライブしか取り付けられない。 3.5"マウンタ部は防振用のシートが張り込まれている。   マウンタを撤去したところ。ファンが3つあらかじめ搭載されている。  底面と、ファンフィルターを外したところ。   側面のフィルターカバーは何故か外れない。PUSHの方向にスライドさせるようなのだが・・。  底面ファンを撤去したところ。ここから先は週末に作業することにする。   5/15から5/27にかけて、仮想サーバのケース交換のために、必要なパーツを購入。 SilverStone SST-GD08B 19,750円@PC-IDEA Silver Stone SST-RA02B 2,761円@EC-JOY Yahoo Noctua NF-R8 redux 1200 1,156円x2@oliospec Noctua NF-P12 redux-1300 PWM 1,696円x5@oliospec Noctua Noctua NF-R8 redux 1800 PWM 1,123円@oliospec 長尾製作所 N-PCIFSTY80PRO 1,110円@yodobashi.com ainex S3-1504SAUA SATA用電源3分岐ケーブル 上L型コネクタ 23cm 901円x2@yodobashi.com Focentto ファン 1-5分岐 PWM 延長ケーブル 860円x2@amazon.co.jp CableCreation Mini SAS(SFF-8087) to 4 SATA ケーブル 0.5m 1,199円@amazon.co.jp CORSAIR RM550x CP-9020177-JP 10,236円-6399ポイント=3,837円@sofmap.com            ファンコネクタが足りなくなるため、amazonで5分岐ケーブルも購入。 電源は無難に、10年保証のCorsair。その他、SATA電源分岐ケーブルやSFF-8087ケーブル、PCI用のファン固定金具なども購入。 そして、本丸のケース本体と、無くても良いのだが、将来を鑑み専用のラックマウント金具も購入した。 昨年のサーバ障害の頃から、サーバ電源の内蔵ファンがウネリのような音をあげるようになり、すごく気になっていた。 サーバ復旧後、エアフローを改善しようと、先代の仮想サーバ同様に、ケースの天板に20cmの大口径ファンを搭載する計画を打ち立てた。実際に、Noctuaの20cmファンを購入し、カスタマイズ天板の設計まで行い、馴染みのアルミ加工屋に発注する直前までいっていた。   しかし、GW前後から気温が上がり始め、日によっては電源ファンのウネリ音が気になる様になってきた。当初は、天板巨大ファンの発注をしてケースをいよいよ改造か・・と検討を始めたが、ふと思い留まり、別の改善方法はないかと思案し始めた。 横置きのケースで、HDDを5基以上載せられて、エアフローが良さそうなケースはないか・・と物色を始めると、すぐに見つかった。 SilverStoneのGD08Bという一昔前のHTPCブームの頃にリリースされたケースだ。3.5”ベイがx8、2.5”ベイがx2、さらに不要だが5”ベイがx2もある。姉妹モデルでGD07Bというのもあり、こちらの方が若干安いが、5”ベイ重視で3.5”ベイが少ない。  SilverStone GD08B  SilverStone GD07B  Lian Li PC-C60  特に不具合などは発生してないのだが、memtestを走らせ、本当にエラーなどないのか確かめてみる。というのも、改めて異常メモリ調査時のmemtestの結果を見ていたら、Test9でChannel/Slotが1/1の他に、1/0や0/1でもECC Errorsが発生していたようなのだ。 結果、一周させたが特にエラーは発生せず。問題は無さそうで安心した。 Crucialから交換用のメモリが到着。発送の連絡の次の日くらいには届いていたようだが、どうも住所を間違えて入力していたようで、運送屋から住所の確認の電話がかかってきた。 送られてきたメモリは販売用のブリスターパックではなく、プリントも何もない透明のプラケースに納められた、交換専用品だった。   前日のメモリエラーの再発で、原因をきちんと調べることにした。使うツールは久々のmemtest86。PassMarkのサイトから、Ver7.5 FreeのUSBメモリ版をダウンロードして、ブートUSBを作成。 仮想サーバにメモリを挿して、USBメモリからブートする。起動後、待っていると自動的に実行して、検査が開始される。      といったメッセージが複数表示されている。 エラーはゼロのようだが、ECCによるエラー訂正が発生しているのか？   さらに切り分けを進めるため、昨日のPOST画面で表示されていた、DIMMB2のメモリと、同じバンクのメモリ、併せて2枚を抜いてmemtestを仕掛ける。すると、ECCエラーは全く表示されない。     このメモリ、Crucial製で、米amazonから買ったものだが、RMA申請、交換はできるもんだろうか・・？ 日本語で交換例がないか探したが見当たらず、それなら米Crucial本体でRMA申請しよう、と申請ページを開く。 申請には製造番号が必要とのことで、それはメモリのラベルの、3次元バーコードの下の数字らしい。それを打ち込むと、該当するメモリ製品の型式が表示される。 返送先住所などを記載して、最後に申請理由を書く欄があったので、英語で記入すると、途中で間違えてエンターキーを押してしまい、肝心なエラー内容には一切触れずに送信してしまった・・。     郵便局のおっちゃん、凄くテンパって、なかなか伝票発行できず、値段も間違えて、最終的に1,080円と言われて支払いを行う。 家に帰って調べると、送り先のアイダホ州は小型包装物扱いだと書留付きだと740円で、定形外扱いだと1,080円だとわかる。はじめ間違えた、と言っていた金額が小型包装物の金額だったようだ。釈然としないが、340円のためにゴネるのも面倒なので、諦めて今後は注意するようにしよう。 それからもう一つ。CrucialからのRMA番号通知のメールの2分前に、謎のCrucialの受注完了メールが届いて、慌てた。RMA申請したのと同じメモリを注文したことになっていて、処理中のステータスになっているのだ。おまけに、オーダをキャンセルしようにもできない。一瞬焦ったが、Order Detailをよく見ると、Payment methodのところが、RMA replacementになっている。ということは、これはRMA交換時発送用のオーダということか・・。びっくりした。それにしても分かりづらい・・。  交換品のメモリ到着まで気は抜けないが、取り敢えずは一安心だ。 サーバ普及から1週間後。またまた出張から戻り、仮想サーバの状態を見ようとコンソールをつけるとWindows Updateの通知が。状態確認も含めて更新をかけてみる。 Updateが適用され、再起動を促すメッセージ。念の為、更新してシャットダウン、を選ぶ。シャットダウン後、サーバを起動すると、POST画面で、DIMMB2がFailingのエラー。前回のBIOS更新後に出たDIMMのエラーがDIMMA1だった。メモリの挿し位置を変えたのだが、どこに変えたかはっきりわからない。だが、DIMMA1とDIMMB2以外に挿したのは間違い無いので、DIMMB2の可能性は高い。本当にDIMMに問題があるのかもしれないが、再びケースを開けるのも面倒なので、再起動で治らないか何度か試すも解消せず。  今回はマイナーバージョンアップのようで、Manufacturing Modeに変えなくても更新は行えた。  とメッセージが途中出るが、前回のジャンパを変えた更新した際も出ていたので、無視することにする。 BIOS更新後も、残念ながらDIMMのエラーは変わらず。しかし、何度か再起動をしたらDIMMエラーは出なくなった。しかし、前回も問題となったPOST後の黒画面で先に進まない症状が発生。しかし今回は慌てず、BIOSセットアップに入り、設定を見返し。前回も設定したNVMeのOPROM設定をdisableにして、ついでにC Stateも無効にする。そうすると、正常に起動するようになった。DIMMエラーについては完全に解決したわけではないので、改めてmemtestなどで問題がないか調べてみることにする。 出張から戻り、土曜日に仮想サーバの復旧を試みる。 出張中に冷静になり、検討した対策は以下。 ボタン電池を抜いてCMOSクリア 電源ユニットを変えてみる LEDで異常個所を確認 すでにサーバはオフラインのままで、前回のように焦って作業することもない。サーバを棚から降ろし、トップカバーを開けてじっくりと検討する。 まずボタン電池を抜いてCMOSクリアするが、変わらず。 LED点灯を確認してみると、POSTが終わり、本来OSが起動するあたりで、ファンが定期的に高速回転し、LEDが点滅していることに気付く。そのLEDを調べると、LED8というもので、Blinkingの場合は、Power Fail or Fan Failということが判明する。やはり、電源周りなのか？  次は何をしようか・・と思案すると、やはりUpdateできていないBIOSの更新か・・。改めてUpdate用のブートUSBメモリを挿して試みる。更新時のシーケンスを見ていると、何やら警告が出ていることに気付く。    と出ている。 また、FDT is different. Creating new autoexec.bat file... というメッセージも表示され、autoexec.batがa.batにrenameされ、新しいautoexec.batがcreateされている。 USBメモリの中のbatファイルを見たが、どちらも内容は一緒で、 FLASH.BAT X10SDVF8.613 となっているだけだ。 改めて、googleでsupermicro FDT BIOSあたりのキーワードで検索すると、supermicroのFAQで出てきた。ME Manufacturing Modeに設定しろ、という内容だ。 そのジャンパはJPME1というもので、手順として、 ACケーブルを抜く JPME1ジャンパを、pin2-3に変える ACケーブルを挿し、BIOSを更新する 更新後、シャットダウンし、ACケーブルを抜く JPME1ジャンパを、pin1-2に戻す ACケーブルを接続をし、システム起動 という手順だ。 その通りに実施したら、BIOSアップデートが正常に動作した。MEのFirmwareの更新も同時に実施される。 10分近く更新には時間を要し、更新後、ジャンパを戻し、再起動。    念の為、BIOSのデフォルト値をロードする。    と表示されストップする。 ここにきてメモリエラー？？ 腑に落ちないが、DIMMA1のスロットのDIMMを抜き、残ったメモリの3枚から2枚を、DIMMA1とDIMMB1にメモリを挿し、起動する。 確かにエラーは出ない。 しかし、エラーは抜けても、やはりPOST画面後、Windowsは起動しない。 もはや、手は尽くしたか・・。起動SSDのバックアップを取って再インストールくらいしかなないか・・。それでダメならマザーの買い替え・・と諦め半分の状態になったが、ふと、BIOS設定を元の設定にしてみよう・・と思い立つ。 まず、NVMeのOPROM設定をdisableに。 それからこれは関係ないと思うが、直近で設定したC Stateをdisableに。   治ったのか？ そこからは順調。 何度か試したが、正常に起動するようになったので、メモリを戻し、ケースファンを接続し、最後に電源ユニットも元のものに戻したが、どの状態でも起動するようになった。 いやあ、良かった・・。 まだ完全に安心、とは言えないが最悪の状態は脱した。 一体、今回の事象の根源的な原因は何だったのか・・と振り返るが、PEIから起動しなくなり、CMOSクリアしたことで、NVMeのOPROM設定がlegacyになり、それでWindowsが起動しなくなったのかもしれない。 また、BIOS更新で改善した可能性もあるが、今となっては何とも判断できない。 元々のPEIから起動しない症状は何だったのか・・だが、これはやはり、1月前から散髪していた突然の再起動などの不具合と関連していたのかもしれない。 何れにしても、また同じような症状が再発したら、電源ユニットは交換しよう。 ちなみに、今回、Seasonicの予備電源に変えても良かったのだが、Seasonicの電源ケール部は太く取り回しがし辛いため、今回最終的に交換を断念した。 品質的には、元々使っているケース付属のIN-WINの電源が80PLUS PLATINUMで一番良さそうだ。 その他だと、SilverStoneのSST-TX300が、Bronze認証ながらなかなか良さそうだ。 それから最後に反省だが、トラブルが起きた場合は、最後は余計なオプションは全て取り払って、素に近い状態で試す、というのが鉄則のはずなのだが、少し気になっていたNVMe SSDを、外すのが面倒だから・・という理由でそのままにしてしまったため、問題の切り分けに時間を要してしまった。今後は注意しよう。 仮想サーバのエアフロー改善に絡めて、電源をTFX300Wから、昔使っていた120W ACアダプタタイプに変更することを検討。そのため、あらためて外付けHDDを除いた仮想サーバの最大消費電力を測定することにした。 そのため、仮想サーバをシャットダウン。ちなみに丁度定例のWidnows Updateが来ていたので、更新してシャットダウンを行った。そして、サーバの電源をワットチェッカーに繋ぎ変え、起動。 しかし、起動直後のPEI IPMI INITIALIZATION...のメッセージで、一向に先に進まない。   それでは元に戻そうと、電源ケーブルを繋ぎ変え、再び再起動。 あれ、また同じ、PEI..で止まる。嫌な予感・・。再びACコードを抜き、CMOSクリア。PEI..は抜けるが、Windowsが起動する辺りで画面がブラックアウト・・。BIOS Setupに入ってBOOTシーケンスとかも見たりしたが、問題無さそう。困ったことに、再起動の度にPEI..で止まり、何度もCMOSクリアを行うことになる。 またまたgoogleで調べると、同じような事例で、BIOS更新で治ったという外国人がいる。藁をも縋る思いで、BIOS更新にトライ。 ちなみに、この、PE..で止まる状態でも、BMCのWeb画面には入ることができる。そこでBIOSのバージョンを確認すると、1.1Cとある。SupermicroのWebを見ると、R2.0というのが今年リリースされているので、これが最新版のようだ。 以前BIOS更新を行った手順を紐解き、RufusでFreeDOSのブータブルUSBを作り、そこにアップデートリソースをコピーする。 ブータブルUSBからの起動も四苦八苦したが、何とか起動。ちなみに、ブート順でUEFI USBメモリを選ぶとダメで、P#:USBメモリを選ばないとダメという事が分かった。 DOSプロンプトに入り、 FLASH.BAT X10SDVF8.613 と、バイナリを指定してbatを起動すると、正常に更新が完了した。  しかし、症状は変わらず。PEI..で止まるし、CMOSクリアして先に進んでも、Windowsがブートしない。ブートマネージャで起動ドライブのIntel SSDを指定してもダメ。 何度かやっていたら、ずっと黒画面だったのが、 A disk read error occurred のエラーに変わった。 このエラーの原因を調べると、 ・ハードディスクの持つ情報が壊れている ・ファイルシステムが壊れている ・BIOS が書き換わった 等が考えられるとのこと。 起動SSDが壊れたのなら、再インストールすれば良いので傷口は浅い。しかし、この日は日曜の夜で、次の日から一週間の地方出張。今やると泥沼にはまりそうだ・・。 最後に、IMPIも更新しよう・・と、最新のIPMIを落とし、BMCのWeb管理画面からFirmware Updateを行う。更新作業は問題なく実施され、3.26から3.86に更新された。しかし、症状は変わらず・・。    まあ、いずれにしてもこの日は諦める。 仮想サーバが止まると、TV録画用のストレージやDHCPを含むドメインコントローラ、監視カメラサーバが使えなくなる。この中の、最も影響の大きいDHCP機能を、とりあえずNTTのホームゲートウェイに委ねる。そして、TV録画用ストレージは、レコーダPCのローカル録画で当面は逃げることにする。1TBのUSB-HDDを繋ぎ、出張中は回避する。 これで出張から戻ったら、あらためて落ち着いて対応を行うことにする。 しかしやることは限られてて、 ・BIOS更新の再度のトライ ・ボタン電池を抜いてCMOSクリア ・ブートSSDを取り外してディスク検査、必要なファイルのバックアップ ・Windowsの再インストール くらいしか浮かばない。 このような事態になった原因だが、さっぱり不明。ただ、ひと月前から数度、KP-41のエラーで突然Windowsが再起動することが何度かあり、この辺りと関係している可能性がある。 外付けRAIDを、電源別のエンクロージャにしたら落ち着くようになったが、潜在的に何かマザーが問題を抱えていた可能性はある。また、今回エアフローの改善を検討しているように、本サーバの筐体は結構アチチな状態で、恒常的な高温でどこかの部品が劣化している可能性も否めない。 そうなると、最悪マザーを交換しなければならないかもしれない。このSupermicroのマザーは10万オーバーで5年は使おうと思っていただけに、ショックはでかい。まだ2年しか立ってないのだ。一応、Supermicroのマザーは3年のサポート期間がある（部品は1年）ようなので、拙い英語で問い合わせもしてみようか・・。 また、最悪の場合は、マザー買い替え・・という事態にもなりかねない。 ちなみに、ちょこっと調べると、今のXeon D15xxの後継として、Xeon D21xxというシリーズが年初に発表され、Supermicroからも搭載マザーが複数発売されている。D15xxよりも若干値段も上がっているようで、この時期予定外の出費は痛いのだが、復旧できない場合はそれもやむ得ない、ということになりそうだ。  Noctuaがあるなら選ばない理由はない・・と、OLIOSPECでPWM機能付きのモデルを購入。 採寸して、自作天板の設計を始める予定。 HighPoint RocketStorでファンが回らない件。HBAとの相性という事で一応納得したのだけど、仕組みがよくわからない。miniSASケーブルでどのようにファン制御をしているのか。 RAIDエンクロージャにはSGPIOという専用の制御線規格があって、それがエンクロージャのLED制御とかをやっているのは知っていたが、miniSASにそのような信号が乗るのか？ miniSASケーブルの仕様を見ても、信号線はSATA/SASで使うものだけで、他の信号線は見当たらない。 不思議で仕方なかったのだが、掲示板で質問をしたら、判明した。 SGPIOとは別に、SES（SCSI Enclosure Services）という規格があるというのだ。 この規格はSASやFCなどのインターフェースを介して通信するという。厳密には、エンクロージャ内のディスクドライブの1つが通信を中継するようだ。 また、LSI(AVAGO)では、SGPIOをサイドバンド、SESをインバンドと呼んでいるようで、確かにHBAの仕様にはその記載がある。電圧、ファン、センサーなどのエンクロージャ内の管理、検知が可能になり、LEDの点灯や電源のON/OFFもできるようだ。 うーんそういうことか・・。これで納得できた。 で、自分の使っている、MegaRAID SAS9285-8eがSESに対応しているかだけど・・。 9285-8eはDELLのOEM品でスペックシートが見つからない。近いと思われる9285CVeや9286eにはSES/SGPIOの機能表記がある。対応していると見るのが正しそうだが、互換性がないのだろうか・・。まあ、いずれにしても明快になったのですっきりした。 HighPointのHDDエンクロージャが、ファンが回らない話をしたが、不良品だと考え、交換期限は切れていたが、amazonに交換申請をした。数日後にはamazonから代替品が届いたのだが、交換前にあらためて情報を検索すると、灯台下暗し。amazon.co.jpの8月のレビューで私と同じ症状の人の口コミがあった。 これは、RAIDコントローラとの相性のようで、HighPoint純正品なら問題ないが、MegaRAIDではファンが回らない、というもの。 うーん。とするとウチも同じ症状なのかもしれない。 改めてhighPointのサポートページを確認するが、FAQには同様の症状の報告はない。問い合わせをしてみようとメアドを探すが見つからず、サポートページで製品登録を行わないとダメなようだ。 製品型番とシリアルが必須なのだが、RocketStorにはシリアルらしきシールが貼られていない。仕方なく、JANか何かの、バーコードの型番をシリアルのところにINPUTすると、登録ができた。特に整合性のチェックはしていないようだ。 そして、そこからインシデントを発行して問い合わせを行う。一晩明けたら、早速返事があった。 ＜回答原文＞ The RocketStor 6418S's fans are controlled by the Controller card. As long as the controller card is compatible with Smart fan control, there should not be any issues. We do not test with other manufacturers products, therefore, we cannot say we are compatible with them but we do offer our own controller cards such as the RocketRAID 4522SGL http://highpoint-tech.com/USA_new/series_rr4520-Overview.htm RocketRAID 2722 http://highpoint-tech.com/USA_new/series_rr272x.htm ＜回答google訳＞ RocketStor 6418Sのファンはコントローラカードによって制御されます。 コントローラカードがスマートファン制御と互換性がある限り、問題はないはずです。 私たちは他のメーカーの製品でテストしていないので、私たちはそれらと互換性があるとは言えませんが、私たちは独自のコントローラカードを提供しています。 うーん、やはりコントローラがファン制御をしているようだ。 だとすれば、交換しても意味がない。 amazonに謝罪メールを送り、交換品は開封せずにそのまま返品の手続きに乗っ取り返送した。 しかし、miniSASケーブルにSmart Fan Controlの制御信号が乗っているとは全く知らなかった・・。いい勉強になった。 2週間前から仮想サーバ本体の調子が悪い。IPカメラの頁でも書いたが、突然仮想基盤側が、よくあるKP-41のエラーで突然再起動、複数回同様の再起動が発生した。 何故か週末に発生することが多く、発生原因は不明。同様の症状が仕事で納入しているXeon Scalable系のCPU/Motherで発生していて、その原因はC-State設定の問題で、C0にすると解消されるというものだった。そこで、[Package C State Limit]mp設定を[C0/C1 state]にしてみた。   一時的に解消したように思えたが、翌週末になるとまた突然の再起動が発生。さらに[CPU C State]を[Disable]にしてみたが、これで問題が解決するかは怪しい。再び再発する前に、環境改善を試みることにした。 改善策として挙げられたのは、エアフローの改善と、電源の交換、外付けRAIDエンクロージャの交換だ。 エアフローの改善は結構面倒で、やるとしたら前世代の仮想サーバでもやっていた、天板に巨大ファンを搭載して根こそぎ熱を排出するのが良さそうなのだが、天板を自主制作しなければならない。 その前に電源交換とRAIDエンクロージャを交換しようと、次の週末にサーバをシャットダウンして解体を行う。  まず、電源の交換。サーバ構築時に元々の購入していてお蔵入りになっていたSeasonicのTFX350Wの電源を使おうとフィッティングしたが、内部ケーブルが硬く取り回しがしにくいのと、CPU補助電源が届かず延長ケーブルが必要になるので断念。それではと、RAIDエンクロージャの交換だけを行うことにする。 交換するのは、2ヶ月前に購入したHighPointのRocketStore 6418Sだ。次回サーバ構築まで眠らせておこうと思っていたが、ここで登板。ちなみにこれまでのRAIDエンクロージャは5インチベイ内蔵用HDDx4ベイを使ったもので、電源はサーバ本体から取っていた。サーバの300W電源ではHDDx4の電源供給が不十分なのでは・・と思い、今回交換に踏み切った次第だ。          6418Sを開梱して内部を確認。mini SASケーブルが付いているものと思っていたのだが、付属品はネジとACケーブルだけだった。      元々のHDDの順番と同じで、8ベイあるうちの、下の4ベイに、上から1,2,3,4と装着。以前購入していた50cmのmini SASケーブルを使いサーバと接続。電源を投入する。 RAID構成を見失うのでは・・と恐怖があったが、幸いにもVirtual Diskも認識され、正常にサーバは起動した。 予想外にあっさりうまくいってホッとしたのも束の間、しばらくしてサーバのHDD SentinelでHDDの温度を見たら、何とRAIDのHDDが軒並み60度近くまで温度上昇。見ると、RAIDエンクロージャのリアファンが回っていない。そうこうしていると、RAIDエンクロージャからけたたましいアラートが。やばい・・と慌ててサーバをシャットダウン。シャットダウン時には、RAIDコントローラからもアラート音が鳴った。 何度かケーブルの抜き差しをやり直したりしたが、改善はなし。起動直後にファンが回った後、すぐに停止してそのままだ。で、仕方なくエンクロージャを解体。剥がしたら保証なくなるよシールが貼ってあったが、背に腹は変えられない。   解体はしたものの、結線は特に問題なさそう。色々中を見回した結果、予備か何かのペリフェラル電源ケーブルが1本中で遊んでいるので、これに、ファン用の変換コネクタをかまし、ファンを直接回すことにした。 電源を入れると期待通り、ファンは全速回転。ファンコンはなくなるが、まあ、何れにしても24-365稼働状態のRAID環境ではファンの全速回転止む無しなので、いいだろう。 エンクロージャを通電し、サーバを起動。問題なく起動するものかと思っていたが、サーバの起動コンソールを見たら、RAIDコントローラのPOST画面でストップしている。 一度電源を落とし、結線を再確認するも、症状は同じ。  一度電源を落として頭を冷やす。ここは冷静に対処しようと、以前も行なった、RAIDデグレの対応手順を確認する。 1.WebBIOSに入り、[Start]ボタンを押す 2.物理ドライブが全て[Unconfigured Bad]になっている  4.開いた画面で、[Macke Unconf Good]を選び、[Go]を押す         一瞬肝を冷やしたが、うまく復旧ができてホッとした・・。 改めて、IPMIの動作を確認。 ブラウザで、IPMIポートのIPアドレスを指定し、初期アカウントのADMIN/ADMINで開くとIPMI管理画面が開く。            Remote Cotrol >> Launch Consoleボタンを押すと、ATENのiKVMのJAVAアプレットでリモートコントロールができるようなのだが、ボタンを押してもスクリプトファイルがダウンロードされるだけ。 JAVAがインストールされていないからか・・とOracle JAVAをインストールし、有効であることも確認したが状況は変わらない。 Java Web StartソフトウェアでダイレクトにJNLPスクリプトを開くとうまくいく、という解説ページがあったので試したら少し前進。結果的には、JNLPファイルをjavawa.exeと関連付けた事により、Launchボタンを押し、ファイルを実行で、リモートコンソール画面が開くようになった。この辺りも参考になる。マウスキーボード操作も問題なし。       
UPSをオムロン製に変更したので、制御アプリをインストールする。
オムロン製アプリには、昔からあるPowerActProと、シャットダウンするだけのSimpleShutdown、そして最近追加されたWebサーバ不要で細かいステータスまで確認できるPowerAttendant Liteの3つがある。 今回もオムロンのUPSにはHyper-Vサーバとファイルサーバを繋げるのだが、両サーバとも停電時に自動シャットダウンさせたいので、マスタ・スレーブ構成が取れるPowerActProを使用する事にする。                               設定は、待機時間60秒、シャットダウンに必要な時間180秒、仮想サーバ終了モードを"OS" が終了する、を選択。        余談だが、今回のUPS入れ替えに際し、メインのスイッチングハブもUPS配下に収納するように変更した。これで、ちょっとした停電でもTV録画くらいは動作し続ける事が可能となる。          落ち着いて見てみると、Storage Managerでも、HD Sentinelで見てもBadになったHDDは認識されていない。交換用のHDDを手配しようかと思ったが、以前、メインPCのMegaRAIDで、HDD不良かと思って交換したが、HDDの異常ではなかった経験もあり、もう少し調べてみることにした。 翌日、HDDを調べるため、まずは異常HDDの場所を特定。専用のエンクロージャではないので、LEDでの警告などない。0,1,2,3の1番のHDDであることは分かっていたが、サーバ内のファイルにアクセスして、アクセスLEDを確認。下から二番目のLEDが点灯しないことを確認できたので、マークする。ちなみにSASケーブルの#1-4の#3に繋がっているHDDだった。サーバをシャットダウンしてHDDを取り出す。USBケースに収納して、別PCで確認すると、認識する。HD Sentinelでもステータスは健康だ。これでHDD障害ではないことがわかった。この状態で再換装すれば認識するかな・・と淡い期待を抱いたが、認識せずで変わらず。この日はここで断念。 続いて翌日、ケーブルの交換を検討しようと考えるが、まずは接続を再確認するために、DCケーブル、SATAコネクタをはめ直す。サーバを起動すると、HDDが認識されるようになった。Unconfigured Badなステータスなので、これをRAIDに追加しなければならない。はじめ間違えてDrive Eraceを選択してしまい、初期化動作が走る。16時間くらい掛かってしまう。今度は間違えないように・・と、ドライブを選択し、"Replace Missing Drive"を選ぶ。Goodに変わったため、さらに右クリからStart Rebuidを選ぶ。リビルド動作が始まる。     更新作業自体は非常に簡単で、Widnows環境下で稼働状態でダイレクトにFWを当てられる。もともとのFWは1.01。更新FWは1.05。発売のタイミングで買ったので、ほぼ初期ファームだろう。 更新ツールを起動し、FWのバイナリを指定して実行するだけの簡単操作。適用後、OSの再起動を行う。 SSDが認識しない、という症状は出なかったが、何故か再起動のタイミングで、MegaRAIDのPOST状態で画面が真っ黒のまま先に進まない。RAID HDDのLEDが全てアクセス状態のパープル点灯なのも気になる。10分くらい待っても音沙汰なく、HDDに耳を近づけてもアクセスしているような素振りもなかったので、思い切って強制電源断。再び起動すると、問題なく立ち上がった。良かった・・。 この、起動時の不安定面が払拭されれば、言うことがないのだが・・。ちなみに、マザーボードのFWは、使用しているリビジョンからは特にupdateされていない。
システム構成図を作成。まずは、HDDの構成図。
 ・・クリックで詳細が見れます・・ 続いて、スケジュールバックアップの流れ図。  ・・クリックで詳細が見れます・・ そして仮想スイッチの構成図。  ・・クリックで詳細が見れます・・ 改めて消費電力測定、ベンチマーク計測を行う。   起動時MAX = 124W 仮想サーバ未起動のアイドル時 = 85W Hyper-V起動時 = 110W Hyper-V起動後アイドル時 = 98W となった。 UPSのW表示では、 Hyper-V起動後アイドル時 = 89-94W となった。 また、各ゲストOSのベンチマーク結果は以下の通り。  カメラサーバ（4C/8G）  DLNAサーバ（3C/8G）  crashplanサーバ（2C/8G）  DomainController（2C/8G）  wwwサーバ（1C/4G） 各ノードのバックアップを、ドメインコントローラのbackupドライブに対して行うタスクを設定する。 全てBunBackupを使用して、設定ファイルをタスクスケジューラで登録する。 DLNAサーバのMusicフォルダ FileサーバのMSDNフォルダ サブPCのdataフォルダ ドメインコントローラのdataフォルダ を、dailyでバックアップする。 ■ローカルのネットワーク設定 ・静的IPアドレスを設定。 ・DNSは192.168.1.254にする。              ・PC名を変更する ・役割の追加でDNSとWebサーバ、ftpサーバを追加         →前方参照ゾーンに新しいゾーンを追加→プライマリゾーン→ゾーン名：tc-engine.com ・tc-engine.com.dnsというファイルを作成 ・動的更新を許可しない、を選択    ・SOAのシリアル番号には、YYYYMMDDに二桁のシリアルを足したもの ・プライマリサーバは、ホスト名にピリオドを足したもの（sapphire.） ・責任者はhostmaster.          ・IPアドレスにグローバルIPアドレスを入力、OKを押す（検証済みには、"このIPアドレスは、必要なゾーンに対して権限がありません"と表示される） ・同様にセカンダリDNSも入力する ・MXレコードを追加 ・Aレコードとして、空欄、ホスト名、ns、localhostを追加する ・CNAMEレコードとして、www、ftp、mailを追加する                  ・一つ目→プライマリゾーン、IPv4逆引きゾーン、逆引きゾーン名（219.117.204） ・二つ目→プライマリゾーン、IPv4逆引きゾーン、逆引きゾーン名（127.0.0） ・219.117.204のプライマリゾーンに、NSレコード（nsとセカンダリns）、PTRレコード（sapphire.tc-engine.com.とtc-engine.com.）を追加 ・SOAレコードのシリアルを修正   ・DNSのtc-engine.comのプロパティの詳細設定タブから、[再帰を無効にする]のチェックを入れる。          ・基本認証のコンポーネントを追加する。 （サーバマネージャー→役割サービスの追加で、IISのツリーを開き、基本認証にチェックする） ・パスワードについてのポリシーを変更する。 ・管理ツール[ローカル セキュリティポリシー] ・アカウントポリシー ツリーで、[パスワードのポリシー] ・パスワードは、複雑さの要件を満たす必要があるを“無効”にする。 ・基本認証用のユーザーを追加する。 ・管理用の別アカウントを追加する。 ・セキュリティ強化のため、Administratorアカウントを無効にする。          ・サイトツリーを右クリックして、バインドの編集を選ぶ。 ・サイトバインドの編集を選び、ホスト名を入力する。 ・サイトツリーを右クリックして、Webサイトの管理→詳細設定を開く。 ・必要であれば物理パスを変更する。 （スクリーンショットは、default siteを削除して、新規でサイトを作成、サイトバインドを編集している） ・旧サーバからwwwrootのデータをコピーする。      ・サイト名、物理パスを設定する。 ・バインドとSSLの設定では、SSLを無しにする。 ・認証は基本のみとし、administratorsに読み書きのアクセス許可を付与する。          ・匿名認証を無効にし、基本認証を有効にする。 ・当該フォルダの右クリックからアクセス許可の編集を選ぶ。 ・セキュリティタブから、詳細設定ボタンを押す。 ・継承の無効化を選び、UsersとIIS_IUSRSを削除する。 ・セキュリティタブで、追加を選び、認証を行うユーザーを追加し、読み取りと実行までアクセス許可を与える。                  ・versionは2.3。現時点でWindows Server 2016には対応していない。日本語版だとインストール時にエラーが出るため、英語版をダウンロードする。 ・セットアップを実行して、インストーラの流れに沿ってインストールを完了する。 ・MSBAを起動して、[Scan Computer]をクリックする。 ・コンピュータ名が正しいことを確認して、[Start Scan]ボタンを押す。 ・暫くすると分析結果が表示される。IISの項目など、一部が未対応のようで警告が表示される。             ほぼ未使用の中古品なので、まずは工場出荷状態にリセットする。初期アドレスにアクセスして、IPアドレスを変更する。 PING設定画面を開き、監視するノードを設定する。異常時の表示灯の設定、ブザーの設定、メール配信などが登録できる。               ・新規VMを作成。（2コア、メモリ8GB） ・OSとして、Windows Storage Server 2016 Workgroupを使用。 ・録画用HDDとして、容量可変4TBの仮想ディスクを作成し、マウントする。 CrashPlanアプリを導入する。 ・CrashPlanの最新版をインストールする。 ・CrashPlanを起動する。 ・CrashPlanにサイインインで、登録済みのメールアドレスとパスワードでログインする。 ・バックアップタブのバックアップを継続で、"登録"のリンクを開く。 ・既存のコンピュータを選択する。 ・もう一度、メールアドレストパスワードでログインする。 ・ファイル情報、ブロック情報の同期が始まる。 ・同期が終わるが、CrashPlanが異常終了する。 ・CrashPlan Serviceを停止する。 ・C:￥ProgramFiles￥CrashPan￥CrashPlanService.iniの中の、Xmx1024Mという箇所を、Xmx2048Mに書き換える。 ・iniファイルを保存して、CrashPlan Serviceを開始する。 ・以上の操作でバックアップが開始されるようになった。                        ・新規VMを作成。（4コア、メモリ8GB） ・OSとして、Windows Storage Server 2016 Standardを使用。 ・録画用HDDとして、容量固定1TBの仮想ディスクを作成し、マウントする。 ・ドメインに参加する。 ・録画用ボリュームをマウントする。 ・Webcam XPをインストールする。 ・初回起動時にPrivate/Proモードを選択する。 ・メールアドレス、名前、ライセンスコードを入力する。 ・各カメラの登録を行う。 ・録画先と、録画ファイルの設定を行う。 仮想サーバ以外のメインPC、サブPC、ファイルサーバのドメイン参加を行う。 ・メインPCとサブPCは事前に旧ドメインからの離脱を行い、ローカルadminでログインするようにしておく。 ・旧プロファイルから必要なファイルのみのバックアップを取っておき、[システムのプロパティ]→[ユーザープロファイル]→[設定]から、不要なプロファイルを消しておく。（不明なプロファイルと表示されている） ・ドメインへの参加を行う。 ファイルサーバは、新規にWindows Server 2016 Standardをクリーンインストールする。 ・インストール完了後、オフラインになっているHBAカード下のHDDをオンラインにし、additinal_diskフォルダ下にマッピングする。 ・続いてDFSの設定。 ・DFSの役割をインストールする。（DFS名前空間とDFSレプリケーション） ・DFSルート名はAV_rootとする。 ・名前空間の種類にはドメインベースの名前空間を選択。 ・DFS管理ツールを開き、DFSルートを右クリックして、新しいフォルダを選択。 ・ルートに追加するフォルダ名を入力し、実際のパスをフォルダターゲットとして追加していく。             ・新規VMを作成。（3コア、メモリ8GB） ・Windows Server 2016 Standardをインストールする。 ・固定IPアドレスを設定。DNSにはドメインコントローラのIPを指定。 ・PC名を変更し、WORKGROUPからドメインに所属を変更する。 ドメインへの参加でエラーが出るため、IPv6をオフにする。 Flets環境で、IPv6にリンクローカルアドレス（APIPA）以外のアドレスが振られていると、IPv6だけを利用してドメイン参加のための名前解決をしようとするらしい。IPv6をオフにしても、[このコンピュータのプライマリドメインDNS名を""に変更できませんでした。名前は"<ドメインのFQDN名>"のままになります]のメッセージが出るが、これはWindowsの既知の問題で無視していいらしい。NetBIOS名前解決をしようとして表示されるメッセージのよう。 ・videoとmusic保存用の仮想ディスクを容量固定で作成して（容量は、video=8TB、music=4TB）、Hyper-Vマネージャで追加する。 ・ゲストOS側のディスクの管理で、ディスクを初期化して、ボリュームを作成する。 ・旧サーバのデータをファイルコピーする。旧video保存用HDDはパススルーディスクだったため、サブPCにUSBで接続してネットワークコピー。 ・music保存用HDDは仮想ディスクだったため、旧サーバのホストOS上で仮想ディスクファイルを開きマウントし、ネットワークコピー。            ・TWONKY Serverをインストールする。 ・サービスとして起動する設定とする。 ・対象はビデオフォルダのみとし、パスを変更する。 ・最新の8.3をインストールしてみたが、BRAVIAのサーバ診断で、"失敗。コンテンツが再生できない"の表示。 ・バージョンを徐々に下げて、使えるものを探す。結果、以前から使っていた2012年の7.1.2に落ち着いた。何だかな・・。       ・ASSET UPnP 5.2をインストールする。 ・Running ModeはServiceにする。 ・defaultの登録フォルダは削除し、FLACのフォルダのみaddする。       ・対象のHDDを右クリック→シャドウコピーの構成を選ぶ。 ・設定ボタンを押して、制限値を設定する。（defaultの約10%とする） ・スケジュールボタンを押し、スケジュールを設定する。 ・対象のHDDは、musicドライブとする。 サーバを設置したので、あらかじめ用意してあったCAT6aのケーブルでNetgear S3300-28Xと10GbE接続する。しかし、何故か1GbEでしかリンクしない。ケーブルを繋ぎ直してもダメ、ポートを変えてもダメ、サーバを再起動してもダメ。セルフフェラ式にサーバの二つある10GbEポートをループバックすると10Gでリンクするので、サーバのNIC側は問題なさそうだ。一方、S3300側の設定を見直すが、有効な項目は見つからない。Auto設定をmanualで設定してもダメ。諦めて、Netgearのサポートに電話してみたが、そういった症例はないとのこと。最後の手段と、ファームウェアを更新してみたら、な、なんとリンクした・・。何だったのか・・。まあ、解決したから、良しとしよう。    既存の仮想OSを全てシャットダウンし、仮想ホスト自体もシャットダウンする。そしてサーバハードウェアを入れ替え。ケーブリングの関係で、サブPCと仮想サーバの位置を入れ替える。懸念されていたケーブル長は特に問題なく、左から、サブPC、仮想サーバ、ストレージ、と綺麗に並べて設置で来た。 仮想サーバを設置後、再起動したら、何故かNVMe SSDを認識しなくなっていた。再起動してもダメ。BIOS上でも認識されない。オプションROMを有効にしてもダメだった。 天板を開けると、SSD下あたりのLEDが点滅しているようだ。試しに、サーバの電源コードも抜いて、完全に放電した状態で起動したら、認識するようになった。ちなみに、この試行錯誤の過程で、PCIeのオプションROM設定を有効にしていると、POST時の不要なループがなくなることが判ったが、そうすると、何故かOSが黒画面のまま起動しなくなってしまう。何か良い落とし所の設定があるのかもしれないのだが、時間がないのでオプションROMはdisable設定にして、進める。   POST→RAID POST→OS起動 だったのが、 POST→RAID POST→POST→RAID POST→OS起動 となってしまった。起動できない訳ではないので構わないのだが、遅いのがちょっと嫌なので、念のためにRAID再構築をしてみる。また、この機会にRAID設定を再考。 MegaRAID Web BIOSの設定値 Stripe Size デフォルトは256KB。 古いカードだと64KBとかだったよう。使うディスクや構成でパフォーマンスが変わるので何とも言えないが、最近のHDDであれば128KBか256KBあたりが無難なよう。よってデフォルトのままとする。 Read Policy 連続セクタの先読みの設定。シーケーシャルな読み込みならRead Aheadの方が良いようだが、ランダムでは無駄なアクセスが生じるよう。悩んだが、Alway Read Aheadとした。 Write Policy これはパフォーマンスに大きく影響するのでAlway Write Backとした。本当はBBUがないと危ないのだが、UPSをかましているので良しとした。 IO Policy 読み取ったデータをキャッシュに残すかの設定。通常はOSがキャッシュするため、キャッシュに残さない、Directの設定が推奨とのこと。 Drive Cache HDDのキャッシュを使うか、使わないか。デフォルトのUnchangedからdisableに変更。データ保持の観点から、推奨値はDisableのよう。これも、UPSがあれば良いようだが、パフォーマンスに大きく影響しないのと、推奨値と書かれているので・・。 Disable BGI Back Ground Initializeの設定。Noにして、BGIを行うようにする。推奨値もNo。 RAID設定後、気づいたらデバイスマネージャのPCIシリアルポートとPCIシンプル通信コントローラが不明なデバイスになっていた。Intel MEをデバイスドライバの更新から入れたら通信コントローラの方は消えたが、シリアルポートが不明なデバイスのまま。Chipsetドライバを再度導入して再起動したら、これも綺麗になった。 Hyper-Vやらのインストール中に、ハードウェアの問題が見つかる。RAID構成のHDDのうちの一台（1番のHDD）に、CRCエラーが記録されている。HDD Sentinelで表示されたのだが、60回以上記録されていて、直近は先週の日曜日。調べると、ファイルの書き込みを行うと発生することが判った。HDD Sentinelのアラートにも表記されているが、CRCエラーはケーブルが一番怪しい。ケーブルを変える前に念のため、HDDの再装着、コネクタの挿し直しを実施したが、症状は変わらない。そこで、以前購入していて長さの関係でお蔵入りになっていた2mのSFF8088-SATAx4ケーブルに交換。 起動時に、RAIDコントローラのBIOSのところでFW Initializingに入らず、もう一度BIOSブートに戻ったりするのと、起動後一発目にHDD Sentinelのログを見たら、件のCRCのエラーが記録されていたが、それからは好調。1TBくらいの大容量ファイルもコピーしてみたが、エラーは一切記録されない。これなら大丈夫そうなので、このまま様子を見ることにする。              ・PC名を変更する。 ・役割と機能の追加ウイザードから、Active DirectoryドメインサービスとDNSサーバーを選択。 ・インストールする機能はdefaultで何も追加選択肢無し。 ・インストールを行う。           ・新しいフォレストを追加するを選択し、ルートドメイン名（tc-engine.local）を指定する。 ・フォレスト／ドメインの機能レベルは、最新のWindows Server Technical Previewにする。（古いOSのDCが無いので） ・ドメインコントローラの機能として、DNSサーバとグローバルカタログを選ぶ。 ・DSRMのパスワードも入力して、次へ。 ・ここで、権限のある親ゾーンが見つからないか、Windows DNSサーバーが実行されていないため、このDNSサーバーの委任を作成できません。とKB942564（古いsambaクライアントとの通信ができなくなる）の警告が出る。が、無視する。 ・その他はデフォルトでインストールを行い、再起動する。     ・DNSの設定から、サーバのプロパティを開く。 ・フォワーダータブで、転送サーバのIPアドレス（ルータのアドレス）を設定。             ・逆引き参照ゾーン→新しいゾーンを選ぶ。 ・新しいゾーンウイザードを開始。 ・ゾーンの種類でプライマリゾーンを選ぶ（ADにゾーンを格納するも有効）。 ・レプリケート方式は、このドメインのドメインコントローラの全てのDNS。 ・IPv4逆引きゾーンを選ぶ。 ・ネットワークIDとして、192.168.1を入力→自動的に、1.168.192.in-addr.arpaというゾーン名が設定される。 ・動的更新はセキュリティで保護された動的更新のみにする→完了。 ・DNSサーバ自身のPTRレコードを登録。 （これでnslookupでサーバがUnKnownにならない）                       ・DHCPを役割の追加からインストールする。 ・IPv4から新しいスコープを追加。 ・スコープの名前を登録。 ・アドレス範囲は192.168.1.150から199にする。 ・除外と遅延の追加は設定せずに次へ。 ・リース期間はdefaultの8日。 ・デフォルトルート、DNS（自分自身とルータに設定）を設定する。 ・ダッシュボードの警告アイコンから、DHCPインストール後の構成ウイザードを起動して、コミットする。 ・DHCPの予約を設定。予約で割り当てるアドレスは、上記のスコープで払い出すIPの範囲とする。          ・w32tm /query /configuration（現在の設定確認） ・w32tm /config /manualpeerlist:ntp.nict.jp /syncfromflags:manual（日本標準時のNTPを設定） ・w32tm /config /update（設定を反映） ・w32tm /query /configuration（設定を確認：Type: NTP (ローカル)、NtpServer: ntp.nict.jp (ローカル)となっていることを確認） ・w32tm /resync /nowait（即座に再同期）  ・Hyper-Vマネージャで仮想マシンを右クリックし、[設定]を開く。 ・[統合サービス]-[時刻同期]のチェックを外す。  ・HKEY_LOCAL_MACHINE-System-CurrentControlSet-Services W32Time-TimeProviders-NtpClient を開く。 ・SpecialPollInterval のDWORD値を3600（10進数）であることを確認する。(defaultが3600)    ・%Systemroot%￥SYSVOL￥sysvol￥<ドメイン名>￥SCRIPTSの下にlogon.cmdを作成。 以下のように記述 ・net use H: /delete /yes ・net use H: ￥￥192.168.1.*￥***** /yes ・Active Directory ユーザーとコンピュータを起動し、[Users]→[新規作成]→[ユーザー]を選ぶ。 ・ユーザーを作成し、所属するグループタブでDomain Adminsを追加する。 ・プロファイルタブのログオンスクリプトの欄にlogon.cmdを記述する。      ・backup用のハードディスクをパススルーディスクとして接続する。 ・当該ディスクを、ディスクの管理でオフラインにする。 ・Hyper-Vマネージャの仮想マシンの設定で、ハードディスクを追加。 ・物理ハードディスクから、オフラインにしたHDDを選択する。 ・続いてあらかじめ作成していたdata用の仮想HDDを追加する。    ・対象のHDDを右クリック→シャドウコピーの構成を選ぶ。 ・設定ボタンを押して、制限値を設定する。（defaultの約10%とする） ・スケジュールボタンを押し、スケジュールを設定する。 ・対象のHDDは、dataドライブとbackupドライブとする。後者はパススルーディスクとなる。                 ・メモリは8GB ・仮想スイッチと仮想HDDは後で割り当てる。          ・容量固定VHDXで60GBを作成。         ・外部ネットワークで物理NICを指定。 ・管理OSにこのアダプタの共有を・・を無効にする。 ・SR-IOVを有効にする。 ・拡張セッションモードを許可する。     ・仮想プロッセサの数を2にする。 ・ネットワークアダプタで仮想スイッチを追加する。 ・仮想ハードディスクを追加する。 ・DVDドライブにOSのISOファイルを追加する。 ・ブート順をDVDドライブにして起動する。       ・Hyper-VホストをゲストOS間でのファイルコピーを可能にする。 ・Hy-er-Vの設定を開く。 ・拡張セッションモードポリシーで、拡張セッションモードを許可する、を有効にする。   マザーとRAIDのFW当ててから、サーバの起動時にこけたりすることがあったので、今一度OSを一からインストールし直す。二度やっている作業なので時間はかからず。OS、ドライバ、MegaRAID Storage Managerと導入が終わり、Windows Updateを掛ける。    ドライバ適用前はAVAGO SAS Adapter  適用後はSAS 9285-8eと型番表示  Storage Managerをセットアップ  completeを選択  LDAP認証は使わない  RSAキーはdefaultのまま2048  警告通知の選択  インストールの確認  インストール進行中  インストール完了  Storage Managerを起動して、IPアドレスを選択  Windowsユーザーでログオン  ダッシュボード  プロパティとインフォメーション  VDのRAIDコンフィグレーション  物理ディスクのプロパティ  SuperDoctorをインストール  アプリケーションの互換性エンジンをオフにする             ADMIN/ADMINでログオン  温度やファン回転数が並ぶ  HDDのステータスは読み出せず  システムインフォメーション  Alert Information  Report設定  電源制御    HD Tune Intel SSD Read  HD Tune Plextor SSD Read<  HD Tune Plextor SSD write  HD Tune RAID-5 Read  HD Tune RAID-5 write このグラフは後でわかるが、CRCエラーが生じている  HD Tune WD Red 8TB Read  HD Tune WD Red 8TB write  CDM Intel SSD 1GiB  CDM Intel SSD 8GiB  CDM Intel SSD 32GiB  CDM Plextor SSD 1GiB  CDM Plextor SSD 8GiB  CDM Plextor SSD 32GiB  CDM RAID-5 1GiB  CDM RAID-5 8GiB  CDM RAID-5 32GiB  CDM WD Red 8TB 1GiB  CDM WD Red 8TB 8GiB  CDM WD Red 8TB 32GiB  atto Intel SSD  atto plextor SSD  atto RAID-5  atto WD Red 8TB  HDD Sentinel  ディスクの管理      続いて、IPMIのFWも更新していたので、こちらもトライ。IPMIのFWは、IPMIのLAN経由でブラウザでIPMIを開いて、そこからFWをupdateする。途中までやりかけたが、よく見たら最新のIPMIが当たっていた。BIOSと一緒になっていたのだろう。こちらは中止する。  昨日の続き。今日はドライバ関連を当てる。Supermicroのドライバから、最低限必要そうな、チップセットとグラフィックスのドライバを当てる。前回同様、デバイスマネージャは綺麗になる。ちなみに、10G NICはX550シリーズであることが判明。X540だと思っていたので、ちょっとラッキー。MegaRAIDのドライバーのバージョンを見ると、AVAGOサイトの最新版の方が少し新しそうなので、更新。続いて、RAID Managerをインストールする。RAID Managerを起動し、FWを最新版に適用する。元々のFWは2011年版なので、かなり古いFWだ。更新が終わり、サーバを再起動すると、2015 AVAGO Technologyのテキストが表示される。が、ここから一向に進まない。まずい、やっちまったか・・と嫌な予感。10分以上そのままなので、止む無く強制断。そして再起動。幸いにも、大事には至らず、無事ディスクも認識し、Windows起動に至る。本日はここまでにしておこう・・。  単体では起動時70W  CPUファンも回転  アイドルで49W  SSD温度は47度  CPU温度は51度  RAIDチップは42度  もう一度CPU温度  外付けHDDエンクロージャ  外付けHDD+で起動時122W  同じくアイドル時で79W  ちなみに現行サーバはアイドル時63W 完成したPCハードを火入れ。一発目の起動では、FAN周りの異常を示すLEDが赤く点滅し、CPUファンが高速回転する、という謎の事態に陥ったが、二回目からは異状なし。ファンの音は、及第点か。若干気になるが、使えないことはないレベルだ。特に、HDDエンクロージャのファンが、120mm noctuaに変えたお陰で凄く静かになった。一番気になるのは、CPUファンか。しかしこれは直付けでそう簡単には交換はできない。たくさん付けたファンのお陰で、RAIDコントローラやSSDの温度上昇も気にならない。放射温度計の計測でのアイドル時だが、RAIDコントローラが40度少々。SSDは50度弱くらい。後は密閉した状態で、エアフローを含めてどの程度温度上昇を抑えてくれるかだ。 消費電力も測定。単体時は起動時MAXで70Wくらいまでいく。HDDを繋いだ状態だと、MAXで120W程度。起動して、アイドルでは70Wくらい。まあ、ほとんど負荷を掛けてないので何とも言えないが、現状のサーバ構成がHDDも含めて57Wくらいなので、増加分は許容される範疇ではないだろうか。 そして、Windows Server 2016のRTM版をインストール。StandardのGUI付をセットアップ。セットアップ自体は何のトラブルもなく終わる。今日はここまで。続きは後日。  ファン用コネクタ変換アダプタ  NOCTUAのファン3種  これは12cmファンで１世代前のもの  ベージュのカラーは珍しい  エンクロージャ背面  ファン口径変換アダプタを取り付け  12cmファンを取り付け  収まりはまずまず  新しいIN WINのケース外箱  今度のケースはCFD扱い  続いて4cmファン  RAIDコントローラに取り付け  針金クリップで固定  シンプルなフロントフェイス  天板には開口がなく、スライドロック機構  フロントには吸気用メッシュ  リアもパンチングメタル状態  内部もツールフリーでアクセス可能  付属電源はaPOWERMANの80PLUS PLATINUM  電源の背面部  内部ケーブル  90mm PWMファンを装着  バックアップ用のWD80 Red  ブートドライブはIntel SSD  フロントには40mmファンを2基  RAIDコントローラを装着  マザーボード装着  ATXケーブルは長さ足りず延長  ケーブル装着完了  フロントから外部HDD用電源  まず、ケースをIN WINのIW-BP659から、IW-CE685/300Pに変更する。IW-CE685/300PはCFD販売扱いで、梱包ラベルにもCFD Salesと印字されている。 ケースの変更と同時に、ファンもnoctuaに変更。まず、RAIDコントローラのヒートシンクに、針金のクリップで固定する。そして、ケースのフロントの90mmファンもnoctuaに変更。このケースは、フロント吸気、リア排気の1方向エアフローの構造。5インチベイに、前構成と同じ40mmファンを2基搭載したクーラーを組み入れる。真ん中の穴からはSATAエンクロージャ用の電源ケーブルを外出しにする。IW-CE685/300Pは非常に作りの良いケースで、ツールフリーで分解できる。シンプルな外観で、産業用っぽくて非常に交換が持てる。IN WINというと、色物系のケースも多いが、こうした質実剛健なケースの方が、自分的には好みだ。マザーの乗せ換えは、内部が広い分簡単。今回、バックアップ用に8TBのWD Redを追加することになり、これを5インチベイ下の隠しスペースに格納する。SSDは5インチベイの真下にくっつける。いずれも、ツールフリーで作業できる。電源は、80PLUS PLATINUMの認証済みの高品質品なのでそのまま使用する。一点、ATX24Pのケーブルの長さが足りず、延長ケーブルを追加購入することとなる。 ケース本体の他に、外置きのHDDエンクロージャも仕上げる。80→120のファン口径変換アダプタを介し、noctuaの120mmファンをくっつける。SAS8088ケーブルでPC本体と接続する。電源は前述したとおり、PC本体の電源からSATA電源ケーブル2本を引っ張って供給する。これで、新しいサーバのハードウェアが完成した。 サーバ組み換えの前に、今回使用したWD Redの動作音をiPhoneの音声アナライザで分析。RTA Liteというアプリを使ったが、ここから分かったことは、WD Red 8TBの回転数は、5400rpmではなく、7200rpmであるということ。RTA Liteの周波数分布を見ると、120Hzに突出したピークが存在する。HDDケースのファンも止めた状態で測定しているので、この音はWD Redが発しているとしか思えない。一般的には、WD Redは全て5400rpmで、WD Red ProやWD Goldが7200rpmと言われていたが、8TBに関してはRedも7200rpmだったことは衝撃。まあ、Red 8TBのみHGSTのHelio Sealの外観で、ファームウェア以外はHGST製ではないか、と言われていたWD Red 8TB。同じ外観、容量のHGSTのヘリウムHDDも7200rpmなので不思議はないのか・・。しかし、公式サイトはもちろん、Web通販や店頭、各種レビューとか、全て5400rpmと謳っているいるのだよな。また、WD Red 8TBはヘリウム密閉で静音性が高いと言われるが、アクセス音は結構うるさい。HGSTの高速ドライブにありがちな、カリカリ言うアクセス音が耳に付く。また、単体で動かして静寂な環境で耳を近づけると、定期的にカチ、カチというサーマルリキャリブレーションのような音がする。しかし、熱補正にしては間隔が短い。何なんだろうか。 ようやく、MSDNのサイトにWindows Server 2016が公開された。2016と、EssentialとHyper-Vがダウンロード可能になっている。早速、ISOファイルをすべてダウンロードする。週末に、本格的に新サーバのセットアップを行う予定だ。  AntecのVSK2000-U3  IN WINのIW-BL631/300H  IN WINのIW-CE685/300P noctuaのファンはOLIOSPECで購入。オリオ以外店舗で売っているところは聞いたことがない。通販ならaquatuningでも扱っているが、オリオの方が安い。それでも値段は普段使っているX-FANやAINEXの倍程度。流石にパッケージは豪華で、ゴムの固定用ブッシュまで付いている。 IN WINのケースは扱い店が減っていて、ヨドバシで購入。また、バックアップ用の4TBのHGST 0S03361も購入。こちらも扱い店が減っていて、普段HDD購入では使わないamazonを使用。バックアップ用HDDは、当初外付けエンクロージャに入れる予定だったが、PCケースの横幅が増えたため二台置くことが厳しくなり、内蔵に変更する。  HDDエンクロージャに使うリムーバブルラック  iStarUSA製  背面ファンは交換予定  HDDはロック機構で固定  エンクロージャ背面の基板  8cm-12cmの変換アダプタ  SFF8088-4xSATAケーブル  エンクロージャのゴム足  ゴム足を装着  搭載するWD80 x4台  WD80を装着  SATAケーブルを接続  HDDを載せたエンクロージャ  SFF8088コネクタ  電源ONでLED点灯  放射温度計も購入  これでチップなどの温度を測る  MegaRAIDのWebBIOSで設定  物理ディスク構成を確認  New Configurationを選択  Manual Configurationを選択  Drive Groupにディスクを追加  Accept DGを選択  Add to SPANを選択  Virtual Driveの設定  VDをFast Initializeで初期化する  PlextorのSSDは50度  MegaRAID SASカードは73度！  CPUは43度  SFFコネクタは下側に接続  RAIDチップにファン追加で40度に下がる RAIDエンクロージャとして使用する、iStarUSAのx4リムーバブルベイをセッティング。まず、ファンの交換を試みる。8cm→12cmの変換アダプタを用意していたが、丁度良いネジがなく、ホームセンターに買い出しに。2.6mmのネジで固定することができる。しかしもう一つ、ファンのDCコネクタの形状が、iStarのものは通常のものより小さい。恐らく、2.0mmピッチ。通常のファンコネクタは2.54mmピッチのようで、当然収まらない。ぴったりの変換アダプタは現存しないようで、2.0mmピッチ2ピンのグラフィックカード用の変換ケーブルを手配することにする。 そうした理由で、ファン交換は先延ばしだが、取り合えずRAID構築を行う。ブランクの8TB HDDをリムーバブルベイに装着し、PCを起動。HDDを実装した状態だと、これまで入れなかったRAIDカードのWebBIOSにも入ることができた。 ここで、新規のコンフィグレーションを行う。RAID-5でWrite Backの設定でRAIDを構築。設定は完了した。 次に、ストレージのベンチマーク。ベンチマークの際に、懸念していたSSDやRAIDチップの温度を測定しようと、放射温度計も購入。中国製の1500円のものだが、結構正確そうな数値が出る。 PCを起動して、RAIDチップとNVMe SSDの温度を測定。前者は60度以上と爆熱。後者は、ファンのお陰か、40度台だ。 そして、ベンチマーク。CrystalDiskMark、HDTuneProを使用。PlextorのNVMeのスピードが秀でている。ベンチ中にPlextor SSDは50度超えの温度に上昇。CrystalDiskInfoでも55度と表示された。まあ、50度台ならギリギリOKなのか。 そして、RAIDストレージのCDMでのベンチ測定中に、事件は発生した。突然、けたたましいアラート音が鳴り響いたのだ。焦った。RAIDコントローラって、こんな音がするのか・・。あまりに煩いので、慌ててPCをシャットダウン。RAIDチップの温度は70度近くにまでなっていた。 少し冷やしてPCを再起動したが、またアラート音が。WebBIOSに入ると、アラート音を消すことができた。そして、ステータスを見ると、RAIDがDegrade状態。4番目のディスクが、リビルドしている。な、何なんだ・・。 ディスクが完全に死んだわけではなく、なんらか理由で脱落したのか？しかし、この時点では、コントローラなのか、ディスクなのか、ケーブルなのか、原因は分からない。 とりあえず、リビルドは膨大な時間を要しそうなので、新規コンフィグでRAIDの仮想ディスクを新規で作り直す。この段階で、一番疑わしいのは、チップの熱暴走。そこで、RAIDチップに40mmファンを直付けする。そうすると、PC稼働中でも40度付近まで温度が落ちる。手で触っても全く問題ないレベルだ。 この状態で恐る恐るCDMを走らせると、1G/8G/32Gいずれも完走。やはり、熱暴走だったのか・・。しかし、RAIDチップにファンを付けたいところだが、Mini-ITXのケースではケースが干渉してファンが付けられない。ファンを付けるとしたら、ケースを改造するか、ケースそのものを一回り大きい、Micro-ATXあたりのものに変えるしか無さそうだ。 まいったな・・。まあ、本運用前に発見できて、良かったとも言えるのだが・・。  2016の評価版をインストール  DataCenterのGUI付きを選択 ISOイメージの容量は相変わらず5GB超えで、Rufusを使ってUSBメモリからインストールすることにする。 インストール作業自体はスムーズで、トラブルも無し。SupermicroのサイトからダウンロードしたWindows 2013 R2用ドライバのうち、グラフィックとチップセットのドライバだけ適用したら、不明なデバイスは無くなった。  実験用スイッチ  ファンをさらに静音型に変更  フロント面  マグネット式ステイ  RAIDチップの直上にファン  電源延長ケーブル  メッシュチューブで保護  フロントからケーブルを出す  配線の状態  ファンステイ  CPUクーラー  フロントの電源ケーブル  8TB HDDx4台  ロジテックパッケージ  ヘリウム封入で筐体は大分違う  筐体裏面  HGST製と言われている  裏面ネジ穴は4箇所  リムーバブルケースに載せる 背面をフロントに供えるので、実験用スイッチを使用する。細かい通気孔から通すため、分離1P型のLED延長ケーブルを使用。 そして、少し煩かったフロント5インチベイの2基の40mmファンを交換する。かなり静かになった。 最後に、HDDエンクロージャに供給する電源延長ケーブルを、メッシュチューブでカバーする。これで、サーバ本体側のハード構成は、ようやく固まったことになる。 RAID HDDの構築を踏まえ、He封入のWestern Red 8TB HDDのExtended Testも始める。 来週は、Widows Server 2016の正式リリース（の筈）だ。  死蔵していた5インチベイクーラー  搭載ファンは爆音  ファンを取り外す  交換用のAINEXのファン  ファンを交換  ケースファンはSilent8  ケースファンを取り付け  真ん中のカバーの一部に開口部を設ける  ファン用電源変換ケーブルを接続  40mmファンを二箇所に配置  RAIDカード裏面にも配置  SSDの上にも配置  前面の40mmファンx2基  マザーのBIOS更新 まずは、フロント5インチベイに40mmファンを二つ追加。以前購入して余りの煩さに死蔵していたAINEXの5インチベイクーラー・HDC-502BKを再利用し、この搭載ファンを新たに購入したAINEX CFY-40Sに換装する。電源ケーブルを通すために開口部のステンを一部切り落として完成。その他、ケースファンをSilent8に換装。SSDのSATAケーブルを接続し、ほぼ実稼働状態に組みあがる。 電源を入れ、ファンの回りや騒音レベルを確認。フロントベイの追加した40mmファンx2基の音が少々気になる。SSDとRAIDカード用の40mmファンはさほど気にならず。消費電力は70W程度。現行のサーバよりも消費電力は高そうだ。 フロントベイの40mmファンは、またまた無駄な投資になるが、換装する方向でまとまる。続いて、暫くBIOS画面で放置してSSDとRAIDカードの発熱を確認する。SSDの直上には40mmファンが回っているのだが、結構な熱気が排気されている。これはやはりファンは必須だな・・。そしてRAIDカード。こちらはエアフローが確立されていないので、ファンの効果はほぼない状態。触ってみると、爆熱。触れないくらい熱い。これは少し、直接的に廃熱しないと厳しいかもしれない。ファンの設置場所は改めて再考することとする。 この状態でハード構成確認の作業は止めて、Windows Server 2016のPreview版導入に移る。WinToFlashというツールを使い、ブータブルUSBメモリを作成。作成中に、ファイルサイズがファイルシステムの制限を超えている・・とメッセージが出るのが気になる。案の定、そのUSBメモリでインストールしようとしたら、途中でエラーが。ファイルが壊れているとの警告。どうも、WinToFlashではUSBメモリをFAT32でフォーマットしかできないようだ。Rufusという別のツールに変えて再チャレンジ。こちらはNTFSにも対応しており、エラーもなく作成完了。インストールも無事進行することができた。インストールの冒頭、BIOSセットアップ中に気になったことは、PlextorのM.2 SSDを認識していないこと。M.2の設定個所は多くなく、OP-ROMの設定と、帯域の設定くらいしかない。後は、PCIex16スロットのレーン設定が関係しているかも・・くらいか。2016のインストール自体は滞りなく終わったが、案の定、Plextor SSDは認識されない。件のBIOS設定をいろいろいじっても進展なし。X10SDVはNVMeには対応していないのか・・と諦めの域に突入し始める。確かに、X10SDVは、PCIeのM.2に対応、とはあるが、NVMeの文字はどこにもない。NVMeはPCIeの発展系と思っているが、後方互換はないのか・・。 八方手ふさがりで、最後に、、、と思い、BISOアップデートを敢行。SuperMICROのサイトからダウンロードすると、最新BIOSは7月付と、意外と新しい。これは可能性はゼロではないかも。しかし、SuperMICROは流石、一般コンスーマを相手にしていないので、アップデートツールも渋い。DOS用しかない。仕方なく、DOSのブータブルUSBメモリを作成する。こちらもフリーのツール、DOS-on-USBというのを使う。atmarkitを参考にするが、2GB以上のUSBメモリは起動に失敗する、、とある。2GB以下のUSBを探すが、古いボロボロのものしか出てこない。試しに使ってみるが、USBメモリが死にかけているのか、フォーマットの途中でエラーで失敗する。2GBの新品USBを買おうと思うが、意外と高く種類もほぼなし。躊躇しつつ、他にも方法がないかと調べると、灯台元暗し。先ほどインストールUSBの作成に使用したRufusも、Free DOSのブータブルUSBを作成できるようだ。しかも、4GBでもうまくいくようだ。早速試すと、あっさりブータブルUSBが完成。BIOS Flashツールとバイナリをコピーし、BIOS更新を実施する。 BIOS更新後、PCを再起動すると、起動中に見慣れぬスプラッシュが。ん？Plextorと書いてあったような・・。やった！BIOS更新で、NVMeに対応したようだ！BIOS設定画面内にも、Plextorの文字が見受けられる。 しかし、ここからも小トラブル。当初、初期化されたBIOSのOP-ROM設定はLeagacyの設定だったのだが、この状態で起動を行うと、Windowsの起動途中でフリーズしてしまう（OP-ROM設定に起因していたかは、不明だが。BISO更新後の、SATA設定等、その他の設定変更に伴うものかも・・）。強制再起動すると、Windows修復が走ったりして、正常起動はしたものの、M.2 SSDは認識されない。その後、OP-ROM設定をEFIに変えたら、ディスク管理からM.2 SSDが見えるようになった（慌てていて、エクスプローラからだけの視認で、ディスク管理画面を見てなかっただけかもしれない・・）。SSDを初期化し、OP-ROM設定をdisableに変えてみるが、こちらでも問題なく認識される。M.2 SSDはデータドライブとしてしか使わないから、不要なOP-ROM設定は使わない方が無難そうだ。 ということで、OSのインストール環境は確認でき、準備が整ったことになる。あとは2016の本リリースを待つばかりだ。  TFX電源  黒いボディ  ケーブルは一応、プラグイン  しかし、ケーブルが干渉して使用できず  IN WINのケース  EMU(エムコーポレイーション)向けの専用品なのか？  シンプルなケース本体  前面はマグネット固定のカバー  80Plus Bronzeの電源搭載  ケース内部構造  IN WINらしい構造  Intel SSD  5年保証  添付物はほぼ無し  メタルボディのSSD  PlextorのNVMe SSD  リンクスコーポレーション扱い品  中身はシンプル  ヒートシンクが付いている  片面実装  追加用ヒートシンクを用意  ヒートシンクが安定せず断念  脇のヒートシンクと少し干渉する マザーを装着し、先月購入したNVMeのSSDを取り付けてみる。このPlextorのSSD、余計なヒートシンクが付いているのだが、これが本当に余計。マザー上のチップ用ヒートシンクと微妙に干渉する。挿さらないわけではないのだが、微妙にSSDが傾く。また、ヒートシンクが飾りくらいの効果しかないのに、上面に複雑な傾斜がついていて、ファンや追加ヒートシンクが固定し辛い。おまけにヒートシンクを取り外すと保証が無くなる悪仕様。結論としては、追加ヒートシンクは付けずに、40mmファンをちょこんと上に載せることにした。 続いて電源。IN WINのケースは付属電源も80PLUS BRONZEで、そこそこのものが付いているのだが、Seasonicの80 PLUS GOLD品に変えることにした。 だが、このSeasonicの電源が曲者で、中途半端なプラグイン式なのだが、プラグインのコネクタ部が長く、ケースファンと干渉する。おまけに、プラグインケーブルが固く、長い。標準添付の電源の方がケーブル長は必要最小限で、取り回しもし易い。試行錯誤したが、装着は困難、との結論を下し、標準電源を使うことにした。Seasonicの電源はケース本体よりも高かったので、ショックは大きい。 最後に、RAIDカード。これにもファンを付けたい。40mmファンをヒートシンクの上に取り付けてみるが、そうすると、ファンがケースの側面と干渉する。これもいかんともし難い。ファンをカードの後方に置く方向で最終検討することにし、一旦組み込み作業は中断とする。 気が付いたら、10日ほど前に、Windows Server 2016のリリースが9月下旬となることが発表されていたようだ。まあ、大体想定通りのタイミング。下手すると年末になるかな・・と思っていたので良かった。いずれにしても、これで新仮想サーバの構築スケジュールが具体的に組めることとなる。ところで、今回はHyper-Vサーバは無償提供されるようだ。これはESXi対抗だろうか。ESXiか、Hyper-Vかは相変わらず悩ましいところだ・・。 ESXiのテスト導入を開始する。まずはBIOS画面を確認。  起動ロゴ  MegaRAIDの起動画面  VDはまだ設定されていない  Mainタブ  IPMIの設定  SATAポート  BOOTプライオリティ  CPUはきちんと認識されている  DIMMのステータス 再起動するとESXiのインストールプロセスが始まる。              きちんとSupermicro super serverと表示される。 Xeon D1541で64GBの構成。 Enrerキーを押す。 インストール先を指定。今回はテスト用のSSDに導入。 キーボード配列はUSのまま。 rootアカウントのパスワードを設定する。 F11キーでインストールを開始する。 インストールが完了する。     再起動後、F2キーを押して残った設定を行う。 ここで本来なら静的IPの設定を行うのだが、テストインストールなので、ここはこのままDHCPで続ける事とする。 続いてWindows端末からESXiサーバにブラウザでアクセスする。 証明書の警告が出るが、そのまま進める。                ライセンスの通知が出るが、テスト利用なのでそのままとする。 ホストの状態を確認すると、megaRAIDやGigabit LANは認識しているが、10G LANを認識していない。どうも、追加ドライバが必要なようだ。Linuxベースなので、この辺りはなかなか面倒。 おまけに、megaRAIDのWebBIOSがCtrl+Hキーを押しても開けない。この話は以前megaRAIDを使った時に聞いた事があって、調べたらすぐ出てきた。MegaRAIDのCLIから論理ドライブを作った上で、そのドライブの起動優先順位を上位にもってくる必要がある。これは次回試す事にする。 マザーボード輸入時の、消費税のチャージが来ないので、このまま逃げ切れるかな・・と思っていたら、DHLから請求書が届いた。4,900円。本体額の6掛に、消費税8%が載る、と思っていたので、想定通りではある。まあ、込み込みで115,000円くらいなので、14万弱の国内通販と比べると、十分安かったと思う。 仮想ホストとして、VMware ESXiを検討。実運用ではHyper-Vを使う可能性が大なのだが、Windows Server 2016リリースまで間があるため、ESXiの無償版を比較検討する。 まずは、WMwareをダウンロードして無償ライセンスの発行を行う。 ・VMwareサイトでアカウントを登録（もともとあったアカウントを流用） ・ESXi登録&ダウンロードページを開く https://my.vmware.com/jp/group/vmware/evalcenter?p=free-esxi6   ESXi ISO image (Includes VMware Tools) VMware vSphere Client 6.0 Update 2 春先に購入したMegaRAID SAS9285-8eをサーバに実装する。  未開封のパッケージ  開封したSAS9285-8e  カードの裏面  SFF8088ポートが2つ  全部で8台HDD増設可能  SuperMicroマザーに実装  テスト環境が出来上がる マザーとメモリが届いたので、仮組。まずは初期不良がないか確認。マザー、メモリ、SSD、電源だけの構成にして電源を入れたら、立ち上がった。メモリも認識している。まずはこれで一安心。本格的な組み立て、構築は、この後ゆっくりと始めることとする。OSのWindows Server 2016がまだリリースされていないし・・。  共通パッケージ  型番ラベルが貼られる  サイン入りのパッケージのチェックリスト  添付品はリアパネルとSATAケーブルのみ  マザーボードを取り出す  10GbE NICが2ポート搭載される  SATAポートも6ポート  CrucialのECC RDIMM  レジスタードで16GBなのでチップ数が多い  16GBx4枚で64GBは過去最多  Micronラベル  Crucialラベル  Micronのチップが並ぶ  メモリを実装  64GBのメモリが搭載される  仮構築用のケースにマザーを実装 23日にはマザーボードが、25日にはメモリが、続々と到着。しかし、英国のEU離脱に関しては目論見が大きく外れ、なんと国民投票で離脱が決定。円高に大きくぶれて、一時100円を切る始末。こりゃ、一週間待ったほうが良かったな・・と完全に後悔。国民投票直前は106円台だったんだけどね・・。 まだ先は長いのだが、HDD x4用のバックプレーンを検討する。ファイルサーバにも使用している、iStarUSAの4-in-3のタイプにするつもりなのだが、ファンが少々煩い。ファイルサーバはケースに内蔵していてかつ、内部たくさんのファン、電源、HDDが詰まっているので掻き消されているが、今回は外置きなのでファンを交換したい。大口径でゆるゆる回したいので、80⇒120のファン口径変換アダプタを探す。AINEXにそのような製品があったようなのだが、既にディスコン。諦めてたら、ヨドバシに、AINEXと同じ型番でBulletという違うメーカーの商品が在庫有りだった。無くなると怖いので、早めに購入。 マザーを発注したので、メモリも用意しなければならない。動作確認ができないからだ。メモリ容量は、16GBx4枚にしようと決めてたのだが、悩んだのは、ECC付か、無しにするか、だ。当初、ECC付にするつもりだったのだが、16GBx4で48,800円。この頃、メモリ価格は日に日に値下がりを続けており、非ECCはCrucialなどでも16GBx4で26,990円。2枚組の方が割安で、12,890円とか。 これは非ECCの方がお得だな・・と、最安のイートレンドで、CrucialのDDR4-17000の16GBx2枚組を2セット発注。し、しかし、ここでも注文時にトラブル発生。クレジットカードの認証が通らないのだ・・。この経験は以前もあった・・。思い出しだ。イートレンドはクレカの不正使用があって、三井住友カードではブラックリストに載っており、発注ができないのだ・・。ああ、これは何かの神の思し召しなのか・・と一旦メモリの注文を断念。もう一度冷静になって再考してみることにする。 冷静になっていると、イートレンド以外の店舗も同等の価格に落ちてきた。土曜日になると、Arkが週末特価で同じメモリを12,480円とかで特価販売している。アキバに行って買うか・・等と考えていたら、ふと、海外通販ならECC付も、もっと安いのでは・・という当たり前の疑念が浮かび上がる。すぐにamazon.comで確認。やはりそうだった。Crucialの16GBx4が、$336.95だ。送料と輸入時のチャージを入れても、日本円で約4万円。この差なら、せっかくなのでECC付の方が良いのではないか、と思い始める。 ECC付の効用だが、今まであまり深く考えたことはなく、単純にエラー訂正が・・くらいにしか認識してなかったのだが、ちょっと調べると、ECCメモリのエラー訂正に有効なのはソフトエラーで、それは太陽から降り注ぐ宇宙線の影響によるものだということを知る。これはちょっと意外だった。そんなものの影響って、身近なところで結構あるんだ・・と。まあ、PC1台で年に1回あるかどうか、くらいらしいが。その他もちろん、ハードエラー時でもそれを検知してくれる仕組みがあるので、障害時の切り分けにも繋がる。ソフトエラーについてはSQLなどが動作し、IOレスポンスが激しい場合、特に有用とのことだが、自分の使い道ではDBは使わない。常時通電サーバではあるが、BSoDで落ちたとしても、それほど困ることもなし。しかし、折角ECC対応のマザーを買うのだから、対応メモリを使わなければ損、という気持ちも捨てきれない・・。 グダグダ御託を並べたが、悩んだ時は高い方・・ということで、結局はamazon.comでECC付を購入。これで、マザーボード、メモリと、肝になるパーツを注文したこととなる。到着を暫く待つこととなる。 サーバリニューアルの肝とも言える、マザーボードの注文を真剣に検討。ターゲットはSupermicroのX10SDV-TLN4Fで、これは変わらず。問題はどこから買うか。当初、国内のマイスペックというサーバ系に強い通販サイトで検討。X10SDV-TLN4Fには、初期のD1540が載ったものと、最新のD1541が載ったものの、2リビジョン存在するのだが、マイスペックははっきりとその2リビジョンを別商品として（無印とV2.0）掲載しているので、安心だ。価格税込みで138,995円。 当初はこれで良いかな・・と思っていたのだが、少しでもコストを抑えたく、海外通販を物色。amazonは輸出NGで駄目。eBayはいくつか$900前後で出品があるが、1541搭載か分からなかったり、派生商品が混ざっていたりで、少し面倒な感じ。そうこうしていたら、WiredZone.comという、Supermicro正規代理店のUSの通販サイトを発見。値段も$886.39で、輸出も可能で送料も$120程度。CPUもD1541とはっきり明記している。ここが一番いいな・・と狙いを絞り込む。 あとは為替レート。この頃は、英国のEU離脱問題で為替変動が荒い。23日の国民投票で離脱となれば、1$=100yenに上がることも想定されるが、残留だと110yenくらいの円安に後退するのでは、との声も。今現在105yenくらいで中庸な感じなので、頃合いとしては良いか・・と、いよいよ発注に。 WiredZoneで注文のプロセスを踏み、支払いでPayPalを選び、いよいよ注文・・。という段になり、PayPalのアラートが。何と、PayPalは10万円に利用額が制限されているようで、$1007とギリギリ10万円を超えてしまったので注文ができないのだ・・。致しかない・・少し冷静になるか、と一旦諦めたのだが、その後メールを見ると、なんと受注確認のメールが・・。注文確定したつもりないのに・・。そのメールによると、支払いが確定してないので、PayPalのSendMoneyか銀行振り込みで送金してくれ、との内容。どちらも面倒そうなので、クレジットカードに変えよう・・ということで、WiredZoneにメールして、注文分はキャンセルしてもらう。そして、再注文。クレジットカード支払いにすると、今度は通ったようだ。・・と思ったら、またも問題発生。今度はWiredZoneが、本人確認のため、ID（運転免許証など）とクレジットカードの写しをファックスで送れ・・と言うのだ。どうも調べると、海外通販で初取引の場合は、店側のリスクを減らすために、このような書類を求めることが多いらしい。最近はamazonとeBayくらいしか海外で買い物をしないので、すっかり感覚が鈍っていた。一時は本人確認書類を送ろうか・・とも思ったのだが、有名でもない海外通販サイトに、免許証やクレカの写しを送るのは憚れる。しかも、海外へのファックス送信も面倒だったりする。で、またまたWiredZoneにメールして、ファックス無いのでキャンセルするか、支払いをPayPalに戻してくれ、とお願いする。すると、ドライにキャンセルされた。 3度目の注文。またしても、PayPalだ。10万円以上なので処理が進まないことは承知で注文。するとすぐに、SendMoneyを促すメールが。よし、SendMoneyだ。しかし、またも問題発生。SendMoneyも結局10万円以上は扱うことができず、それを行うためには、本人認証が必要なのだ・・。処理を進めると、ここでもID（運転免許証等）の提示が必要であることが分かる。今度はFAXでなくてもいけるので、スキャンした免許証を送信。これであとは承認が通るのを待つだけ・・と思ったら、また警告メールが来た。免許証の氏名・住所と、登録されている氏名・住所は日本語・英語が合ってないといけない、と書かれている。氏名は勝手に変えられないので、電話しろ、と・・。幸い、PayPalは日本にも出先があるので、国内のサポートセンターに電話する。そしてオペレータに頼み、登録内容を日本語に書き換えてもらう。本来なら、ここから承認用PINコードの郵便送付にさらに数日要するのだが、オペレータが気を利かせてくれて、その場で承認を通してくれるという。数時間で承認が通り、晴れて、SendMoneyでマザーボードの購入代金をWiredZoneに送金。総額で、11万弱。為替レートは108円。まあ、手数料入れればこんなものか。後は、輸入に掛かる消費税がどれくらいかかるかだ。多分、5,000円くらいだと思うのだが・・。 またまたHeのRed 8TBがポイント還元率高いので購入。今回はボーナスポイントのMAXを考慮して、1台に留める。これで必要な8TB HDDは残り1台となった。      選んだのは、サーバ用の保守用パーツとして仕入れて不要になったというX520。出品写真で見る限りの貼付シールは、純正品と同一に見える。ロープロOnlyというのも信用性が高まる。米国からの出品なのも安心できる。値段も1万円以下と安かったので、Buy Nowで購入。また、実際に取り付けるPCがスタンダードプロファイルのため、追加でロープロブラケットのみ、別の出品者から落札。これは偽物でも構わない。 10日ほどしてブツが到着。梱包は粗末で、開封済みの静電防止袋に入っているだけ。PCIスロットの差込口には傷が無いので、確かに未使用ではあるようだ。SFPのトランシーバ部のところに指紋みたいのが付いてたのと、基板裏に埃が付着しているのが残念だが、価格相応なのだろう。以前購入したパチモノぽいX520と比べると、基板のパターンが微妙に異なる。実装部品も背面で一つ、明らかに違う部分がある。シルク印刷の位置も異なっている。YottaMarkはないが、QRコードシールが背面に貼られている。これはOEM用の本物であることは、まず間違いないだろう。そうなるとますます怪しくなるのはパチモノぽいX520。中国あたりで違法で製造されているのだろうか。まあ、本物とほぼ同じ部品構成のようなので、動けば問題無さそうではあるが、気分的にはちょっと嫌なところではある。 先行して発注していたX540-T2含め、2枚のNICが手元に揃い、あらためてまじまじと観察。すると、いくつか気になる点が浮上する。 まず、2枚ともYottaMarkと呼ばれるホログラムシールが貼られていない。Intel純正リテール品はこれが貼ってある（茶箱のCT等は貼られてないようなので、これがないからと言って必ずしも偽造品である訳ではない）。また、カードの入ったプラケースに、Intelロゴのエンボス加工がない。さらに、DA2の方は、背面に製造月と製造国を示したシールもない。ただし、両機種ともシリアルシールはあり、MACアドレスはIntelを示している。生産国はともにマレーシア。気になるのは、逆に製造月シールの貼ってある、T2の方。製造月シールは15年6月となっているのだが、シリアルシールから製造月を読み取ると、14年●●週となる。これは1年ほどずれがある。過去に購入したIntel NICで調べてみたが、製造月シールとシリアルの製造週の時期は一致しているようで、通常はこれほどずれる事はなさそうだ。 基板上のシルク印刷や部品からは怪しい部分は感じられないのだが、パッケージや貼付シールは怪しい。そもそも、格安の10G NICをこれほどまでに潤沢に供給できるのはおかしい。eBayでもかなり出回っているようだが、出元は中国と考えられる。Webで同様のパチモン事例はないかと情報収集するものの、I350世代での情報はあるのだが、X520/540系はほとんど偽造品に関する情報がない（海外のフォーラムで2-3件あるのみ）。正規品の実装部品の写真などがあれば比較もできるのだが、それらも少なく、判定が難しい。はたして、これらの格安10G NICは偽造品なのだろうか？ LANやCPU、マザーの検討と並行して、もう一つ検討を始めたのが、足回りのRAIDコントローラ。実は当初、Xeon e3で組もうと思っていた時は、マザーオンボードのSATAポートとIntel RSTを使ってRAIDを組もうと思っていたのだが、RSTはソフトウェアRAIDに近いもののようで、あまりパフォーマンスが期待できない。そもそも、Xeon DのSoCマザーには搭載されていない。そうなると、RAIDコントローラの増設しかない。HDDはPC本体の外に置くので、必要なのは外部ポートを持ったRADIコントローラになる。内蔵タイプはたくさんあるのだが、6Gbpsの世代で外部ポート付きで安いものはなかなか見当たらず、結局、eBayでDELL OEMなLSI MegaRAID SAS9285-8eを選定する。一世代前の、8880EM2だと1万円切で入手できそうなのだが、3Gbpsで、搭載チップとかも弱そうなので、パスする。SAS9285-8eは送料とImport Chargeを含めると25,000円コースになってしまった・・。これまでRAID/HBAカードは1万以下のものしか買ったことがなかったので、初めての大盤振舞となる。     ということで、急にX520-DA2購入モードに突入してしまい、数時間後にはポチってしまっていた・・。いやあ、早くも10G関連製品、2製品目のget。 どうせ大々的に仮想サーバの構成を変えるなら、今年のリリースが予定されているWindows Server 2016のタイミングが良いのでは・・と思い始める。正式なリリース時期の案内はないが、Windows 10の次期大型アップデートが予定されている夏ごろではないか？ となると、少しゆったりと更新については進めていっても良さそうだ。仮想ハイパーバイザについても、従来通りのHyper-Vではなく、ESXiという選択肢もありそうだ。いずれにしても、暫くのんびりと構築検討していこうと思う。 Xeon e3での構成を検討しつつ、他にも色々情報を集めていると、SoC型のXeon DというBroadwellベースの省電力多コア型プロセッサーもあり、すでに搭載マザーがSupermicroから一年ほど前に販売されていることを知る。このマザー、確かに発売開始時にアキバPC Hot Lineなどで見た覚えはあるのだが、あまりに高いため、関心を抱かなかったようだ。 あらためて見ると、件のSupermicroのXeon D搭載マザーは、8C/16T対応で、10GBase-T x2ポートをオンボード搭載している。さらに、Intel I350 x2ポートも載っている。mini ITXなので、PCIeは1スロットのみだが、x16だし、これだけオンボード搭載されていれば、挿すカードはRAIDコントローラの一枚で済みそうだ。余談だが、このXeon Dは、さらなる多コア化が進んでおり、16Cモデルもあるようだ。流石に高すぎてパスではあるが・・。 本命の8C/16TのSupermicro、X10SDV-TLN4Fは価格的には14万円近い価格ではあるが、10GのNICが積んであることを加味すれば、それほど高いとも思えなくなってきた。さらに、e3ベースの構成と比べて、Registerd DIMMが使える点も大きい。e3ではECC付きはUnBuffered型しか使えないのだが、UnBufferdのECC付きは種類が少なく、16GBものは価格も高い。Registredの方が種類も豊富で価格もこなれている。 もう一つ、X10SDV-TLN4Fには管理用LANとして、IPMIポートが一つ用意されているのも興味深い。まあ、自室で使う分にはIPMIなんてなくても構わないのだけど、興味心から使ってみたい気はする。 ということで、Xeon e3ベースの検討から、翌日にはXeon Dへの検討に、一気に傾倒するように変わってきてしまった。  INTEL製DBS1200SPL  MSI製C236M  ASRock Rack製C236M WS  Supermicro製X10SDV-TLN4F 既存の仮想サーバのNICは4xGbEで、これを10Gに変えることもできるのだが、どうせ10Gにするのであれば、足回りのストレージも速くしなければ意味がない。やるなら、RAIDカードも増設するしかない。そうなると、NICもRAIDもPCIe x8になるため、現状のマザーのH87チップセットだと厳しそうだ。 色々情報収集すると、今どきの静音・低消費電力のサーバCPUとしては、SKYLAKE世代のe3-12xx-v5シリーズが有望。その中でも、e3-1235L-v5は、TDP35Wで4C/8Tと、ニーズにマッチしている。しかし、価格.comやショップの通販サイトを見ても、このCPUは発売された形跡が見られない。未発売なのか？しかし、不思議なことに、ヤフオクで同CPUが転売された履歴がある。1月に店舗購入をしたとあり、ES品とかでも無さそうだ。 もう一つのキーパーツである、マザーボード。これはe3-v5世代を使うとなると、Intel C236チップセットが最有力候補となる。Micro ATXでC236を搭載したマザーとなると、MSI、Asrock Rack、Supermicro、そしてINTELが存在する。MSIのマザーは2万切で安いのだが、PCIeスロットの制約が多く（x8/x8ができない。x16/x4となる）、断念。Supermicroはmini ITXなので増設ができず除外。Asrock Rackはスペックを満たすが、値段が高い。Intel謹製と同じくらいだ。そうなると、おのずと候補はIntel謹製に絞られる。 こいつは、ぷらっとほーむのWeb通販に金額が掲載されている。納期は問い合わせせよ、とのことなので、フォームに入力して送信してみる。 翌日早々にぷらっとほーむからは返信が来て、問屋在庫があるので即納可能との連絡。ついでに、以前、このIntel謹製マザーが店頭販売された実績のある、九十九のパソコン館IIの地下フロアに電話をしてみる。まず、CPUのe3-1235L-v5のことを聞くと、入金後発注で取り寄せは可能とのこと。最新の価格は不明だが、一か月前の実績で税込み34,000円との回答が得られた。さらに、Intel謹製マザーについては店頭在庫もあるという。こちらは税込み34,400円。CPUとのセット割も適用されるので、3,000円値引きが入るという。非常に魅力的だ。この時点では、週末にでも店頭購入してしまいそうな勢いとなる。うーん、困ったものだ。     そんなことを考えていると、3月下旬になり、10G NICの定番・X540-T2が2万円近くまで下がっている。マケプレの2店舗が競い合っているようだ。迷いながらも、ここで買っても宝の持ち腐れかも・・と躊躇していると、乱高下して22000円くらいまで上がってしまった。ここで一旦物欲は治まったのだが、一度気になると関心は高まり、価格watchしていると、再び年度末決算の締日・3/31に20,000円ジャストまで下がってきた。こうなると我慢できない。本来2枚は欲しいところだが、そこはぐっと我慢して、物は試しに・・と結局一枚だけポチってしまう。まあ、eBayや米尼より安いし、この値段はなかなか出ないだろう。案の定、次の日から値段は戻し、24,000円くらいになってしまった。 翌日にはブツが届き、すぐには使わないが、真偽判定のために開封。見た限りは本物にしか見えない。使ってはみたいが、ハブも無し、対向のNICもないため、何もできず。取りあえずは箪笥の肥やしか・・。しかし、タガが外れたとも言えなくもなく、今後なし崩し的に10G関連製品を買ってしまうのでは、という恐れがある・・。どうなる事やら・・。 |