前回の記事が以外と伸びたので。
サーバ室の現在の状況
先日の投稿は1年前の状況で実はラック内が大幅に変わってます。
目的があって変わったというよりは、機材を買える価格で入手できたかで変化しています。
とはいえ、ある程度理想に近づけるため無理は一部してますが・・・
その整理も含めて書いていきます。
Stella仮想基盤
vCenter+ESXiで構築した3Tier 仮想基盤です。
サーバ2台をコールドスタンバイにしているのでHAは無効です。
バックアップサーバや監視用マシン、検証用マシンなどがデプロイされています。
サーバ
HPE ProLiant DL360 Gen10です。
Natsumeを常時稼働とし、Meiは必要に応じて起動します。
HPEを選定した理由はシンプルに自分がよく触っているプロダクトだからです。
もともとはGen8を使用していましたが、Gen10を比較的安価(???)で
落札できたのでリプレースとなりました。
全面リプレースといえど、流石に準現行であるGen10はまだまだ高いので
運用する台数を減らすことにしました。(3台→2台)
そもそも家庭用15Aコンセントではこれ以上の運用は無理です・・・
基本的にサービス系、iSCSI、vMotionは10G*2で接続されています。
10Gスイッチが非冗長のため1GのポートをBackupとして利用しています。
vMotionネットワークは10G*2で構築しそれぞれVMKernelを作成。
Multiple-NIC vMotionを設定しており20GフルスピードでvMotionできます。
Natsume Server
- CPU：Intel Xeon Platinum 8168 *2 (48C/96T)
- RAM：DDR4-2666 Registered DIMM 32GB *12 (384GB)
- Network：Service(10Gb+1Gb)*2、iSCSI(10Gb+1Gb)*2
- Network：vMotion(10Gb)*2、iLO(1Gb)
- Storage：300GB SAS HDD*3 RAID1 ADM(TripleMirror)
常時起動サーバ。
消費電力が大きいですが割り切りました。常時200Wぐらいです。
また、メモリがA3DCに対応しているため障害時の連続稼働確率が高めです。
NICとHDD以外この構成で15万で落札しました。安すぎんか？
Mei Server
- CPU：Intel Xeon Platinum 8153 *2 (32C/64T)
- RAM：DDR4-2666 Registered DIMM 16GB *12 (192GB)
- Network：Service(10Gb+1Gb)*2、iSCSI(10Gb+1Gb)*2
- Network：vMotion(10Gb)*2、iLO(1Gb)
- Storage：600GB SAS HDD*6+Spare RAID6
必要なときに起動するコールドスタンバイ機です。
高負荷処理やNatsumeServerを停止するとき使用します。
電源は商用電源に接続されていて、UPS負荷を気にすることなく使用可能です。
ローカルストレージも大きめに作成しており、
ストレージ停止時はデータストアとしても使用可能。
Natsumeを購入してクラスタEVCをSkylakeで統一したかったため導入しましたが
こちらはスペックに対して割高だったかなと思ってます。
まぁ今のところ故障等のトラブル起きてないので良しとします。
ストレージ
ストレージにはQNAPを使用。
自身の経験値的にはNetAppがよく、性能的にはUnityやPureStorageなのですが
それらはライセンスの問題とそもそも価格が高いということもありQNAPを。
iSCSIによる仮想基盤のデータストアが目的だったので、
ファイルストレージなQNAPは性能面で不足しているのは否めませんが
結果的にCIFS共有やHBS3によるクラウドバックアップ、
SnapMirrorスナップショットレプリカなど便利に使えてるのでOKです。
Asuka Storage
- Model：QNAP TS-1886XU-RP
- RAM：DDR4 ECC 16GB*2
- Network：Service(10Gb)*2、iSCSI(10Gb+1Gb)*4
- NVMe(Cache)：WD SN700 1TB *4 RAID10(QM2-4P-384)
- SSD：Micron 5400Pro 1.92TB *6 RAID6
- HDD：TOSHIBA MG 8TB HDD*11+Spare RAID6
iSCSI、CIFSメインストレージです。
SSD領域、HDD領域を作成しておりNVMeはキャッシュ専用となります。
両方ともブロックLUNとCIFS領域で用途によって使い分けしています。
SSDは低使用率なMicronSSDを複数枚購入できたため
かなりの容量のオールフラッシュ領域があり10Gを最大限活用可能です。
iSCSIネットワークはiSCSIは10Gと1GによるActive/Standby構成。
同時アクセスに備えて4パス構築しラウンドロビンでアクセスできます。
CIFSネットワークはX510スイッチに10G*2(LACP)で直収しています。
NICはIntel X710-DA4とMellanox ConnectX4の異種混合で障害に備えています。
Suzune Storage
- Model：QNAP TVS-872XU-RP
- RAM：DDR4 4GB*2
- Network：Service(10Gb+1Gb)*2、iSCSI(10Gb+1Gb)*2
- NVMe(System)：Intel 760p 256GB*2 RAID1 (QM2-4P-284)
- NVMe(Cache)：TOSHIBA PLUS G2 2TB*2 RAID1 (QM2-4P-284)
- HDD：12TB HDD*6 RAID6
各種バックアップ用ストレージです。
SnapMirrorスナップショットレプリカによりAsukaからのバックアップに加え、
Asukaが使えないとき用の代替iSCSI領域を提供しています。
ネットワークはサービス用とレプリカ用ネットワークの2種10Gb+1Gb。
iSCSiは2パス分の10Gb+1Gbを構築しています。
X510スイッチ側に10Gbの空きポートがないため
Active(10Gb)/Standby(1Gb)にして運用しています。
ネットワーク
理想は10Gbスイッチのスタックなのですが、それに対応したスイッチを
入手できていないのでなんちゃって冗長構成になっています。
vPCは嫌いなのでStackWiseとかの物理スタックの機器がほしい・・・
Allied Telesis AT-X510
みんな大好き例のスイッチ。うちには9台あります。
- AT-x510-28GTX x3
- AT-x510-52GTX x2
- AT-x510-52GPX x1
- AT-x510DP-52GTX x1
- AT-x510-28GSX x2
例のスイッチとして格安で販売されたのはAT-x510-28GTXのみです。
ちなみに私は2台しかその価格で買ってません★
このスイッチの内6台を使い、3つのラックのToRスイッチとして運用しています。
Ciscoに比べ入手性が高く、価格も安い。その割にCiscoライクなCLIで
スタックの機能も安定しているなどが選定理由です。
本ラックではBackup側の1Gbや上位側との接続に利用しています。
ちなみに仕事でAlliedTelesisの取り扱いはありません。かなしい
SFP+が実質2ポートなので10Gb機器のほとんどはCRS326に接続しています。
mikrotik CRS326-24S+2Q+
新品で変える10Gb*24、40Gb*2最安だったスイッチです。
定価だと$599.00、実売だと$465.00前後です。
自分は2020年に買ったのですが、そのときは$388.16でした。
当時は40,504円ぐらいで変えましたが今は67,489円以上します。
今、そんな金額だしたら中古の10Gbスイッチ買えちゃうよ
ちなみにAmazonだと10万してました。送料とか考えるとそのぐらいになりますね…
このスイッチはスタック機能は無い(MLAGはある)ものの、
割と安定性が高かったりSFPのベンダーロックがほぼなかったりで構成を考えるのが楽です。
あと基本オペレーションがGUIになるのは頂けないのですが、そのGUIでリアルタイムにスループットの値が見えるのでトラブルシュートもしやすい印象です。
ちなみにこのRouterOSというのはL3の機能も色々できるのですが、
この製品自体CPUが非力なのであまり使い所がないです。
そもそもBlockDiagram見るとCPUとスイッチチップ 1Gbしか帯域無い…
L3HWオフロード機能が結構優秀なので詳しい人はそこ多様するようです。
自分はネットワークわからないのでService、iSCSI、vMotionでVLAN分けたり等、
スマートL2スイッチ程度に使っています。
ZFSストレージサーバ
- CPU：Intel Xeon E5-2470 *2 (16C/32T)
- RAM：DDR3-1333 Registered DIMM 8GB *12 (96GB)
- Network：40Gb+1Gb
- Storage：WD Blue 6TB*3 ZFS RAID-Z
System：QNAP QDA-A2AR (SanDisk ExtremePro 512GB*2 RAID1)
HP DL360e Gen8。リプレース対象外としたGen8です。
OSにはOpenZFSを組み込んだRedHatを入れています。
ZFSの圧縮を有効にしており、大容量データ(主にストレージフルバックアップなど)の
圧縮作業の一時領域として使っています。
NICは40G+1GのActive/Standby構成にしてxz圧縮処理が高速で実行できる
大容量ストレージ領域として利用しています。
(SSDで作ると書き込み制限が怖いので…)
ZFSなのでHDD 6TB*3はHBAで直結。
システム領域はQDA-A2ARを使用してSSD 2枚をRAID1しています。
これだけリプレースしてない理由はシンプルにLFFなGen10の入手性が悪いからです。
流石に6TB*3では足りないことが多いので8LFF2SFFなDL380 Gen10がちょうどいいなぁ…
録画サーバ
- CPU：Intel Xeon Gold 6126 *2 (24C/48T)
- RAM：DDR4-2133 Registered DIMM 8GB *12 (96GB)
- Network：40Gb+1Gb
- System：Crucial MX500 512GB RAID1
- 録画領域：SATA HDD 8TB*10+Spare RAID6
- チューナー：EarthSoft PT3、Digital Devices Max M4
常時起動サーバ。
過去、自作PCで運用していた録画サーバを重い腰あげてラックサーバ化しました。
SmartArrayP816i-aを搭載しているのでSASエキスパンダ無しで運用しています。
このサーバで地上波2chを全録。その他EDCBで録画という運用をしています。
また、容量に空きがあるので一部バックアップのデータも保存しています。
(QNAPがあまりに独自のファイル構造すぎるのですべてを任せきる勇気はなかった…)
ファイルシステムにはReFS整合性ストリームを有効にしておりデータ破損に備えています。
あとはこちらもA3DCメモリプロテクションに対応しているので障害に強い・・・はず。
ネットワークは過剰かと思いましたが、比較的大きいデータを利用するので40G接続にしています。
Gen10で、かつLFF対応のラックレールはまず中古で出回ってないので、
諦めてAmazonで買いました。翌日届きました。すごいね現行機種
その他管理系
リモート管理等するため、自分なりに導入している機材です。
コンソールサーバ
ド定番のセイコーのコンソールサーバを導入しています。
もっとも、引越し後未だにコンソール配線できていないのでほとんど挿せてません…。
ただQNAPのコンソール見れるだけで利便性が全然違うので非常に便利です。
コンソールログはすべてNFSサーバへ転送しログを記録しています。
IP PDU
リモートでもサーバのコールドブートができるIP-PDUです。
3台中1台は商用電源に接続し、必要に応じてサーバの電源を入れたりしています。
2台をUPSに接続し、もっぱら消費電力の取得に使用しています。
もちろん、障害時にコールドブートしたりなどの確認も可能です。
取得した消費電力情報はPrometheusを経由しGrafanaへ表示させています。
Grafanaにはその他スマートメーターの電力やSwitchBotからの情報を取得してます。
監視カメラ
SwitchBotのカメラをカーテンレールに設置しています。
このカメラは動体を検知してmicroSDに録画してくれる機能が搭載されており、
監視カメラとして利用しています。
あとは暗視性能が異様に良いのでとても助かっています。（まぁ検知しても撃退する機能はないのですが…）
UPS
OMRON BU150RとBUM150RAです。
常時インバータ式にしたのは「どうせなら」という意思が強くロマンです。
ちなみに電圧自体はサーバ室とリビングが別系統の電源のためそこまで電圧降下はしません。
拡張バッテリを搭載したことで「700W近く消費しながら1時間近く動き続ける」という過剰性能になっています。
まぁストレージとかあるし長い分には全然大丈夫です。
一方、ラインインタラクティブ方式に比べて常時インバータは消費電力が大きく、
同じ出力でも、負荷機器の消費電力が少し落ちてしまいます。
なのでガッツリ仮想マシンぶん回すとすぐにUPSのオーバーロード通知が来ます（白目）
だから商用電源接続の高負荷用サーバが必要だったんですね（元も子もない）
BU150Rを2台にして別系統からそれぞれ電源取るのが正解だったかもしれないです。
以上、メインラック搭載機器
改めてこう記載してみると、ここ数年で高額な機材がハチャメチャに増えてますね…
ここ最近は節約生活をしているのですが、
これらを購入してた時期は何考えてたんですかね。
反省します・・・
