はじめまして
初めまして。IIJの堂前です。
突然ですが、先日リニューアルしたIIJ Technical Informationの番外編的なコーナーとして、blogを書くことになりました。一応IIJの公式コンテンツの一部ではありますが、blog形式と言うことで寄り道をしながら緩くやってゆきたいと思います。大体2週間に一度は記事を更新できるといいなぁと思いますが、少々ずれても温かい目で見て頂けると幸いです。
執筆者は当面私、堂前(どうまえ)が担当しますが、折に触れて他のスタッフにも執筆を依頼していきたいと考えています。
「90kW電気使いたいんだけど、できる？」
自己紹介代わりに、まずは一つ話題を。
現在私は「アプリケーションサービス部」というところに所属していますが、直前までは「データセンターサービス部」というところで外気冷却コンテナユニットによる次世代モジュール型エコ・データセンターの開発(実証実験)に参画していました。
そもそもこの件に関わることになったきっかけは、「90kWの電力を消費する設備をどうにかして(格安で)そろえる」というところからでした。実証実験の大きな課題の一つは「外気を使った冷却器が正常に作動するかどうか」という事です。その冷却の実験を行うためには、何かの方法でコンテナ内で電気を消費して、熱を発生させなければなりません。
90kWというのはかなり大きい電力です。よく持ち出すたとえ話として、一般的な民家では主幹ブレーカーの容量が30A(3kW)という話があります。90kWというのは実に民家30軒分がフルパワーで電気を使った状態に等しいのです。
最初はまっとうに考えて、業務用のヒーターで行こうと思いました。しかし、秋葉原の某電熱屋さんのWebを見てみたところ、そういう品物はあるのですがそれなりのお値段……。実験用ということであまりコストをかけるわけにもいかず、この案は没になりました。
一番効率がいいのは、ホットプレートらしい
次に考えたのが、家電製品の利用です。何かいいものはないかと、Amazon.co.jpを探していると、いきなり最適なものが見つかりました。ホットプレートです。ホットプレートはすばらしいですね、1台4,000円ぐらいで1,300W程度消費してくれます(価格.com調べ)。しかも薄型、タイプを選べば19インチラックにしっかりマウントできそうです。計算上は、
各ラックにホットプレートを10枚も置けば要求された電力を満足できることが分かりました。
上司「でも、危なくない？」
私「はい。かなり危ないと思います」
他にもこたつ用のヒーターなども調べてみたのですが、数時間ならともかく数ヶ月間も電源を入れっぱなしにするには家電製品は不適当と言うことで、却下。他にもいくつか理由があり、結局中古のサーバーを大量に調達して設置することになりました。
缶詰(コンテナ的な意味で)
しかし、中古のサーバは中古のサーバで大変でした。
今回、実証実験パートナーの国際産業技術株式会社様(KSG)にお願いして大量のサーバを仕入れてもらったまではよかったものの、何しろこの台数です。メーカー・型番をそろえることなんてできるはずもなく、さらに同一型番でも構成はばらばらです。おまけに、5年、6年オチの中古品なので、品物が届いた時点で起動すらしないサーバも多数見つかりました。
結局現地で約3週間、ひたすら中古サーバの選別とOSのインストールのために缶詰です。(実はコンテナ到着前から現地入りしてました)
当初はすべてのサーバにOSをインストールするつもりだったのですが、作業簡略化のために途中でdiskless bootに方針転換。とはいえ、機材の追加はないので、その辺にある中古サーバの中から比較的能力の高そうなものを選んで、あとはパーツをかき集めてきてNFS Serverを作りました。
また、実際にラックにサーバを積載してみたところ、消費電力が予定していた90kWに届かないことが分かったので。足りない分はサーバを追加して補おうとしたのですが、今度はラックの数が足りず、サーバが追加できなくなりました。計算上、1U当たり250W程度の電力を消費する必要があるのですが、1Uサーバの多くは実測で200W～230Wぐらいしか消費しなかったのです。(2U,3Uのサーバはさらに効率が悪い)
普通、データセンターに設置するサーバは、必要な性能が確保できる範囲でできるだけ消費電力の少ないサーバがを選びますが、今回に限り、可能な限り消費電力の多いサーバを選ばなければならなくなりました。ワットチェッカーで電力をはかりながら「このサーバは全然電力食わない。使えないな」と、あり得ない発言をしつつ、体積当たりの消費電力が多いサーバをより分けていきました。
しかし、それでも電力が足りません。こうなるとどうにかしてサーバ1台当たりの消費電力を増やすしか方法がありません。
先ほども書いたように、今回調達したサーバは同一型番でも構成がばらばらで、2ソケットの筐体でも実際に搭載されているCPUは一つだったり、メモリソケットが8個もあるのにモジュールは2枚しか刺さっていなかったりという状態でした。そこで、KSG様にも協力頂いて、パーツをつけたり外したりして調べたところ、メモリモジュール1枚で約5W、CPU一つで約100W電力が消費されることが分かりました。ちなみに、これはパーツ単体の消費電力ではなく、パーツを追加した事による発熱増加・FAN回転数の上昇に伴う消費電力増など、他の要素も込みになった実測値です。
結局、ほとんどのサーバをラックから取り外して、CPUやメモリを2個イチ3個イチしつつ、追加のパーツの提供もいただいて、空いているソケットは全部埋めるという対応を行い、やっとの事で規定のラック数で消費電力90kWを達成したのでした。
私も過去にデータセンターの電力が足りなくてサーバの省電力化を考える、という経験はありましたが、その逆に「どうやって消費電力を増やすか」という事を考えたのはこれが初めてです。おそらく今後もないでしょう。
そもそも、IIJのコンテナDCでは「PUE 1.2以下」という「エコ」の達成も目的の一つです。その実現のためとはいえ、こんなに電気を使ってしまうのも申し訳ないなぁ、なんてことも頭をよぎりますが、商用サービスで取り返しますので勘弁してください＞地球 (ちなみに、実証実験コンテナ内のサーバは後でスタッフが美味しく頂きましたIIJで開発している分散処理環境のテストにも使ったりしています。
今後もよろしくお願いします
自己紹介のつもりが妙な思い出話になってしまいました。コンテナ関係は色々逸話も多かったので、つい、話題にしたくなります。また機会を見て書いてみようかと思います。
次回はコンテナを離れて、何か他の話題について書いてみたいと思います。まだネタは決まっていませんので、コメントなどで「こんな話を読んでみたい」という希望を頂けると何かできるかもしれません。あと、面白かった、面白くなかったという話をtwitterなんかで書いて頂けると、たぶん私が読んで喜ぶか落ち込むかします。(社員はこっそり教えてください)
それでは、次回もよろしくお願いします。
本日の関連コンテンツ
- IIJ Technical Information 外気冷却コンテナユニットによる次世代モジュール型エコ・データセンター
- Internet Infrastructure Review Vol.009 (PDF) 次世代モジュール型エコ・データセンターの実証実験報告