Facebookが世界各地に分散したデータセンターのログを保存するツールLogDeviceをオープンソース化

次の記事

シリコンバレー発のアクセラレーター・Plug and Playが日本で始動、大企業と組んだ支援プログラム

Facebookは、複数箇所に分散しているデータセンターのログを保存するための自家製のソリューションLogDeviceを、オープンソースにすることを計画している。その発表は、同社のScaleカンファレンスで行われた。

それらのログは、データベースのイベントを調べるために利用されている。何かの理由でサーバーがダウンしたときには、デバッグする方法が必要だし、セキュリティのための監査を行って、サーバー間の整合性を確保しなければならない。大量のユーザーデータが世界中の大きなデータセンターに分散しているFacebookでは、このことがとくに重要だ。

LogDeviceは、ハードウェアやネットワークに問題があってもデータを記録できる。何かの不具合が生じたらログ収集のタスクを他のデータセンターにお願いする。そして回復したら、問題のあったデータセンターのレコードを毎秒5〜10ギガバイトのスピードでリストアする。

Facebookのデータセンターはもうすぐ10箇所になるが、各センターのレコードは確実に同じページに載ってほしい。しかしそこには、バックアップという複雑な問題があるので、データの扱いは一層難しくなる。LogDeviceは、これらの、各所に分散したデータセンターのデータを複製する作業を支援する〔上記のような場合も含め〕。

高価なサーバーをどうしても故障引退させなければならないときでも、LogDeviceは失われたレコードを正しく教えてくれる。レコードのシーケンスとサーバーのストレージを最初から分離し、レコードをさまざまな場所のストレージにランダムに割り当てるので、データセンター全体の自己回復力が強化される。

LogDeviceをいつからオープンソースにするのか、そのスケジュールは公表されていないが、今年のおそい時期に、とは言っている。

[原文へ]
(翻訳:iwatani(a.k.a. hiwa))