Magic Quadrantとは

ガートナー社の公表するMagic Quadrantについて分散ファイルシステムとオブジェクトストレージについてのレポートが公表されました。Magic Quadrantについてはベンダー製品が市場のどのポジションに位置しているかを端的にまとめたものになります。リサーチメメソドロジ：マジック・クアドラント

技術者目線からはこの種の権威的なレポートは拒否反応を示すこともあるかもしれませんが、特徴や将来性をわかりやすく関係者に理解してもらうさいには非常に有用なものと考えています。そして、このMagic Quadrantについては技術的にも正しく調査と評価がされていると個人的にも考えています。そのため、2-3年後のアーキテクチャを見据えるうえでは見ておくべきものといえます。勝ち馬を見抜くのはITプロフェッショナルとして重要な役目です。（あらゆる技術に戦線を拡大するのは不可能ですから…）

Magic Quadrant for Distributed File Systems and Object Storage

個人的にも最近大いに注目している分散ファイルシステムについての記事がありました。Storage Newsletter: Magic Quadrant for Distributed File Systems and Object Storage

ビッグデータというキーワードを語る際に、スケールアウト可能なデータ保持方法というのはデータベースを語る上で非常に重要な要素となります。分散処理というとHadoopが出てきますが、Hadoopのキモは分散処理フレームワークの中に分散ファイルシステム(HDFS: Hadoop Distributed File System)を持っていることにあります。分散ファイルシステムが堅牢であるからこそ分散処理が安定して利用可能なものとなり進化してきたので、分散処理と分散ファイルシステムは「鶏と卵」の関係にあるとも言えます。

市場定義/説明

この技術の概要を是非おさえてほしいので以下翻訳しておきます。

非構造化データの増加をカバーするためスケールアウトストレージシステムは大きく普及してきました。多くの企業においては年率40%のデータ増加が見込まれる中、インフラ運用のリーダは調達/運用を含めて低コストなストレージ製品を望んでいます。

企業向け領域におけるこの種の調達/運用に関する要望はクラウド基盤として求められてきました。コモディティサーバを利用したSoftware-defined Storage(SDS)は非構造化データの急増と共に外部コントローラーを用いたストレージ(External controller-based Storage)を置き換えるような存在になってきています。

新旧のストレージベンダーは従来のスケールアップ型のストレージのコストやスケーラビリティの制約を解決するため、スケーラブルなクラスタファイルシステムストレージやオブジェクトストレージの開発を続けています。

ガートナーは分散ファイルシステム、オブジェクトストレージを非構造化データの増加を解決する「シェアードナッシング」アーキテクチャを元にしたオブジェクトもしくはスケールアウト可能なファイルシステム技術をもつソフトウェアもしくはハードウェアと定義しています。シェアードナッシングアーキテクチャは「各ノードが独立している」「システム全体にわたっての単一の競合ポイントがない（二重化するなどの工夫を持っている）」というものです。

分散ファイルシステムストレージは複数のストレージノードをクラスタとして利用する「一つ」の並列ファイルシステムを利用し、「一つの名前空間(namespace)」と複数のノードで並列利用が可能になる広帯域なストレージプール（論理的なかたまり）を使用します。データは可用性、複数のノードのクラスタで故障時の自動復旧(self-healing)、高いスループット、線形に延びるキャパシティを可能とするためクラスタ内の複数のノードに分散して配置されています。オブジェクトストレージは、「オブジェクト」と呼ばれるデータ構造を格納するためのソフトウェアもしくはハードウェア装置であり、Amazon S3(Simple Storage Service)やOpenStack SwiftのようにRESTful HTTP APIを提供します。

選定条件

製品ノミネートにあたっての技術的条件は以下の通りです。

ファイル and/or オブジェクトアクセスは共通の名前空間/ファイルシステムを利用する。
データはクラスタ内のネットワークを通じた別のノードに複製や冗長保持(erasure code：RAID5のようなデータ保持形式)されるシェアードナッシングアーキテクチャであること。製品はディスク、エンクロージャ、ノード障害において利用に支障を与えることなくgracefulな動作を取らなくてはならない。（要するに手がかからないことということですね）
一つのファイルシステムは300TB以上に拡張できること
一つ名前空間は1PBまで拡張できること
クラスタは3ノード以上で構成されること
容量とスループットに対して水平拡張(horizontal scaling)が可能で、名前空間やファイルシステムに対するノード追加が可能なこと。