NTTとPFI、大規模データのリアルタイム分析基盤をOSSとして公開

この記事をtweetする このエントリーをはてなブックマークに追加


NTTとPFI、大規模データのリアルタイム分析基盤をOSSとして公開


掲載日:2011/10/28


News

 日本電信電話株式会社(NTT)と株式会社プリファードインフラストラクチャー(PFI)は、ビッグデータと呼ばれる大規模データをリアルタイムに高速分析処理する基盤技術「Jubatus」(第1版)を開発し、オープンソースソフトウェア(OSS)としてWebサイトで公開した。

 「Jubatus」は、“大量データ”を“常に素早く”“深く解析”することを図った、大規模分散リアルタイム解析フレームワーク。“大量データ”を“常に素早く”処理するために、大量のデータを複数のサーバに振り分け、並列・逐次的に処理させる。また、“深い解析”に必要な高度な統計処理や機械学習を分散環境で実施する際、複数のサーバ間で緩やかに途中処理結果を共有することで、サーバ間の通信オーバヘッドの削減や安定性の向上を図り、リアルタイム性と解析精度の確保を図っている。

 “MIX計算”“MIXプロトコル制御”“メンバシップ管理機能”の3つの機能で構成される“MIX処理方式”を採用している。“MIX計算”では、データ解析処理のロジックに応じて、集約計算ロジックをアレンジする。“MIXプロトコル制御”では、サーバ間で途中の解析結果を答え合わせする際のデータの集め方と再分配のやり方を決める。“メンバシップ管理機能”では、絶え間なくデータを処理するために、サーバ障害をリカバリしたり、データが溢れる前にサーバを追加したり、リーダを決める。これらにより、適度な時間間隔で他サーバと中間結果を交換して平準化することで、各サーバはなるべくブレーキをかけずに自律的に動作できる。

 共通インターフェース規定を設けることで、解析エンジン/解析モジュール/データストレージ方式(ローカル・分散)の柔軟な組み換え(プラグイン・アウト)を行なえる“プラガブル構成”が採用されている。また、ワークフロー化が行なわれたことで、データ入力/応用解析処理/解析エンジンなどのプロセス構成間のパス/並列実行などを柔軟/容易に定義、実行制御できる。


出荷日・発売日 −−−
価格 −−−

  ※製品ニュースに関するお問合せ : 企業サイトへ


  ※関連キーワードのリンクは自動で行っているため、適切でない可能性があります。ご了承ください。


図解でわかりやすいIT技術の解説記事2000本
ITセミナー400件、IT製品情報1000件以上!

キーマンズネットは、アイティメディア株式会社が運営する「企業向けIT関連情報サービス」です。会社で導入するIT関連製品の検討・選定にお役立ていただける情報サービスです。情報量・登録料ともに無料です。安心してご利用下さい。

「サーバー」関連 製品レポート一覧

このページの先頭へ


Myリストへ 印刷用ページへ

この記事をtweetする このエントリーをはてなブックマークに追加


掲載されておりますサービス内容・料金などは掲載日時点のものです。変更となる場合がございますのでご了承下さい。


20036725


IT・IT製品TOP > サーバー > クラスタリング > クラスタリングのITニュース > ニュース詳細

このページの先頭へ

キーマンズネットとは

ページトップへ