この記事をtweetする このエントリーをはてなブックマークに追加

掲載日 2011/04/12
システム部門の羅針盤 「報爆発時代」を生き抜くデータ活用術 前編

楽天株式会社
アーキテクチャ&コアテクノロジー課●アーキテクトグループ●シニアエンジニア 河村圭介氏 設立:1997年
本社所在地:東京都品川区

ECサイト「楽天市場」を中心に、トラベル事業やクレジットカード事業、銀行事業、電子マネー事業、証券事業などインターネットを中心とした幅広いサービスを展開。
社内公用語の英語化を行うとともに、中国や台湾、タイなどアジアを中心にEC事業の海外展開を積極的に行っており、グローバルでの事業拡大を目指している。

短納期に応えられる、実績のある分散処理フレームワークを求めて

 同社が情報分析のための基盤として採用しているシステムの1つに「Hadoop」と呼ばれる分散フレームワークがある。このHadoopは、米Googleが開発した分散ファイルシステムやデータベース、分散処理技術などをオープンソースとして実装したもので、Apache Software Foundation(ASF)が開発、公開している。現在では、様々な用途で活用され始めていると河村氏は語る。

【中西】 Hadoopを活用しようと考えたきっかけを教えてください。

編集長:中西由紀

【河村】 2008年の秋頃に楽天市場で活用するレコメンデーションエンジンを開発しようというプロジェクトが立ち上がりました。このレコメンデーションエンジンは、楽天グループ内のページに個々のユーザ向けのおすすめ商品を表示させることを可能にしました。レコメンデーション機能は以前から実装していたのですが、あくまで同一店舗内だけの商品しかオススメできない限定的なものでした。店舗の垣根を越えて横断的に商品紹介できるような仕組みにしたいと考えたのがきっかけです。

【中西】 その際に検討したシステムにはどんなものがありましたか?

【河村】 レコメンデーションエンジンが対象とするのは過去2年分の購買データですが、そのデータ量は当時でも膨大でした。2010年第4四半期にはユニーク購入者数だけで1000万人を突破しており、データ量は現在でも増え続けているのが実情です。当初の開発段階では、一般的なRDBをベースにした処理で検証したのですが、我々が求めている処理スピードには遠く及ばないことが検証結果から明らかになりました。他にも、複数のサーバに分散させて並列処理させる仕組みも当時からあったことはあったのですが、レコメンデーションの処理を実装することにチームのリソースを集中させたかったこと、スケジュールがタイトだったことから、何かオープンソースで使えるフレームワークがないかと探していたというのが正直なところです。

図1:レコメンデーション機能●資料提供:楽天

【中西】 最終的にHadoopを選択したわけですが、Hadoopを知った経緯は?

【河村】 今では日本語の書籍が出版されるなど、開発者に必要な情報が手軽に入手できますが、当時は実装する際に役立つ情報が日本語では少ない状況でした。私がHadoopを知ったのは、社内にある楽天技術研究所(以下、研究所)という大規模データ関連の研究を行っている部門が開催した社内勉強会でした。研究所では「Fairy(Framework Ambient Integration On Ruby)」と呼ばれる大規模分散処理フレームワークや「ROMA(Rakuten On-Memory Architecture)」と呼ばれるRubyを用いた分散オンメモリストレージなどが独自に開発されており、類似プロダクトであるHadoopも同時に検証していた経緯があります。Hadoopに対するノウハウが研究所にあったため、社内勉強会で学ぶ機会が持てたのです。

【中西】 自社で開発しているFairyがあったにもかかわらず、Hadoopをあえて採用した理由は何ですか?

楽天株式会社:河村圭介氏

【河村】 本来ならFairyで実装できればよかったのですが、その当時はまだ実運用の準備ができている状況ではありませんでした。すでに海外でも実績のあるHadoopを採用するのが、納期通りに仕上げるには最適だと判断したのです。

【中西】 Hadoopを採用するにあたって何か不安はありませんでしたか?

【河村】 実は、Hadoopがこんなに有名になるとは思ってもみなかったというのが正直なところです。何か大きな決断をしたというよりも、安定して動いているフレームワークがあれば使ってみよう、といった感覚でした。研究所からの助言もあったので、あまり導入前の不安というものはなかったと記憶しています。

このページの先頭へ

…この記事の続きは、会員限定です。  会員登録はこちら(無料)

続きを読むには・・・

会員登録をすると自動的にこの記事に戻り、続きが読めます。

会員登録(無料)・ログイン

このページの先頭へ

Webログ解析 Hadoop/楽天「データ活用基盤」構築事例」関連の情報を、チョイスしてお届けします

※キーマンズネット内の「Webログ解析 Hadoop」関連情報をランダムに表示しています。

「データ分析ソリューション」関連の製品

SAS Enterprise Miner、SAS Factory Miner 【SAS Institute Japan】 実用段階に入った「AI」、実際にどんな業務に活用できるのか? 【日本電気+他】 データ分析ソリューション(NECの提供するデータサイエンス) 【NEC】
データ分析ソリューション データ分析ソリューション データ分析ソリューション
データ活用術は「反復型のアナリティクスライフサイクル」にあり 実用段階に入った「AI」、実際にどんな業務に活用できるのか? NECの専門部隊による的確なビッグデータ分析を実施し、有用な情報活用を支援するソリューション。売上拡大・コスト削減へ貢献し、新たなビジネス価値を創出する。

「データ分析ソリューション」関連の特集


 前回までのコラムでは、スプレッドシートに関する基本的な使い方や機能をお伝えいたしました。今回は、G…



「AI」「機械学習」「深層学習」などが注目を集めるが、用語が乱立しており、違いや使い方が分かりにくい…



 これまである種のバズワードだった「マーケティングオートメーション(MA)」を筆頭に、市場の興味関心…


「データ分析ソリューション」関連のセミナー

S-Quattro Simulation System体験セミナー 【NTTデータ数理システム】  

開催日 6月13日(火),7月14日(金),8月1日(火),9月27日(水)   開催地 東京都   参加費 無料

S-Quattro Simulation Systemは、誰でも簡単に複雑なモデルを GUI上で表現しシミュレーションを行なえる汎用離散イベントシミュレーション…

『会社が生き残るため武器を持とう』〜戦略的データ分析とは〜 【MRIバリューコンサルティング・アンド・ソリューションズ】 締切間近 

開催日 8月18日(金),8月30日(水)   開催地 東京都   参加費 無料

効果的な経営戦略を立案するためには、様々なデータの中から課題や戦略につながるヒントを見つけ出す必要があります。しかし、現状のデータ活用ではExcel等を使ったデ…

BayoLink体験セミナー 【NTTデータ数理システム】  

開催日 6月28日(水),7月19日(水),8月22日(火),9月14日(木)   開催地 東京都   参加費 無料

ベイジアンネット構築支援システム【BayoLink ※旧BAYONET】の無料体験セミナーを開催しています。 最近「ベイジアンネット」という言葉をよく耳にする…

「データ分析」関連 製品レポート一覧

このページの先頭へ

Webログ解析 Hadoop/ 楽天「データ活用基盤」構築事例」の記事を一部ご紹介しました。
会員登録を行い、ログインすると、「Webログ解析 Hadoop/ 楽天「データ活用基盤」構築事例」の記事の続きがお読みいただけます。


Myリストへ

この記事をtweetする このエントリーをはてなブックマークに追加


この記事に掲載している情報は、掲載日時点のものです。変更となる場合がございますのでご了承下さい。


30004150


IT・IT製品TOP > データ分析 > データ分析ソリューション > データ分析ソリューションのIT特集 > 特集詳細

このページの先頭へ

キーマンズネットとは

ページトップへ