この記事をtweetする このエントリーをはてなブックマークに追加

掲載日 2011/04/12
システム部門の羅針盤 「報爆発時代」を生き抜くデータ活用術 前編

楽天株式会社
アーキテクチャ&コアテクノロジー課●アーキテクトグループ●シニアエンジニア 河村圭介氏 設立:1997年
本社所在地:東京都品川区

ECサイト「楽天市場」を中心に、トラベル事業やクレジットカード事業、銀行事業、電子マネー事業、証券事業などインターネットを中心とした幅広いサービスを展開。
社内公用語の英語化を行うとともに、中国や台湾、タイなどアジアを中心にEC事業の海外展開を積極的に行っており、グローバルでの事業拡大を目指している。

短納期に応えられる、実績のある分散処理フレームワークを求めて

 同社が情報分析のための基盤として採用しているシステムの1つに「Hadoop」と呼ばれる分散フレームワークがある。このHadoopは、米Googleが開発した分散ファイルシステムやデータベース、分散処理技術などをオープンソースとして実装したもので、Apache Software Foundation(ASF)が開発、公開している。現在では、様々な用途で活用され始めていると河村氏は語る。

【中西】 Hadoopを活用しようと考えたきっかけを教えてください。

編集長:中西由紀

【河村】 2008年の秋頃に楽天市場で活用するレコメンデーションエンジンを開発しようというプロジェクトが立ち上がりました。このレコメンデーションエンジンは、楽天グループ内のページに個々のユーザ向けのおすすめ商品を表示させることを可能にしました。レコメンデーション機能は以前から実装していたのですが、あくまで同一店舗内だけの商品しかオススメできない限定的なものでした。店舗の垣根を越えて横断的に商品紹介できるような仕組みにしたいと考えたのがきっかけです。

【中西】 その際に検討したシステムにはどんなものがありましたか?

【河村】 レコメンデーションエンジンが対象とするのは過去2年分の購買データですが、そのデータ量は当時でも膨大でした。2010年第4四半期にはユニーク購入者数だけで1000万人を突破しており、データ量は現在でも増え続けているのが実情です。当初の開発段階では、一般的なRDBをベースにした処理で検証したのですが、我々が求めている処理スピードには遠く及ばないことが検証結果から明らかになりました。他にも、複数のサーバに分散させて並列処理させる仕組みも当時からあったことはあったのですが、レコメンデーションの処理を実装することにチームのリソースを集中させたかったこと、スケジュールがタイトだったことから、何かオープンソースで使えるフレームワークがないかと探していたというのが正直なところです。

図1:レコメンデーション機能●資料提供:楽天

【中西】 最終的にHadoopを選択したわけですが、Hadoopを知った経緯は?

【河村】 今では日本語の書籍が出版されるなど、開発者に必要な情報が手軽に入手できますが、当時は実装する際に役立つ情報が日本語では少ない状況でした。私がHadoopを知ったのは、社内にある楽天技術研究所(以下、研究所)という大規模データ関連の研究を行っている部門が開催した社内勉強会でした。研究所では「Fairy(Framework Ambient Integration On Ruby)」と呼ばれる大規模分散処理フレームワークや「ROMA(Rakuten On-Memory Architecture)」と呼ばれるRubyを用いた分散オンメモリストレージなどが独自に開発されており、類似プロダクトであるHadoopも同時に検証していた経緯があります。Hadoopに対するノウハウが研究所にあったため、社内勉強会で学ぶ機会が持てたのです。

【中西】 自社で開発しているFairyがあったにもかかわらず、Hadoopをあえて採用した理由は何ですか?

楽天株式会社:河村圭介氏

【河村】 本来ならFairyで実装できればよかったのですが、その当時はまだ実運用の準備ができている状況ではありませんでした。すでに海外でも実績のあるHadoopを採用するのが、納期通りに仕上げるには最適だと判断したのです。

【中西】 Hadoopを採用するにあたって何か不安はありませんでしたか?

【河村】 実は、Hadoopがこんなに有名になるとは思ってもみなかったというのが正直なところです。何か大きな決断をしたというよりも、安定して動いているフレームワークがあれば使ってみよう、といった感覚でした。研究所からの助言もあったので、あまり導入前の不安というものはなかったと記憶しています。

このページの先頭へ

…この記事の続きは、会員限定です。  会員登録はこちら(無料)

続きを読むには・・・

会員登録をすると自動的にこの記事に戻り、続きが読めます。

会員登録(無料)・ログイン

このページの先頭へ

Webログ解析 Hadoop/楽天「データ活用基盤」構築事例」関連の情報を、チョイスしてお届けします

※キーマンズネット内の「Webログ解析 Hadoop」関連情報をランダムに表示しています。

「データ分析ソリューション」関連の製品

データ分析ソリューション(NECの提供するデータサイエンス) 【NEC】 ビーコンによる動線分析ソリューション Location Data Analyzer 【パナソニック ソリューションテクノロジー】 マーケティング施策に足りないもの データ分析で顧客を理解する 【富士通】
データ分析ソリューション データ分析ソリューション データ分析ソリューション
NECの専門部隊による的確なビッグデータ分析を実施し、有用な情報活用を支援するソリューション。売上拡大・コスト削減へ貢献し、新たなビジネス価値を創出する。 場所を選ばず簡単に設置可能な小型軽量のビーコンを用いて、人やモノなどの経営資源の位置情報や動きを「見える化」することで、業務効率アップや売上拡大を支援。 今のマーケティング施策に足りないものは何か?――データ分析で顧客を理解する

「データ分析ソリューション」関連の特集


土砂災害に電力供給、犯罪予測にまで!現状分析と未来予測で、社会インフラ化する「IoT」のユースケース…



 サイバースパイ行為の脅威は、昨今の報道から誰もが知るところだ。この脅威に対し、今組織として何を実施…



IoTでビジネスをどう変えるか。現在のビジネス課題を解決するための方法や、まだ見えぬ本質的な課題を明…


「データ分析ソリューション」関連のセミナー

BayoLink体験セミナー 【NTTデータ数理システム】  

開催日 4月13日(木),5月23日(火),6月28日(水)   開催地 東京都   参加費 無料

ベイジアンネット構築支援システム【BayoLink ※旧BAYONET】の無料体験セミナーを開催しています。 最近「ベイジアンネット」という言葉をよく耳にする…

第5回シーセンス・ユーザー事例セミナー 【シーセンス】  

開催日 5月23日(火)   開催地 東京都   参加費 無料

第5回となる今回は、アイティメディア株式会社様、株式会社イード様、ぴあ株式会社様の各ご担当者様をゲストスピーカーとしてお迎えするほか、本社製品責任者から欧米の最…

原因を可視化する瞬時販売分析! QlikView無料体験セミナー 【グランバレイ】  

開催日 4月21日(金),5月31日(水)   開催地 東京都   参加費 無料

「QlikView」は多彩なユーザーインターフェースと連想技術により、新たな気付きを導き出す画期的な「セルフサービスBI」ツールです。QlikView無料体験セ…

「データ分析」関連 製品レポート一覧

このページの先頭へ

Webログ解析 Hadoop/ 楽天「データ活用基盤」構築事例」の記事を一部ご紹介しました。
会員登録を行い、ログインすると、「Webログ解析 Hadoop/ 楽天「データ活用基盤」構築事例」の記事の続きがお読みいただけます。


Myリストへ 印刷用ページへ

この記事をtweetする このエントリーをはてなブックマークに追加


この記事に掲載している情報は、掲載日時点のものです。変更となる場合がございますのでご了承下さい。


30004150


IT・IT製品TOP > データ分析 > データ分析ソリューション > データ分析ソリューションのIT特集 > 特集詳細

このページの先頭へ

キーマンズネットとは

ページトップへ