この記事をtweetする このエントリーをはてなブックマークに追加

掲載日 2011/04/12
システム部門の羅針盤 「報爆発時代」を生き抜くデータ活用術 前編

楽天株式会社
アーキテクチャ&コアテクノロジー課●アーキテクトグループ●シニアエンジニア 河村圭介氏 設立:1997年
本社所在地:東京都品川区

ECサイト「楽天市場」を中心に、トラベル事業やクレジットカード事業、銀行事業、電子マネー事業、証券事業などインターネットを中心とした幅広いサービスを展開。
社内公用語の英語化を行うとともに、中国や台湾、タイなどアジアを中心にEC事業の海外展開を積極的に行っており、グローバルでの事業拡大を目指している。

短納期に応えられる、実績のある分散処理フレームワークを求めて

 同社が情報分析のための基盤として採用しているシステムの1つに「Hadoop」と呼ばれる分散フレームワークがある。このHadoopは、米Googleが開発した分散ファイルシステムやデータベース、分散処理技術などをオープンソースとして実装したもので、Apache Software Foundation(ASF)が開発、公開している。現在では、様々な用途で活用され始めていると河村氏は語る。

【中西】 Hadoopを活用しようと考えたきっかけを教えてください。

編集長:中西由紀

【河村】 2008年の秋頃に楽天市場で活用するレコメンデーションエンジンを開発しようというプロジェクトが立ち上がりました。このレコメンデーションエンジンは、楽天グループ内のページに個々のユーザ向けのおすすめ商品を表示させることを可能にしました。レコメンデーション機能は以前から実装していたのですが、あくまで同一店舗内だけの商品しかオススメできない限定的なものでした。店舗の垣根を越えて横断的に商品紹介できるような仕組みにしたいと考えたのがきっかけです。

【中西】 その際に検討したシステムにはどんなものがありましたか?

【河村】 レコメンデーションエンジンが対象とするのは過去2年分の購買データですが、そのデータ量は当時でも膨大でした。2010年第4四半期にはユニーク購入者数だけで1000万人を突破しており、データ量は現在でも増え続けているのが実情です。当初の開発段階では、一般的なRDBをベースにした処理で検証したのですが、我々が求めている処理スピードには遠く及ばないことが検証結果から明らかになりました。他にも、複数のサーバに分散させて並列処理させる仕組みも当時からあったことはあったのですが、レコメンデーションの処理を実装することにチームのリソースを集中させたかったこと、スケジュールがタイトだったことから、何かオープンソースで使えるフレームワークがないかと探していたというのが正直なところです。

図1:レコメンデーション機能●資料提供:楽天

【中西】 最終的にHadoopを選択したわけですが、Hadoopを知った経緯は?

【河村】 今では日本語の書籍が出版されるなど、開発者に必要な情報が手軽に入手できますが、当時は実装する際に役立つ情報が日本語では少ない状況でした。私がHadoopを知ったのは、社内にある楽天技術研究所(以下、研究所)という大規模データ関連の研究を行っている部門が開催した社内勉強会でした。研究所では「Fairy(Framework Ambient Integration On Ruby)」と呼ばれる大規模分散処理フレームワークや「ROMA(Rakuten On-Memory Architecture)」と呼ばれるRubyを用いた分散オンメモリストレージなどが独自に開発されており、類似プロダクトであるHadoopも同時に検証していた経緯があります。Hadoopに対するノウハウが研究所にあったため、社内勉強会で学ぶ機会が持てたのです。

【中西】 自社で開発しているFairyがあったにもかかわらず、Hadoopをあえて採用した理由は何ですか?

楽天株式会社:河村圭介氏

【河村】 本来ならFairyで実装できればよかったのですが、その当時はまだ実運用の準備ができている状況ではありませんでした。すでに海外でも実績のあるHadoopを採用するのが、納期通りに仕上げるには最適だと判断したのです。

【中西】 Hadoopを採用するにあたって何か不安はありませんでしたか?

【河村】 実は、Hadoopがこんなに有名になるとは思ってもみなかったというのが正直なところです。何か大きな決断をしたというよりも、安定して動いているフレームワークがあれば使ってみよう、といった感覚でした。研究所からの助言もあったので、あまり導入前の不安というものはなかったと記憶しています。

このページの先頭へ

…この記事の続きは、会員限定です。  会員登録はこちら(無料)

続きを読むには・・・

会員登録をすると自動的にこの記事に戻り、続きが読めます。

会員登録(無料)・ログイン

このページの先頭へ

Webログ解析 Hadoop/楽天「データ活用基盤」構築事例」関連の情報を、チョイスしてお届けします

※キーマンズネット内の「Webログ解析 Hadoop」関連情報をランダムに表示しています。

「データ分析ソリューション」関連の特集


ミック経済研究所の調べによると、2007年度の出荷金額は25.8%増と、拡大しているテキストマイニン…



人体の電波反射をグラフ化、混雑度レベルを自動判定する「混雑監視レーダ」が登場!魚群探知機ならぬ“人群…



2010年度、前年比11.3%増の24億6000万円に拡大した「国内テキスト・マイニング」。同市場の…


「データ分析ソリューション」関連のセミナー

扶桑電通 デジタル革新で未来を描くビジネス共創セミナー 【主催:扶桑電通/共催:富士通/富士通マーケティング】  

開催日 2月21日(火)   開催地 東京都   参加費 無料

あらゆるものがネットワークで繋がるIoTの時代を迎え、さまざまな分野で集めたビッグデータを活用し、ビジネスにつなげることに期待が高まっています。その一方で、ロボ…

統計解析ツール体験セミナー 【NTTデータ数理システム】  

開催日 1月19日(木),2月10日(金),3月22日(水)   開催地 東京都   参加費 無料

データ分析ツールとして世界的な長い実績を誇る、データ解析ソフトウェアS-PLUS。そして、Visual R Platform(略称 VRP) は、世界中で利用さ…

データドリブンな経営を実現する機械学習の実例紹介 【伊藤忠テクノソリューションズ/ブレインパッド/SAPジャパン】  

開催日 3月8日(水)   開催地 大阪府   参加費 無料

●このような方におすすめいたします●・機械学習の活用イメージが知りたい方・手作業のデータ分析が限界のため、効率化していきたい方・すでに機械学習を活用しているがビ…

「データ分析」関連 製品レポート一覧

このページの先頭へ

Webログ解析 Hadoop/ 楽天「データ活用基盤」構築事例」の記事を一部ご紹介しました。
会員登録を行い、ログインすると、「Webログ解析 Hadoop/ 楽天「データ活用基盤」構築事例」の記事の続きがお読みいただけます。


Myリストへ 印刷用ページへ

この記事をtweetする このエントリーをはてなブックマークに追加


この記事に掲載している情報は、掲載日時点のものです。変更となる場合がございますのでご了承下さい。


30004150


IT・IT製品TOP > データ分析 > データ分析ソリューション > データ分析ソリューションのIT特集 > 特集詳細

このページの先頭へ

キーマンズネットとは

ページトップへ