この記事をtweetする このエントリーをはてなブックマークに追加

掲載日 2011/04/12
システム部門の羅針盤 「報爆発時代」を生き抜くデータ活用術 前編

楽天株式会社
アーキテクチャ&コアテクノロジー課●アーキテクトグループ●シニアエンジニア 河村圭介氏 設立:1997年
本社所在地:東京都品川区

ECサイト「楽天市場」を中心に、トラベル事業やクレジットカード事業、銀行事業、電子マネー事業、証券事業などインターネットを中心とした幅広いサービスを展開。
社内公用語の英語化を行うとともに、中国や台湾、タイなどアジアを中心にEC事業の海外展開を積極的に行っており、グローバルでの事業拡大を目指している。

短納期に応えられる、実績のある分散処理フレームワークを求めて

 同社が情報分析のための基盤として採用しているシステムの1つに「Hadoop」と呼ばれる分散フレームワークがある。このHadoopは、米Googleが開発した分散ファイルシステムやデータベース、分散処理技術などをオープンソースとして実装したもので、Apache Software Foundation(ASF)が開発、公開している。現在では、様々な用途で活用され始めていると河村氏は語る。

【中西】 Hadoopを活用しようと考えたきっかけを教えてください。

編集長:中西由紀

【河村】 2008年の秋頃に楽天市場で活用するレコメンデーションエンジンを開発しようというプロジェクトが立ち上がりました。このレコメンデーションエンジンは、楽天グループ内のページに個々のユーザ向けのおすすめ商品を表示させることを可能にしました。レコメンデーション機能は以前から実装していたのですが、あくまで同一店舗内だけの商品しかオススメできない限定的なものでした。店舗の垣根を越えて横断的に商品紹介できるような仕組みにしたいと考えたのがきっかけです。

【中西】 その際に検討したシステムにはどんなものがありましたか?

【河村】 レコメンデーションエンジンが対象とするのは過去2年分の購買データですが、そのデータ量は当時でも膨大でした。2010年第4四半期にはユニーク購入者数だけで1000万人を突破しており、データ量は現在でも増え続けているのが実情です。当初の開発段階では、一般的なRDBをベースにした処理で検証したのですが、我々が求めている処理スピードには遠く及ばないことが検証結果から明らかになりました。他にも、複数のサーバに分散させて並列処理させる仕組みも当時からあったことはあったのですが、レコメンデーションの処理を実装することにチームのリソースを集中させたかったこと、スケジュールがタイトだったことから、何かオープンソースで使えるフレームワークがないかと探していたというのが正直なところです。

図1:レコメンデーション機能●資料提供:楽天

【中西】 最終的にHadoopを選択したわけですが、Hadoopを知った経緯は?

【河村】 今では日本語の書籍が出版されるなど、開発者に必要な情報が手軽に入手できますが、当時は実装する際に役立つ情報が日本語では少ない状況でした。私がHadoopを知ったのは、社内にある楽天技術研究所(以下、研究所)という大規模データ関連の研究を行っている部門が開催した社内勉強会でした。研究所では「Fairy(Framework Ambient Integration On Ruby)」と呼ばれる大規模分散処理フレームワークや「ROMA(Rakuten On-Memory Architecture)」と呼ばれるRubyを用いた分散オンメモリストレージなどが独自に開発されており、類似プロダクトであるHadoopも同時に検証していた経緯があります。Hadoopに対するノウハウが研究所にあったため、社内勉強会で学ぶ機会が持てたのです。

【中西】 自社で開発しているFairyがあったにもかかわらず、Hadoopをあえて採用した理由は何ですか?

楽天株式会社:河村圭介氏

【河村】 本来ならFairyで実装できればよかったのですが、その当時はまだ実運用の準備ができている状況ではありませんでした。すでに海外でも実績のあるHadoopを採用するのが、納期通りに仕上げるには最適だと判断したのです。

【中西】 Hadoopを採用するにあたって何か不安はありませんでしたか?

【河村】 実は、Hadoopがこんなに有名になるとは思ってもみなかったというのが正直なところです。何か大きな決断をしたというよりも、安定して動いているフレームワークがあれば使ってみよう、といった感覚でした。研究所からの助言もあったので、あまり導入前の不安というものはなかったと記憶しています。

このページの先頭へ

…この記事の続きは、会員限定です。  会員登録はこちら(無料)

続きを読むには・・・

会員登録をすると自動的にこの記事に戻り、続きが読めます。

会員登録(無料)・ログイン

このページの先頭へ

Webログ解析 Hadoop/楽天「データ活用基盤」構築事例」関連の情報を、チョイスしてお届けします

※キーマンズネット内の「Webログ解析 Hadoop」関連情報をランダムに表示しています。

「データ分析ソリューション」関連の製品

LozioMAF 【ZEKKO 】 最良の顧客体験につなげる、デジタルアセット管理7つの秘訣 【アドビ システムズ】 デジタルトランスフォーメーションでサービスを生み出す 【日本マイクロソフト】
データ分析ソリューション データ分析ソリューション データ分析ソリューション
ビッグデータ/IoTの様々な構造化・半構造化・非構造化データを仮想化により統合。課題解決のための仮説・検証プロセスを効率化、データディスカバリー型データ分析を支援。 7つのトレンドで分かる、最良の顧客体験を引き出すコンテンツ活用法 「使いこなしが重要」デジタルトランスフォーメーションでサービスを生み出す

「データ分析ソリューション」関連の特集


 前回までのコラムでは、スプレッドシートに関する基本的な使い方や機能をお伝えいたしました。今回は、G…



無意識に行う運転操作を解析することで、渋滞の前兆予測を可能にする新たな技術が登場!渋滞回避の救世主と…



IoTでビジネスをどう変えるか。現在のビジネス課題を解決するための方法や、まだ見えぬ本質的な課題を明…


「データ分析ソリューション」関連のセミナー

音声マイニングの最新情報と活用事例 【ベクスト】 締切間近 

開催日 12月15日(木)   開催地 東京都   参加費 無料

テキストマイニングツールVextMinerを始めとした「Vextシリーズ」のユーザー様による導入事例の発表を中核として新技術や新製品の情報を、いち早く皆様にお届…

セルフサービスBIによる瞬時販売分析 QlikView無料体験セミナー 【グランバレイ】 締切間近 

開催日 12月8日(木),12月15日(木)   開催地 東京都   参加費 無料

多くの企業では販売分析の標準ツールとして Excel が使われております。 Excel は使いやすい反面、複数のソースの処理や大量データの分析に、多くの時間が…

<残席僅か>戦略的BtoBデジタルマーケティングセミナー 【三菱電機インフォメーションシステムズ】 締切間近 

開催日 12月14日(水)   開催地 東京都   参加費 無料

昨今のIT投資は、コスト削減だけではなく売上や利益を上げる為のマーケティング投資に移行しつつあります。現在の顧客は、自社の営業と接する以前に購買行動を進めており…

「データ分析」関連 製品レポート一覧

このページの先頭へ

Webログ解析 Hadoop/ 楽天「データ活用基盤」構築事例」の記事を一部ご紹介しました。
会員登録を行い、ログインすると、「Webログ解析 Hadoop/ 楽天「データ活用基盤」構築事例」の記事の続きがお読みいただけます。


Myリストへ 印刷用ページへ

この記事をtweetする このエントリーをはてなブックマークに追加


この記事に掲載している情報は、掲載日時点のものです。変更となる場合がございますのでご了承下さい。


30004150


IT・IT製品TOP > データ分析 > データ分析ソリューション > データ分析ソリューションのIT特集 > 特集詳細

このページの先頭へ

キーマンズネットとは

ページトップへ