この記事をtweetする このエントリーをはてなブックマークに追加

掲載日 2011/04/12
システム部門の羅針盤 「報爆発時代」を生き抜くデータ活用術 前編

楽天株式会社
アーキテクチャ&コアテクノロジー課●アーキテクトグループ●シニアエンジニア 河村圭介氏 設立:1997年
本社所在地:東京都品川区

ECサイト「楽天市場」を中心に、トラベル事業やクレジットカード事業、銀行事業、電子マネー事業、証券事業などインターネットを中心とした幅広いサービスを展開。
社内公用語の英語化を行うとともに、中国や台湾、タイなどアジアを中心にEC事業の海外展開を積極的に行っており、グローバルでの事業拡大を目指している。

短納期に応えられる、実績のある分散処理フレームワークを求めて

 同社が情報分析のための基盤として採用しているシステムの1つに「Hadoop」と呼ばれる分散フレームワークがある。このHadoopは、米Googleが開発した分散ファイルシステムやデータベース、分散処理技術などをオープンソースとして実装したもので、Apache Software Foundation(ASF)が開発、公開している。現在では、様々な用途で活用され始めていると河村氏は語る。

【中西】 Hadoopを活用しようと考えたきっかけを教えてください。

編集長:中西由紀

【河村】 2008年の秋頃に楽天市場で活用するレコメンデーションエンジンを開発しようというプロジェクトが立ち上がりました。このレコメンデーションエンジンは、楽天グループ内のページに個々のユーザ向けのおすすめ商品を表示させることを可能にしました。レコメンデーション機能は以前から実装していたのですが、あくまで同一店舗内だけの商品しかオススメできない限定的なものでした。店舗の垣根を越えて横断的に商品紹介できるような仕組みにしたいと考えたのがきっかけです。

【中西】 その際に検討したシステムにはどんなものがありましたか?

【河村】 レコメンデーションエンジンが対象とするのは過去2年分の購買データですが、そのデータ量は当時でも膨大でした。2010年第4四半期にはユニーク購入者数だけで1000万人を突破しており、データ量は現在でも増え続けているのが実情です。当初の開発段階では、一般的なRDBをベースにした処理で検証したのですが、我々が求めている処理スピードには遠く及ばないことが検証結果から明らかになりました。他にも、複数のサーバに分散させて並列処理させる仕組みも当時からあったことはあったのですが、レコメンデーションの処理を実装することにチームのリソースを集中させたかったこと、スケジュールがタイトだったことから、何かオープンソースで使えるフレームワークがないかと探していたというのが正直なところです。

図1:レコメンデーション機能●資料提供:楽天

【中西】 最終的にHadoopを選択したわけですが、Hadoopを知った経緯は?

【河村】 今では日本語の書籍が出版されるなど、開発者に必要な情報が手軽に入手できますが、当時は実装する際に役立つ情報が日本語では少ない状況でした。私がHadoopを知ったのは、社内にある楽天技術研究所(以下、研究所)という大規模データ関連の研究を行っている部門が開催した社内勉強会でした。研究所では「Fairy(Framework Ambient Integration On Ruby)」と呼ばれる大規模分散処理フレームワークや「ROMA(Rakuten On-Memory Architecture)」と呼ばれるRubyを用いた分散オンメモリストレージなどが独自に開発されており、類似プロダクトであるHadoopも同時に検証していた経緯があります。Hadoopに対するノウハウが研究所にあったため、社内勉強会で学ぶ機会が持てたのです。

【中西】 自社で開発しているFairyがあったにもかかわらず、Hadoopをあえて採用した理由は何ですか?

楽天株式会社:河村圭介氏

【河村】 本来ならFairyで実装できればよかったのですが、その当時はまだ実運用の準備ができている状況ではありませんでした。すでに海外でも実績のあるHadoopを採用するのが、納期通りに仕上げるには最適だと判断したのです。

【中西】 Hadoopを採用するにあたって何か不安はありませんでしたか?

【河村】 実は、Hadoopがこんなに有名になるとは思ってもみなかったというのが正直なところです。何か大きな決断をしたというよりも、安定して動いているフレームワークがあれば使ってみよう、といった感覚でした。研究所からの助言もあったので、あまり導入前の不安というものはなかったと記憶しています。

このページの先頭へ

…この記事の続きは、会員限定です。  会員登録はこちら(無料)

続きを読むには・・・

会員登録をすると自動的にこの記事に戻り、続きが読めます。

会員登録(無料)・ログイン

このページの先頭へ

Webログ解析 Hadoop/楽天「データ活用基盤」構築事例」関連の情報を、チョイスしてお届けします

※キーマンズネット内の「Webログ解析 Hadoop」関連情報をランダムに表示しています。

「データ分析ソリューション」関連の製品

音声マイニングソリューション 「VextVoiceMiner」 【ベクスト】 データガバナンス・フレームワーク 【SAS Institute Japan】 複数製品によるクロスチャネル/クロスデバイス戦略、データ分散を防ぐ11の機能 【Tealium Japan】
データ分析ソリューション データ分析ソリューション データ分析ソリューション
コンタクトセンタに蓄積された音声データを音声認識によってテキスト化し、テキスト化されたテキストデータをテキストマイニングによって分析・活用するソリューション。 データ主導の意思決定に欠かせない「データガバナンス」をどう実現する? 社内でまるっと顧客データ活用 複数製品でもベンダーに依存しない方法

「データ分析ソリューション」関連の特集


IoTでビジネスをどう変えるか。現在のビジネス課題を解決するための方法や、まだ見えぬ本質的な課題を明…



無意識に行う運転操作を解析することで、渋滞の前兆予測を可能にする新たな技術が登場!渋滞回避の救世主と…



 前回は、Google Appsに実装されている便利なアプリケーションの1つ、Googleドキュメン…


「データ分析ソリューション」関連のセミナー

音声マイニングソリューション最新技術&最新事例紹介 【ベクスト】 注目 

開催日 7月5日(水)   開催地 東京都   参加費 無料

本イベントは、コンタクトセンターの音声データをテキスト化し、分析・活用することができる「音声マイニング(音声認識+テキストマイニング)」の最新技術・最新事例を発…

NEC-ディープラーニングによる製品検査の自働化 【日本電気】 締切間近 

開催日 7月5日(水)   開催地 東京都   参加費 無料

人工知能の最有力技術として注目される「ディープラーニング」。その技術をコアにしたNECの機械学習エンジン「RAPID機械学習」は、お手本データを学習させることで…

オープンソースデータ分析ソフト無料紹介セミナー 【KSKアナリティクス】  

開催日 7月11日(火)   開催地 東京都   参加費 無料

 IoTの普及により、収集・蓄積したデータを人工知能(AI)・機械学習の手法やソフトウェアを使って分析・活用し、ビジネス価値を創出したいとお考えの企業さまが増え…

「データ分析」関連 製品レポート一覧

このページの先頭へ

Webログ解析 Hadoop/ 楽天「データ活用基盤」構築事例」の記事を一部ご紹介しました。
会員登録を行い、ログインすると、「Webログ解析 Hadoop/ 楽天「データ活用基盤」構築事例」の記事の続きがお読みいただけます。


Myリストへ 印刷用ページへ

この記事をtweetする このエントリーをはてなブックマークに追加


この記事に掲載している情報は、掲載日時点のものです。変更となる場合がございますのでご了承下さい。


30004150


IT・IT製品TOP > データ分析 > データ分析ソリューション > データ分析ソリューションのIT特集 > 特集詳細

このページの先頭へ

キーマンズネットとは

ページトップへ