Hadoop

  • YahooがTensorFlowをApache Sparkで高度なスケーラビリティへアップ

    YahooがTensorFlowをApache Sparkで高度なスケーラビリティへアップ

    Apache Sparkの模範市民Yahooはかつて、CaffeによるディープラーニングモデルのスケーラビリティをSparkの並列処理で高めるフレームワーク、CaffeOnSparkを開発した。そしてそのYahooが今回は、TensorFlowOnSparkと呼ばれるプロジェクトをオープンソースで公開した。今度のそれは、SparkとTensorFlowを組み合わせることによって、大規模なクラスターで動くディープラーニングモデルを作るデベロッパーにとってTensorFlowフレームワークを、より魅力的にするものだ〔==TensorFlow… 続きを読む

  • AWSのディープラーニングフレームワークMXNetがApacheソフトウェアの一員になる、対TensorFlow戦略の一環

    AWSのディープラーニングフレームワークMXNetがApacheソフトウェアの一員になる、対TensorFlow戦略の一環

    Amazon Web Servicesの推奨ディープラーニングフレームワークMXNetが今日(米国時間1/30)、Apache Incubatorに加わった。このインキュベータに受け入れらることは、オープンソースのプロジェクトがApache Software Foundationの一員になるための第一歩だ。 Apache Software Foundationは、何千人ものデベロッパーによる、世界中のさまざまなオープンソースプロジェクトのメンテナンス努力を支えている。今後はMXNetも、Apche流儀の実績豊富なオープンソース方式を採用し、またApa… 続きを読む

  • IBMのDataWorksはApache Sparkによるビッグデータ分析に人工知能Watsonが企業向け利用インタフェイスをまとわせる

    IBMのDataWorksはApache Sparkによるビッグデータ分析に人工知能Watsonが企業向け利用インタフェイスをまとわせる

    マシンインテリジェンスの分野は、研究開発が盛んであるだけでなく、より影響力の強い応用現場でも新しいトレンドが生まれつつある。それを好機としてApache Sparkのようなオープンソースのフレームワークは、データサイエンティストのニーズに応えるだけでなく、企業の事業開発にもデータ分析を持ち込もうとしている。 IBMがこのほど立ち上げたProject DataWorksは、SparkとIBM Watsonを組み合わせて、分析の堅実性を維持しつつそのスピードと使い勝手を向上しようとする。わかりやすく言えばDataWorksは、データ分析のためのG… 続きを読む

  • AWSのElastic MapReduce 5.0.0は16種のHadoop関連プロジェクトをサポートしてビッグデータ処理の実用性を増強

    AWSのElastic MapReduce 5.0.0は16種のHadoop関連プロジェクトをサポートしてビッグデータ処理の実用性を増強

    Amazon Web Services(AWS)が今日(米国時間8/2)リリースを発表したElastic MapReduce(EMR) 5.0.0は、16種のHadoop関連プロジェクト(派生プロジェクト)をサポートする。 AWSはつねに、顧客がクラウド上の多様なエンタープライズ機能を管理するための、さまざまなツールのアップグレードに努めているが、今回のものは、Hadoopでビッグデータプロジェクトを管理しているデータサイエンティストやその関連部署に向けられている。 続きを読む

  • Microsoftはビッグデータ分析とその応用プロダクトでApache Sparkに総賭けの姿勢

    Microsoftはビッグデータ分析とその応用プロダクトでApache Sparkに総賭けの姿勢

    Microsoftが今日(米国時間6/6)、オープンソースのクラスターコンピューティングフレームワークApache Sparkに、本格的にコミットしていく、と発表した。 昨年、Sparkのエコシステムの浅瀬でちょっと足を濡らしてみたMicrosoftは、本日、いくつかのSpark関連サービスのプレビューを終えてそれらを公式ローンチし、またR Server for Hadoopのオンプレミスバージョンが今後はSparkベースになる、と発表した。R Serverの‘R’は、今人気がますます盛り上がっている、ビッグデータ分析とモ… 続きを読む

  • Crayの最新のスーパーコンピューターはOpenStackを搭載してオープンソースのビッグデータツールを動かす

    Crayの最新のスーパーコンピューターはOpenStackを搭載してオープンソースのビッグデータツールを動かす

    Crayといえば、スピードとパワーをつねに連想するが、同社の最新の計算怪物Cray Urika-GX systemは、ビッグデータのワークロード専用に設計されている。 しかも、そのベースシステムはオープンソースのクラウドプラットホームOpenStackで、その上でビッグデータを処理するHadoopやSparkなどのツールが仕事をする。 Seymour CrayがCray社を立ち上げたのは70年代の初頭だが、その後のコンピューティングの進化を同社はよく認識している。作っているのは相変わらずハイパワーのコンピューターだが、今ではクラウドコンピューテ… 続きを読む

  • Strata + Hadoop World 2016に見るビッグデータの最新トレンド、「インメモリ」で「リアルタイム」へ

    Strata + Hadoop World 2016に見るビッグデータの最新トレンド、「インメモリ」で「リアルタイム」へ

    今年もまたStrata + Hadoop Worldが始まる。それはいつも、一歩引いてセッションの内容を一望し、ビッグデータの最新の動向を理解するための、良い機会だ。 これまで毎年のようにこのカンファレンス参加してきた人は、このイベントがオープンソースの技術を実験するソフトウェアデベロッパーのための催しから、重要なエンタープライズソフトウェアの大会に変わってきたことを、目撃されただろう。今ではデベロッパーだけでなく、企業の役員たちや、ベンダー、プロフェッショナルなサービスのプロバイダーたちが一堂に会して、この分野の最新の開発について共有し、学… 続きを読む

  • ビッグデータ技術者のいない中小企業のためにHadoopクラスターを5分で立ち上げるGalactic Exchangeがオープンソースでスタート

    ビッグデータ技術者のいない中小企業のためにHadoopクラスターを5分で立ち上げるGalactic Exchangeがオープンソースでスタート

    Galactic Exchangeというクールな名前の企業が今日(米国時間3/24)ステルス状態を脱(ぬ)けて、そのすばらしいアイデアを披露した。同社の主張によると、同社はHadoopのクラスターを5分でセットアップし、即、動かせるようにする。複雑で面倒で難しいと言われていたHadoopが、誰にも簡単に使えるようになるのなら、それはすごいことだ。 同社のプロダクトClusterGXは、今週サンノゼで行われたStrata+HadoopWorldでベータでリリースされた。クラスターの上で動くアプリケーションとそのためのデータは、ユーザーが自分… 続きを読む

  • データを発見しそれらの起源・出自を調べるLinkedInの社内ツールWhereHowsがオープンソース化

    データを発見しそれらの起源・出自を調べるLinkedInの社内ツールWhereHowsがオープンソース化

    LinkedInが今日(米国時間3/3)、WhereHowsをオープンソース化した。WhereHowsは主に同社の社員が、同社が生成するデータを見つけ、また同社のさまざまな内部的ツールやサービスで使われているデータ集合の出自を調べるために使っている、メタデータツールだ。 今では多くの企業が毎日のように大量のデータを作り出しているから、それらの情報のフローを全社的に管理することがほとんど不可能になっている。データウエアハウスに保存するのはいいけれども、結局のところ、同じようなデータ集合が大量に集積したり、元のデータ集合のいろんなバージョン… 続きを読む

  • Hadoopベンダとして5年を超える古参MapRがビッグデータストリーミングで新境地を開拓

    Hadoopベンダとして5年を超える古参MapRがビッグデータストリーミングで新境地を開拓

    MapR(MapR Technologies)は、オープンソースのHadoopプラットホームを提供する企業のひとつだが、今そんな企業は多いから競争も激しい。今日(米国時間12/8)同社は、資金潤沢なライバルたちに対する差別化努力として*、MapR Streamsという新製品を発表した。〔*: CEOはこの説を否定(後述)。〕 この新しいプロダクトは、その名のとおり、コンスタントなデータストリームを顧客に供給する。それが消費者データのフィードなら、アドバタイザーは広告の個人化に利用するだろう。保健医療に関するデータなら、それをもとに医師や保健医… 続きを読む

  • SparkとHadoopは友だちである、敵ではない

    SparkとHadoopは友だちである、敵ではない

    [筆者: Raymie Stata](AltiscaleのCEO) 今年の6月はApache Sparkにとってエキサイティングな月だった。San Joseで行われたHadoop Summitで頻繁に話題になっただけでなく、Spark関連のプレゼンテーションも多かった。6月15日にIBMは、Sparkの関連技術に大量の投資をすると発表した。 この発表がSan Franciscoで行われたSpark Summitに火をつけ、来場者は昨年に比べて急増した。Sparkを試してみたい、という企業の数も増えた。 続きを読む

  • ビッグデータ産業の今後の成長のためにはHadoopの標準化が不可欠だ

    ビッグデータ産業の今後の成長のためにはHadoopの標準化が不可欠だ

    [筆者: Stefan Groschupf ] 至るところでデータが増大し、それとともに、誰もが選ぶビッグデータプラットホームとしてHadoopの評価が定着しつつある。Allied Market Researchによると、Hadoopの市場はほぼ30億ドルに相当し、2020年には500億ドルを超える、と推計されている。しかし、今後の長期的な成功は、標準化の実装と、もっと構造性のある(手当たりばったりでない)イノベーションの過程にかかっている。 続きを読む

  • ビッグデータ対応を軸にITとデータセンターの運用/管理環境を一新するRocanaが$15Mを調達

    ビッグデータ対応を軸にITとデータセンターの運用/管理環境を一新するRocanaが$15Mを調達

    Rocana(元ScalingData)が、Google Venturesがリードし、General Catalyst PartnersとToba CapitalおよびPaul Sagan(元Akamaiの会長で現在はGeneral Catalystの常勤役員)が参加したシリーズBのラウンドで、1500万ドルを調達したことを発表した。 これで、同社の総調達額は1940万ドルになる。 Rocanaは大型データセンターの問題発見と修復を単純化し迅速化する。 続きを読む

  • Hadoopのクラスタの最適化管理を行うPepperdataが$15Mを調達

    Hadoopのクラスタの最適化管理を行うPepperdataが$15Mを調達

    HadoopのクラスタのパフォーマンスをチューニングするサービスPepperdataが、新たな投資家Wing Venture PartnersとCiti VenturesおよびSilicon Valley Data Capitalが率いるシリーズBのラウンドにより、1500万ドルの資金を調達した。これまでの投資家Signia VenturesとYahooの会長Maynard Webbも、このラウンドに参加した。これで同社の資金調達総額は2000万ドルになる。 続きを読む

  • Hadoopの利用を使いやすいSaaSで提供するAltiscaleが$30Mを調達

    Hadoopの利用を使いやすいSaaSで提供するAltiscaleが$30Mを調達

    【抄訳】 Hadoopといえば、企業のデータセンターの複雑なオンプレミスのセットアップを連想しがちだが、Altiscaleはそういう複雑な部分をすべてクラウド上で面倒見て、かんじんのHadoopの利用インタフェイスだけをSaaSとして提供する。同社は、その使命の継続のために今日(米国時間12/9)、シリーズBで3000万ドルの資金を調達した。 続きを読む

  • Google Cloud Platform–Cloud Storage上でHadoopを簡単に使えるためのコネクタを提供開始

    Google Cloud Platform–Cloud Storage上でHadoopを簡単に使えるためのコネクタを提供開始

    かねてからGoogle Cloud StorageはHadoopに対応しており、デベロッパはデータをここに置くことによって、分散コンピューティングによる高度なデータ分析ができる。そして今日(米国時間1/14)Googleは、新たなコネクタをリリースして、Google Cloud Platform上でのHadoopの利用が、より容易にできるようにした。 続きを読む

  • AWSがHadoopビッグデータのクェリツールImpalaをサポート

    AWSがHadoopビッグデータのクェリツールImpalaをサポート

    Amazon Web ServicesにImpalaのサポートが加わった。これはClouderaがGoogleに倣って開発したクェリツールで、大量のデータを並列処理によりリアルタイムで処理する。Impalaでは、デベロッパがAWSのElastic MapReduceの上で、SQLふうの言語を使ってクェリを行える。それは高速でアクセス性も良く、オープンソースの分散コンピューティングシステムHadoopでSQLの利用が増えていることを示す一つの例でもある。またImpalaは、より広い視野で見ると、この市場ではGoogleの影響がとても大きいこと… 続きを読む

  • AWSがHadoopとそのエコシステムをアップデートしてビッグデータ分析プラットホームのサポートを一新

    AWSがHadoopとそのエコシステムをアップデートしてビッグデータ分析プラットホームのサポートを一新

    Amazon Web Services(AWS)がそのElastic Map ReduceプラットホームをアップデートしてHadoopの新バージョンを導入するとともに、同社のデータ分析エコシステムのサポートをアップデートした。 Elastic Map Reduceは、大量のデータを処理するためのAWSのプラットホームだが、ほかのベンダと違ってAWS自身がホストするサービスであるため、Hadoopとその周辺のエコシステムを、それらオープンソースのプラットホームの更新とペースを合わせてアップデートすることが重要な課題となる。 続きを読む

  • データサイエンティストのいない企業でもHadoopを有効利用できるビッグデータ分析サービスDatameer

    データサイエンティストのいない企業でもHadoopを有効利用できるビッグデータ分析サービスDatameer

    最近は、データサイエンティストでないふつうの人にデータ(とくにビッグデータ)分析を提供するプラットホームが増えているが、Datameeerもその一つだ。コンピュータといえば仕事でスプレッドシートを使うぐらい、という圧倒的多数のコンピュータユーザが、こうやって徐々に本格的なデータ分析に接近しつつある。 Datameer 3.0には、“Smart Analytics”(スマートアナリティクス)と呼ばれる機能があり、それによって、データサイエンティストたちがつねに自分でゼロから計算するようなワークを、あらかじめ組み込んでい… 続きを読む

  • 56台のRaspberry PiをLEGOの棚に収めたPiCloud, クラウド環境を目の前の実物で学習

    56台のRaspberry PiをLEGOの棚に収めたPiCloud, クラウド環境を目の前の実物で学習

    Raspberry Piにはできないことって、あるだろうか? ここにもまた、この35ドルのマイクロコンピュータの…それを56個重ねた…おもしろい実装がある。PiCloudと呼ばれるこの作品は、Pi用のおあつらえ向きの棚としてLEGOブロックを使っている。(PiとLEGOを組み合わせた作品は、ほかにもあった。) この作品はグラスゴー大学のコンピュータ科学専科大学院(School of Computing Science)で教材として作られ、学生たちはこれをハックしながら、AmazonのAWSなどで使われているクラウドプラットホームのインフラストラ… 続きを読む