Apache Spark(製品・サービス)

オープンソースのクラスタコンピューティングフレームワーク。

  • Google CloudがSparkのマネージドサービスを発表

    Google CloudがSparkのマネージドサービスを発表

    Googleは米国時間10月12日の同社Cloud Nextイベントで、フルマネージドサービスとして「Spark on Google Cloud」の提供を発表した。これにより、オープンソースの人気データプロセッシングエンジンをGoogle Cloud上のプレミアムなサービスとして利用できるようになる。 続きを読む

  • Apache Sparkの技術を応用するDetermined AIがAI開発を民主化

    Apache Sparkの技術を応用するDetermined AIがAI開発を民主化

    深層学習では、データサイエンティストは、かなり反復的なプロセスによってモデルを設計し、GPUを利用したシステム上でテストすることになる。 続きを読む

  • ディープラーニングをApache Sparkのクラスターで分散化、サーバーレスでそれができるDatabricksのServerless Platform

    ディープラーニングをApache Sparkのクラスターで分散化、サーバーレスでそれができるDatabricksのServerless Platform

    今日(米国時間6/6)のSpark Summitの幕開けで最初にボールを蹴ったDatabricksは、Apache Sparkのためのサーバーレスプラットホームを発表した。クラスター管理に費やす時間を短くしたいと願うデベロッパーにとって、良いニュースだ。デベロッパーの仕事をより単純化しようとする動きは、このイベントの全体を貫く大きなテーマでもあった。同社はServerless Platformに加えて、Sparkでディープラーニングフレームワークをより使いやすくするためのライブラリDeep Learning Pipelinesも披露した。… 続きを読む

  • IBMのDataWorksはApache Sparkによるビッグデータ分析に人工知能Watsonが企業向け利用インタフェイスをまとわせる

    IBMのDataWorksはApache Sparkによるビッグデータ分析に人工知能Watsonが企業向け利用インタフェイスをまとわせる

    マシンインテリジェンスの分野は、研究開発が盛んであるだけでなく、より影響力の強い応用現場でも新しいトレンドが生まれつつある。それを好機としてApache Sparkのようなオープンソースのフレームワークは、データサイエンティストのニーズに応えるだけでなく、企業の事業開発にもデータ分析を持ち込もうとしている。 IBMがこのほど立ち上げたProject DataWorksは、SparkとIBM Watsonを組み合わせて、分析の堅実性を維持しつつそのスピードと使い勝手を向上しようとする。わかりやすく言えばDataWorksは、データ分析のためのG… 続きを読む

  • Microsoftはビッグデータ分析とその応用プロダクトでApache Sparkに総賭けの姿勢

    Microsoftはビッグデータ分析とその応用プロダクトでApache Sparkに総賭けの姿勢

    Microsoftが今日(米国時間6/6)、オープンソースのクラスターコンピューティングフレームワークApache Sparkに、本格的にコミットしていく、と発表した。 昨年、Sparkのエコシステムの浅瀬でちょっと足を濡らしてみたMicrosoftは、本日、いくつかのSpark関連サービスのプレビューを終えてそれらを公式ローンチし、またR Server for Hadoopのオンプレミスバージョンが今後はSparkベースになる、と発表した。R Serverの‘R’は、今人気がますます盛り上がっている、ビッグデータ分析とモ… 続きを読む

  • Bashoが時系列データ専用NoSQLデータベースRiak TSをオープンソース化してIoTへの浸透をねらう

    Bashoが時系列データ専用NoSQLデータベースRiak TSをオープンソース化してIoTへの浸透をねらう

    世界中のありとあらゆるデバイスメーカーが、自分たちの製品をインターネットに接続しようとしているように、思える。ベッド用のマットレスも、洗濯機も、トースターも、そしてジューサーも〔冷蔵庫も〕。大量のデータが空中や線上にあふれ出て、分析されるのを待つ列に並ぶだろう。 そのようなデータは今後増加の一方で、それを送信する能力は、最近1億5000万ドルを調達したSigFoxなどの企業によって徐々に整備されていくが、しかしながら今の分散データベースのアーキテクチャの多くは、市場が求めるそんな帯域にマッチできるほどの、高速なデータ処理と出力の能力を持… 続きを読む

  • IBMがApache Sparkプロジェクトに3500名を投入、未来に生きる道はオープンソースしかないと悟る

    IBMがApache Sparkプロジェクトに3500名を投入、未来に生きる道はオープンソースしかないと悟る

    IBMが今日(米国時間6/15)、オープンソースのビッグデータプロジェクトApache Sparkに3500名の研究員を割り当てる、と申し出た。また併せて同社は、同社の機械学習ツールIBM SystemMLのオープンソース化を発表して、それをビッグデータと機械学習の最先端の地位に押し上げたいという意図を鮮明にした。 続きを読む