spark-notebookを触ってみた

まだApache SparkもSpark Notebookも勉強中なので詳しくは分からない状態だけど、軽く触ってみたのでその内容のメモ。

Apache Spark

オープンソースのクラスタコンピューティングフレームワーク

Apache Spark™ is a fast and general engine for large-scale data processing.
Apache Spark™は、大規模なデータ処理のための高速かつ一般的なエンジンです。 spark.apache.org

Spark Notebook

Sparkを実行できるWebUI

Interactive and Reactive Data Science using Scala and Spark.
Spark Notebook

Spark Notebookを触ってみた

まだあまり理解が追いついていないが、エンジニア仲間のcrowdyさんが作った環境を一緒に触る機会があったので簡単に触ってみた。

サンプルなどを実行

※「Spark runs on Java 7+, Python 2.6+/3.4+ and R 3.1+. For the Scala API, Spark 2.1.1 uses Scala 2.11. You will need to use a compatible Scala version (2.11.x).」らしい。 spark.apache.org

今回触ったのは全てランダムでデータを生成して地図とかグラフとか一覧で表示してるんだけど、色んな種類が用意されていて触るだけでも面白い。

感想

まだデータ分析の方は基盤がないので？？？！！？？？の状態だったけど、良い刺激になった。Jupyter Notebookも含めデータ分析についてこれから勉強していきたいと思う。