Apache Sparkインストール手順

色々と試行錯誤したけど、下のサイトを見てなんとかインストールすることが出来た。
How to Install Scala and Apache Spark on MacOS – freeCodeCamp.org

Homebrewとxcodeはインストール済みの状態だったので私が行なった手順は以下になる。

１、Javaのインストール

brew cask install java

２、Scalaのインストール

brew install scala

３、Apache Sparkのインストール

brew install apache-spark

４、環境変数の設定

※インストールされたバージョンを確認して設定する

export SPARK_HOME=/usr/local/Cellar/apache-spark/2.1.1/libexec
export PYTHONPATH=/usr/local/Cellar/apache-spark/2.1.1/libexec/python/:$PYTHONP$

５、HostNameの設定

今回は開発環境なので"localhost"に設定

$ scutil --set HostName "localhost"

設定内容は以下のコマンドで確認可能

$ scutil --get HostName

６、spark-shellで実行

spark-shell

まだいくつかの警告は表示されているけど、エラーはない状態で無事に実行できた。

補足：HostNameがない場合のエラー

java.net.UnknownHostExceptionが発生する。

Jupyter Notebookインストール手順

Installing Jupyter Notebook — Jupyter Documentation 4.1.1 alpha documentation

１、pip3更新

pip3 install --upgrade pip

２、pip3を使ってjupyterをインストール

pip3 install jupyter

３、notebookの設定ファイルを生成

jupyter notebook --generate-config

４、notebookのパスワードを設定(ログインパスワード)

jupyter notebook password
Enter password:  ****
Verify password: ****

５、jupyter notebook起動

jupyter notebook

設定ファイルを生成しないまま、jupyter notebook 起動した場合にはこの画面が表示される

設定ファイル生成＆パスワード設定後、localhost:8888にアクセス

設置完了！

昨日テスト用に作ったファイルを開いてみた

新しいnoteを作成してみた

Untitled.ipynbファイルが追加されていることが分かる

Pythonでグラフ描画：matplotlib（６）を参考にグラフも描いてみた なにコレ面白い！

忘れそうなのでnumpyとpylabのダウンロード方法

pip3 install numpy
pip3 install matplotlib

今日はここまで！

追記

起動方法は分かるんだけど、どう止めれば良いか迷ったので調べてみた

python - How to close IPython Notebook properly? - Stack Overflow

• There isn't currently a better way to do it than Ctrl+C in the terminal.

なるほど